Модель искусственного интеллекта могла бы помочь клиницисту в рентгенологическом анализе, помогая выявлять тонкие детали и повышая эффективность процесса диагностики. Но поскольку на одном изображении может присутствовать так много возможных состояний, клиницист, скорее всего, захочет рассмотреть набор возможностей, а не оценивать только один прогноз искусственного интеллекта.

Один многообещающий способ создания набора возможностей, называемый конформной классификацией, удобен тем, что его можно легко реализовать поверх существующей модели машинного обучения. Однако это может привести к созданию наборов, которые будут непрактично большими.

Исследователи Массачусетского технологического института в настоящее время разработали простое и эффективное усовершенствование, которое может уменьшить размер наборов прогнозов до 30 процентов, одновременно делая прогнозы более надежными.

Наличие меньшего набора прогнозов может помочь клиницисту более эффективно поставить правильный диагноз, что могло бы улучшить и рационализировать лечение пациентов. Этот метод может быть полезен при решении целого ряда задач классификации - скажем, для идентификации вида животного на изображении из парка дикой природы, - поскольку он предоставляет меньший, но более точный набор опций.

"При меньшем количестве классов для рассмотрения наборы прогнозов, естественно, более информативны в том смысле, что вы выбираете между меньшим количеством вариантов. В некотором смысле, вы на самом деле ничем не жертвуете с точки зрения точности ради чего-то более информативного", - говорит Дивья Шанмугам, 24-летняя доктор философии, постдок Корнельского технологического института, которая проводила это исследование, когда была аспиранткой Массачусетского технологического института.

К Шанмугаму присоединились Хелен Лу '24; Свами Шанкаранараянан, бывший постдок Массачусетского технологического института, который в настоящее время является научным сотрудником Lilia Biosciences; и старший автор Джон Гуттаг, профессор компьютерных наук и электротехники Дугалда К. Джексона в Массачусетском технологическом институте и сотрудник лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института. (CSAIL). Исследование будет представлено на конференции по компьютерному зрению и распознаванию образов в июне.

Гарантии предсказания

Помощники с искусственным интеллектом, используемые для выполнения задач с высокими ставками, таких как классификация заболеваний на медицинских изображениях, обычно предназначены для получения оценки вероятности наряду с каждым прогнозом, чтобы пользователь мог оценить достоверность модели. Например, модель может предсказать, что существует 20-процентная вероятность того, что изображение соответствует определенному диагнозу, такому как плеврит.

Но трудно доверять прогнозируемой достоверности модели, поскольку многие предыдущие исследования показали, что эти вероятности могут быть неточными. При конформной классификации предсказание модели заменяется набором наиболее вероятных диагнозов вместе с гарантией того, что правильный диагноз находится где-то в этом наборе.

Но присущая прогнозам искусственного интеллекта неопределенность часто приводит к тому, что модель выдает наборы данных, которые слишком велики, чтобы быть полезными.

Например, если модель классифицирует животное на изображении как один из 10 000 потенциальных видов, она может выдать набор из 200 прогнозов, чтобы обеспечить надежную гарантию.

"Это довольно много классов, которые нужно просмотреть, чтобы понять, какой класс подходит именно вам", - говорит Шанмугам.

Этот метод также может быть ненадежным, поскольку незначительные изменения входных данных, такие как незначительный поворот изображения, могут привести к совершенно другим наборам прогнозов.

Чтобы сделать конформную классификацию более полезной, исследователи применили метод, разработанный для повышения точности моделей компьютерного зрения, называемый увеличением времени тестирования (TTA).

TTA создает несколько дополнений к одному изображению в наборе данных, возможно, обрезая изображение, переворачивая его, увеличивая масштаб и т.д. Затем он применяет модель компьютерного зрения к каждой версии одного и того же изображения и суммирует ее прогнозы.

"Таким образом, вы получаете несколько прогнозов на основе одного примера. Агрегирование прогнозов таким образом улучшает прогнозы с точки зрения точности и надежности", - объясняет Шанмугам.

Максимальная точность

Чтобы применить TTA, исследователи предоставляют некоторые помеченные данные изображений, используемые для процесса конформной классификации. Они учатся агрегировать дополнения к этим сохраненным данным, автоматически увеличивая изображения таким образом, чтобы максимально повысить точность прогнозов базовой модели.

Затем они проводят конформную классификацию на основе новых предсказаний модели, преобразованных с помощью TTA. Конформный классификатор выдает меньший набор вероятных прогнозов для той же гарантии достоверности.

"Сочетание увеличения времени тестирования с конформным прогнозированием просто в реализации, эффективно на практике и не требует переподготовки модели", - говорит Шанмугам.

По сравнению с предыдущей работой по конформному прогнозированию в нескольких стандартных тестах классификации изображений, их метод, дополненный TTA, сократил размеры набора прогнозов в экспериментах с 10 до 30 процентов.

Важно отметить, что этот метод позволяет уменьшить размер набора прогнозов при сохранении гарантии вероятности.

Исследователи также обнаружили, что, несмотря на то, что они жертвуют некоторыми помеченными данными, которые обычно использовались бы для процедуры конформной классификации, TTA повышает точность настолько, чтобы перевесить стоимость потери этих данных.

"Это поднимает интересные вопросы о том, как мы использовали помеченные данные после обучения модели. Распределение помеченных данных между различными этапами после обучения является важным направлением будущей работы", - говорит Шанмугам.

В будущем исследователи хотят проверить эффективность такого подхода в контексте моделей, которые классифицируют текст вместо изображений. Чтобы еще больше улучшить работу, исследователи также рассматривают способы сокращения объема вычислений, необходимых для TTA.

Это исследование частично финансируется корпорацией Wistrom.