Многие правительства возложили чрезмерные надежды на ИИ, забыв об уроках IBM Watson. Несмотря на первоначальные надежды, Watson так и не смог стать мощной медицинской системой, самостоятельно диагностирующей онкологические, сердечно-сосудистые и некоторые другие заболевания на ранних стадиях, как на это надеялась IBM. Если бы неудачи в использовании ИИ разбирались столь детально и тщательно, как успехи, то лица, принимающие решения, узнали бы, что основные ошибки Watson делал в тех случаях, когда различные болезни имели примерно схожие симптомы. При этом онкологи и кардиологи задачу диагностики решали на порядки более эффективно, чем Watson. При этом они высоко оценивали Watson как экспертную систему, позволяющую собирать, аккумулировать, структурировать данные и строить различного рода классификаторы и аналитические таблицы, помогающие медикам принять решения.
Уже в ходе текущей пандемии системы наблюдения, в том числе в Китае, увязывающие распознавания лиц с данными тепловизоров и измерения температур, первоначально использовались для выявления людей с подозрением на коронавирус и их изоляции. Однако достаточно быстро было установлено, что сама по себе повышенная температура, особенно в пределах 37.3-37.5 градусов не является значимым фактором при диагностике Covid-19.
Третье Не доверяйте ИИ там, где требуется точность
Компания Alibaba утверждала, что разработала платформу ИИ, которая использует КТ изображения для надежной диагностики Covid-19. В этой связи Bloomberg сообщал, что компания предлагает это диагностическое программное обеспечение странам ЕС бесплатно. Многие этому очень рады. В настоящее время диагностика Covid-19 осуществляется в рамках так называемой полимеразной цепной реакции (ПЦР). Она требует специализированного оборудования и предусматривает достаточно длительный период получения результата. Alibaba сообщала, что может получить анализ гораздо быстрее, дешевле, с 96 % точностью.
Проблема, однако, в том, что лучшие профессионалы в области ИИ отлично знают, что при использовании машинного обучения точности 96 % достичь очень и очень сложно. Как правило, эксплуатанты ИИ достаточно быстро выясняют, что на практике завышенный процент точности, полученный на учебных данных, недостижим. А соответственно диагностика и прогнозы гораздо более неточны, чем в рекламных материалах. То, что Alibaba утверждала, что ее модель хорошо работает, но при этом она не может раскрыть алгоритмы, является дополнительным аргументом в пользу сомнений и недоверия. При диагностике очень важно не допускать ошибок. Гораздо хуже ошибочно предположить, что человек с Covid-19He болен (это может позволить ему продолжать заражать других), чем предположить, что здоровый человек имеет Covid-19. Неточная диагностика ИИ делает такую ситуацию весьма возможной.
Четвертое ИИ – перформанс и реальный мир
Обстоятельства, в которых развертывается ИИ, также могут иметь огромное значение и последствия для определения, насколько он эффективен. Когда модели ИИ, и это отлично знают инвесторы и финансисты, на которых, прежде всего, рассчитан ИИ, покидают лаборатории, центры разработки и начинают делать реальные прогнозы, они почти всегда ухудшают результаты и производительность по сравнению с их испытаниями у изготовителей. При оценке КТ модель, которая может различать здоровых и тех, кто болен Covid-19, имеет большие шансы потерпеть наудачу, когда столкнется с пациентами, которые больны обычным регулярным гриппом. Соответственно модель будет считать больных гриппом больными Covid-19. Это приведет к еще большей перегрузке учреждений здравоохранения и заметно исказит картину действительного распространения эпидемии и ее интенсивности.
В недавней работе относительно использования ИИ для диагноза злокачественных родинок на основе распознавания образов было на конкретных цифрах, примерах и фотографиях показано, что зачастую модель принимала доброкачественные родинки за злокачественные. При этом если модель использовалась в паре с опытным онкологом, то он быстро распознавал ошибку. Таким образом, было твердо и достоверно установлено, что, как с точки зрения расхода средств, так и времени, экспертная система, где врачу помогает программно-вычислительный комплекс, гораздо более эффективна, чем ИИ как замена человеку.
Пятое Компьютерные прогнозы должны корректироваться специалистами