Эти исследования показывают, что некорректно говорить об освоении системами глубокого обучения с подкреплением таких понятий, как “стена” или “ракетка”, и подобные замечания представляют собой пример того, что в сравнительной (зоо-)психологии иногда называют сверхатрибуцией. Система [для игры на] Atari не усвоила понятие стены на глубинном уровне, а поверхностным образом сопоставила пробивание сквозь стены с узким набором прекрасно заученных обстоятельств[223].
Подобным образом, хотя AlphaGo демонстрировала чудесную “интуицию” при игре в го, насколько я могу судить, у системы нет механизмов, которые позволили бы ей генерализировать навыки игры в го даже для игры на доске меньшего размера или другой формы без реструктуризации и переобучения своей глубокой Q-сети.
Иными словами, хотя эти системы глубокого Q-обучения добились сверхчеловеческих результатов в узких областях и даже продемонстрировали в них некое подобие “интуиции”, они лишены ключевой способности человеческого разума. Можно называть ее по-разному – абстрактным мышлением, генерализацией или переносом обучения, – но ее внедрение в системы ИИ остается одной из важнейших задач отрасли.
Есть и другая причина полагать, что компьютерные системы не осваивают человеческие понятия и не понимают свои области на человеческий лад: как и системы обучения с учителем, системы глубокого Q-обучения не справляются с контрпримерами вроде тех, что я описала в главе 6. Так, одна исследовательская группа продемонстрировала, что при внесении конкретных минимальных изменений в пиксели входного сигнала программы для игры в одну из видеоигр Atari изменения, незаметные человеку, значительно ограничивают способности программы к игре.
Насколько умна AlphaGo?
Рассуждая о связи таких игр, как шахматы и го, с человеческим разумом, мы не должны забывать одну важную вещь. Задумайтесь, почему многие родители поощряют занятие ребенка шахматами (а кое-где и го) и предпочитают, чтобы ребенок играл в шахматы (или в го), вместо того чтобы смотреть телевизор или играть в видеоигры (прости, Atari)? Люди полагают, что такие игры, как шахматы и го, учат детей (и кого угодно) мыслить, развивая у них логику, абстрактное мышление и способности к стратегическому планированию. Все эти общие навыки остаются с человеком на всю жизнь и помогают ему во всех начинаниях.
AlphaGo на этапе обучения сыграла миллионы партий, но не научилась “мыслить” ни о чем, кроме го. Она не умеет ни думать, ни рассуждать, ни строить планы, не связанные с го. Насколько мне известно, ни один из усвоенных ею навыков ни в коей мере нельзя называть общим. Ни один из них невозможно перенести на другую задачу. AlphaGo – настоящий савант.
Несомненно, метод глубокого Q-обучения, использованный в AlphaGo, можно применять для освоения других навыков, но систему при этом придется полностью переобучать – по сути, ей придется приобретать новый навык с нуля.
И здесь мы снова возвращаемся к парадоксу ИИ, который гласит, что “простые вещи делать сложно”. AlphaGo стала феноменальным достижением в сфере ИИ: обученная в основном на играх с самой собой, она смогла победить одного из лучших в мире мастеров игры, которая считается мерилом интеллектуальных способностей. Но AlphaGo не обладает интеллектом человеческого уровня в традиционном понимании, и можно даже сказать, что она не обладает настоящим интеллектом вообще. Для человека ключевой аспект интеллекта заключается не в способности приобрести конкретный навык, а в способности научиться мыслить и затем адаптировать свое мышление к различным обстоятельствам и задачам. Когда наши дети играют в шахматы и го, мы хотим, чтобы они приобрели именно этот навык. Возможно, это прозвучит странно, но в этом отношении даже рядовой детсадовец из шахматного клуба умнее, чем AlphaGo.
От игр в реальный мир
Наконец, рассмотрим утверждение Демиса Хассабиса, что освоение игр служит цели “использовать их так, чтобы они решали реальные задачи и оказывали огромное влияние на такие области, как здравоохранение и наука”. Думаю, вполне возможно, что работа DeepMind с обучением с подкреплением в итоге действительно окажет воздействие, на которое рассчитывает Хассабис. Но путь от игр в реальный мир довольно долог.