Воспитание машин. Новая история разума

Обратное обучение с подкреплением – это следующий уровень рефлексии мышления, попытка поставить себя на место другого и угадать его мотивы, желания и чувства. В мозге приматов имеется специальная система зеркальных нейронов, которые возбуждаются и когда вы сами что-то делаете, и когда это делают другие[117], что для приматов как общественных животных, и особенно для людей, чрезвычайно важно. Так, способность обезьянничать позволяет детям, и не только им, обучаться по принципу «увидел и сделал». Естественно, что этой способностью нам следует наделить и искусственную психику роботов, чтобы они легче обучались, не были бездушными, могли нам сопереживать и действовать в наших истинных интересах. Ведь, если они будут понимать, что нами движет, им будет легче сформировать свое поведение в соответствии не только с наблюдаемыми, но и с предполагаемыми подкреплениями с нашей стороны.

В отличие от обычного, обратное обучение с подкреплением предполагает построение модели психики других агентов (theory of mind), на что способны очень немногие виды животных. Человек же способен и на большее – построение модели своей собственной психики, то есть объяснение своих собственных мотивов. Это еще более высокий уровень рефлексии – самосознание. (У детей понятие «я» формируется постепенно, по мере совершенствования их способности угадывать мотивы других людей.) Ничто не мешает переходу на такой уровень сознательного мышления и в рамках искусственной психики при наличии в ней соответствующих архитектурных возможностей для такого рода перехода.

Вернемся, однако, к развитию человеко-машинной цивилизации, где благодаря обратному обучению с подкреплением истинные (в смысле – реальные) человеческие ценности будут моделироваться и распространяться по сети распределенного машинного разума. Возникает вопрос: какие ценности мы сможем передать машинному интеллекту? Ведь они могут существенно отличаться у разных социальных групп, сообществ и стран, поэтому противоречия внутри человеческого разума неизбежно воспроизведутся и внутри коллективного машинного разума. Мир на Земле будет существенным образом зависеть от степени остроты этих внутренних противоречий. Образно говоря, если мы хотим договориться с будущим сверхинтеллектом, мы должны сначала суметь договориться между собой, дорасти до бесконфликтной самоорганизации всего мирового сообщества.

Здесь мы возвращаемся к ключевым проблемам ближайших десятилетий. Как нам преодолеть возможную турбулентность при переходе на новый уклад? Как при гиперболическом распределении доходов избежать конфликтов интересов, разрешимых только силовыми методами? Как избежать появления в авторитарных государствах «большого брата», выявляющего и обезвреживающего инакомыслящих любыми возможными способами? Как избежать появления на службе у военных искусственных стратегов со сверхчеловеческими способностями, которых уже никто не сможет контролировать и единственной целью жизни которых является уничтожение «условного противника»?

По мысли Юваля Харари, человечество обязано своими успехами способности людей формировать ментальные конструкции, «истории», в которые верят большие группы людей, – от религии и идеологии до общественных институтов и денег[118]. Эти символы веры сплачивают человеческие общности, обеспечивают необходимый уровень взаимного доверия, понимания мотивов друг друга.

Беда лишь в том, что такие конструкции у разных групп людей могут существенно различаться. Соответственно между сообществами с разными системами ценностей возникает взаимное недоверие, потому что люди не понимают мотивов поступков чужаков либо эти мотивы кажутся им чуждыми – «варварскими». Возникает двойная мораль – по отношению к своим и к чужим. Если внутри своей общности принято соблюдать общие ценности, то в отношении к чужакам они уже необязательны, а то и нежелательны. Стремление унифицировать систему ценностей неискоренимо и является причиной бесчисленных войн, из которых человечество не вылезало со времен геноцида неандертальцев и прочих гоминид.

Что ж, у всякой медали есть две стороны. Однако остается надежда, что людям удастся сплотиться в единую общность, осознав общую для всего человечества опасность, как это описано в трилогии китайского фантаста Лю Цысиня «Задача трех тел»[119], где человечество сталкивается с нашествием более совершенного инопланетного разума. Но там из-за космических расстояний людям для принятия ответных мер отпущено 400 лет. В реальности нам до пришествия более совершенного машинного разума остается каких-то лет 20–40. Значит, надо спешить!

Мир через 20–40 лет: ИИ сверхчеловеческого уровня

Как можно представить себе интеллект сверхчеловеческого уровня? Только метафорически. Хорошей метафорой является рисунок из известной статьи Тима Урбана «Революция ИИ»[120] (рис. 21).