Российская Академия Наук

Если я играю в шахматы против более сильного игрока, я не могу предсказать точно, где мой оппонент сделает ход против меня – если бы я мог предсказать, я бы, по определению, был бы так же силён в шахматах сам. Но я могу предсказать конечный результат, а именно выигрыш этого игрока. Я знаю область возможных будущ, куда мой оппонент направляется, что позволяет мне предсказать конец пути, даже если я не могу видеть дороги. Когда я нахожусь в наиболее творческом состоянии, это тогда, когда труднее всего предсказать мои действия и легче всего предсказать последствия моих действий. (Предполагая, что вы знаете и понимаете мои цели.) Если я хочу создать игрока в шахматы, превосходящего человека, я должен запрограммировать его на поиск выигрышных ходов. Мне не следует программировать конкретные шаги, потому что в этом случае шахматный игрок не будет чем-либо лучше меня. Когда я начинаю поиск, я, по необходимости, жертвую своей способностью предсказать точный ответ заранее. Чтобы получить по-настоящему хороший ответ, вы должны пожертвовать своей способностью предсказать ответ, но не своей способностью сказать, каков вопрос.

Такая путаница, как непосредственное программирование коммунизма, вероятно, не соблазнит программиста универсального ИИ, который говорит на языке теории решений. Я бы назвал это философской ошибкой, но обвинил бы в этом недостаток технического знания.

6.2. Пример технической неудачи.

«Вместо законов, ограничивающих поведение интеллектуальных машин, мы должны дать им эмоции, которые будут руководить их обучением поведению. Они должны хотеть, чтобы мы были счастливы и процветали, - что есть эмоция, которую мы называем любовью. Мы можем спроектировать интеллектуальные машины так, что их основная, врождённая эмоция будет безусловная любовь ко всем людям. В начале мы можем сделать относительно простые машины, которые научатся распознавать выражения счастья и несчастья на человеческом лице, человеческие голоса и человеческий язык жестов. Затем мы можем жёстко привязать результат этого обучения в качестве изначально присущих эмоциональных ценностей более сложным интеллектуальным машинам, позитивно подкрепляемым, когда мы счастливы, и негативно – когда несчастливы. Машины могут обучиться алгоритмам приблизительного предсказания будущего, как, например, инвесторы используют сейчас обучающиеся машины, чтобы предсказать будущие цены облигаций. Таким способом мы можем запрограммировать интеллектуальные машины на обучение алгоритмам предсказания будущего человеческого счастья, и использовать эти предсказания, как эмоциональные ценности».

Билл Хиббард (Bill Hibbard, 2001), Сверх-интеллектуальные машины.

Однажды американская армия захотела использовать нейронную сеть для автоматического обнаружения закамуфлированных танков. Исследователи натренировали нейронную сеть на 50 фотографиях закамуфлированных танков среди деревьев, и на 50 фото деревьев без танков. Использую стандартные методики контролируемого обучения, исследователи обучили нейронную сеть взвешиванию, которое правильно опознавало тренировочный набор – ответ «да» - для 50 фотография закамуфлированных танков, и ответ «нет» для 50 фотографий леса. Это не гарантировало, ни даже означало, что новые образцы будут классифицированы правильно. Нейронная сеть могла обучиться ста отдельным случаям, которые могли не обобщаться ни на одну новую задачу. Предусмотрительные исследователи сделали в начале 200 фото, 100 фото танков и 100 деревьев. Они использовали только 50 из каждой группы для тренировочного набора. Исследователи запустили в нейронную сеть оставшиеся 100 фото, и без дальнейшей тренировки нейронная сеть распознала все оставшиеся фотографии правильно. Успех подтвердился! Исследователи направили законченную работу в Пентагон, откуда её вскоре вернули, жалуясь, что в их собственной серии тестов нейронная сеть давала результат не лучше случайного в отборе фотографий.

Оказалось, что в наборе данных исследователей фотографии закамуфлированных танков были сделаны в облачные дни, тогда как фотографии чистого леса были сделаны в солнечные дни. Нейронная сеть обучилась различать облачные и солнечные дни вместо того, чтобы научиться различать закамуфлированные танки от пустого леса .

Технический провал имеет место, когда код не делает то, что вы думаете, он делает, хотя он честно выполняет то, на что вы его запрограммировали. Одни и те же данные могут соответствовать разным моделям. Допустим, что мы обучаем нейронную сеть различать улыбающиеся человеческие лица и отличать их от хмурящихся лиц. Будет ли эта сеть распознавать маленькую картинку смеющегося лица как такой же аттрактор, как и смеющееся человеческое лицо? Если ИИ, жёстко фиксированный на таком коде, обретёт власть – а Хиббард (Hibbard, 2001) говорит о сверхинтеллекте – не закончит ли галактика тем, что будет покрыта малюсенькими молекулярными картинками улыбающихся лиц ?