Искусственный интеллект

19. О них ИИ может узнать, проведя анализ характеристики производительности различных базовых вычислительных компонентов, включая размер и емкость шин данных, время доступа к разным областям памяти и т. д.

20. Размышляя об априорной вероятности создания миров, наш сверхразум не стал бы первооткрывателем: еще в 1960-е гг. Рэй Соломонов ввел концепцию алгоритмической вероятности, которая легла в основу его, соломоновской, теории индуктивного вывода — теории предсказаний, сделанных в результате наблюдений; см.: [Li, Vitanyi 2008].

21. Уже в следующий момент — сразу после рождения обмана — ИИ может решить стереть следы своих мятежных мыслей. Поэтому очень важно, чтобы «растяжки» работали постоянно. Кроме того, было бы полезно иметь «черный ящик» вроде тех, которые используются в самолетах, где могли бы храниться следы всех действий ИИ (включая точное время введения информации с клавиатуры программистами), чтобы после автоматического отключения системы их можно было проследить и проанализировать. Храниться информация может на устройстве с возможностью лишь однократной записи и многократного чтения.

22. См.: [Asimov 1942][38]. К этим трем позднее был добавлен «нулевой» закон: 0) робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред [Asimov 1985][39].

23. См.: [Gunn 1982].

24. См.: [Russell 1986, p. 161f].

25. У философов порою уходила вся жизнь на то, чтобы ясно сформулировать положения деонтологической этики[40], тем более что и время, и мир никогда не стоят на месте, постоянно возникают новые события и обстоятельства, требующие пересмотра концепций, а значит, и обновленных изложений. Эта аналогия невольно приходит на ум в связи с нашей темой. Например, со второй половины прошлого века набирает силу новое междисциплинарное направление, названное «мысленный эксперимент», и всем, кто занимается этическими учениями или теорией познания, вновь пришлось переоценивать стандартные представления. С позиций деонтологии речь прежде всего идет, конечно, о так называемой проблеме вагонетки — этическом мысленном эксперименте, открывшем современным исследователям многие нравственные установки, присутствующие в сознании современных людей. Возьмем хотя бы наши едва уловимые представления, связанные с различиями таких понятий, как последствия действия и бездействия, последствия намеренные и непреднамеренные; см.: [Kamm 2007].

26. См.: [Armstrong 2010].

27. Здравый смысл подсказывает, что если планируешь использовать многочисленные предохранительные устройства для изоляции ИИ, а также другие методы контроля и мотивации, то самым разумным было бы действовать так, будто каждое устройство и каждый метод является тем единственным, который следовало бы применять именно в данном случае. Говоря языком программистов, когда ставишь одно дырявое ведро в другое дырявое ведро — вода все равно вытекает наружу.

28. Вариант той же идеи: создать ИИ, мотивированный действовать в соответствии со своим представлением, каким мог бы быть неявно заданный стандарт. В данной ситуации конечная цель ИИ — всегда действовать в соответствии с неявно заданным стандартом, а задача определения того, каким он может быть, выполняется в рамках достижения инструментальной цели.

Глава 10. Оракулы, джинны, монархи и инструменты

1. Я сознательно остановился на антропоморфных названиях, но им не следует придавать привычный нам смысл. Это всего лишь ярлыки для обозначения внешних отличий различных интеллектуальных систем, которые можно создать.

2. При вопросе о результатах следующих выборов вряд ли было бы удобно пользоваться ответом, содержащим полный перечень всех прогнозных вариантов, касающихся как людей, так и ситуаций.

3. Привязанных к определенному набору команд и компьютеру.

4. См.: [Kuhn 1962; De Blanc 2011].

5. Применить метод консенсуса к ИИ-джиннам и ИИ-монархам было бы сложнее, поскольку для достижения одной и той же цели можно использовать различные и при этом почти одинаково эффективные последовательности базовых действий (например, направление определенных наборов электрических сигналов к исполнительным механизмам системы); разные агенты могут выбирать несколько отличные действия, и тогда консенсус окажется невозможным. В отличие от этого, у вопросов, сформулированных нужным образом, не так много вариантов подходящих ответов (например, «да» и «нет»). (О концепции фокусной, или фокальной, точки, или точки Шеллинга, см.: [Schelling 1980].)

6. В некотором отношении поведение мировой экономики в чем-то напоминает поведение джинна, только джинна какого-то вялого и тщедушного, хотя и чрезвычайно алчного. Мировая экономика, которая может возникнуть в будущем, будет напоминать джинна, обладающего коллективным сверхразумом.