Читаем Совместимость. Как контролировать искусственный интеллект полностью

Очевидной особенностью людей, если подумать, является то, что они не всегда знают, чего хотят. К примеру, фрукт дуриан вызывает у людей разную реакцию: одним кажется, что он «по вкусу превосходит все остальные фрукты в мире»[316], а другие сравнивают его с «нечистотами, застарелой рвотой, струей скунса и использованными хирургическими тампонами»[317]. Я сознательно не стал пробовать дуриан до выхода этой книги и могу занять нейтральную позицию по этому вопросу: я попросту не знаю, к какому лагерю примкнул бы. То же самое можно сказать о многих людях в отношении будущей карьеры, будущих партнеров, будущих занятий по выходе на пенсию и т. д.

Неопределенность в отношении предпочтений бывает как минимум двух типов. Первая — это реальная неопределенность вроде той, что испытываю я в вопросе о дуриане[318]. Сколько ни размышляй, эту неопределенность не устранить. Это эмпирический факт бытия, и я могу узнать больше, попробовав дуриан, сравнив свою ДНК с ДНК любителей и ненавистников дуриана и т. д. Неопределенность второго типа является следствием ограничения вычислительных возможностей: глядя на две позиции на доске для игры го, я не могу решить, какую предпочесть, поскольку варианты развития обеих совершенно недоступны моему пониманию.

Неопределенность также возникает из того факта, что варианты выбора, которые нам предлагаются, обычно неполно сформулированы — иногда настолько неполно, что их вообще с трудом можно назвать вариантами выбора. Когда Алиса оканчивает школу, консультант по профориентации может предложить ей выбор между «библиотекарем» и «шахтером», и она вполне разумно ответит: «Я не знаю, что предпочесть». Здесь неопределенность следует из реальной неопределенности в вопросе о том, что она сама предпочитает, угольную пыль или книжную, из вычислительной неопределенности, когда она пытается понять, как можно было бы извлечь максимум возможного из обоих вариантов профессиональной карьеры, а также из бытовой неопределенности в мире, скажем, ее сомнений в плане долгосрочной жизнеспособности местной угольной шахты.

Поэтому плохая идея отождествлять человеческие предпочтения с простым выбором между неполно описанными вариантами, в которых невозможно оценить и учесть элементы неизвестной желательности. Такой выбор дает косвенное свидетельство о глубинных предпочтениях, но не составляет эти предпочтения. Вот почему я говорил о предпочтениях в понятиях будущих жизней — например, представьте, что вы могли бы увидеть в сокращенном виде два разных фильма о вашей будущей жизни, а затем выбрать из них предпочтительный. Разумеется, этот мысленный эксперимент невозможно поставить в реальности, но можно представить, что во многих случаях четкое предпочтение сформируется задолго до того, как все детали каждого фильма будут показаны и полностью восприняты. Вы можете не знать заранее, какой из них предпочтете, даже если дать вам краткое изложение сюжетов, но на реальный вопрос имеется ответ, основывающийся на том, кто вы сейчас, как есть ответ на вопрос, понравится ли вам дуриан, когда вы его попробуете.

Тот факт, что вы можете пребывать в неопределенности о собственных предпочтениях, не вызывает особых проблем для подхода на основе предпочтений к созданию доказуемо полезного ИИ. В действительности уже существуют некоторые алгоритмы, учитывающие неопределенность как Робби, так и Гарриет, в отношении предпочтений Гарриет и допускающие возможность того, что Гарриет может узнавать о своих предпочтениях одновременно с Робби[319]. Как неуверенность Робби в смысле предпочтений Гарриет можно уменьшить путем наблюдения за поведением Гарриет, так и ее неопределенность в отношении собственных предпочтений можно уменьшить, наблюдая ее реакции на то, что она испытывает. Два типа неопределенности необязательно должны быть непосредственно связаны, и Робби необязательно испытывает большую неопределенность, чем Гарриет, в вопросе о ее предпочтениях. Например, Робби может быть способен обнаружить, что Гарриет имеет сильную генетическую предрасположенность к тому, чтобы отвергнуть вкус дуриана. В этом случае он вряд ли будет сомневаться в ее предпочтениях в отношении дуриана, несмотря на то что сама она пребывает в полном неведении.

Если Гарриет может быть не уверена в собственных предпочтениях относительно будущих событий, то весьма вероятно, что она может и ошибаться. Например, она убеждена, что ей не понравится дуриан (или, скажем, зеленые яйца и ветчина{17}), и поэтому всеми силами избегает его пробовать, но, если однажды кто-то добавит немного мякоти в ее фруктовый салат, он покажется ей восхитительным. Таким образом, Робби не может предполагать, что действия Гарриет отражают точное знание о ее собственных предпочтениях: одни могут всецело опираться на опыт, а другие — главным образом на догадки, предубеждения, страх неизвестности или необоснованные обобщения[320]. Достаточно тактичный Робби мог бы очень существенно помочь Гарриет, предупреждая ее о подобных ситуациях.

Перейти на страницу:

Все книги серии Книжные проекты Дмитрия Зимина

Достаточно ли мы умны, чтобы судить об уме животных?
Достаточно ли мы умны, чтобы судить об уме животных?

В течение большей части прошедшего столетия наука была чрезмерно осторожна и скептична в отношении интеллекта животных. Исследователи поведения животных либо не задумывались об их интеллекте, либо отвергали само это понятие. Большинство обходило эту тему стороной. Но времена меняются. Не проходит и недели, как появляются новые сообщения о сложности познавательных процессов у животных, часто сопровождающиеся видеоматериалами в Интернете в качестве подтверждения.Какие способы коммуникации практикуют животные и есть ли у них подобие речи? Могут ли животные узнавать себя в зеркале? Свойственны ли животным дружба и душевная привязанность? Ведут ли они войны и мирные переговоры? В книге читатели узнают ответы на эти вопросы, а также, например, что крысы могут сожалеть о принятых ими решениях, воро́ны изготавливают инструменты, осьминоги узнают человеческие лица, а специальные нейроны позволяют обезьянам учиться на ошибках друг друга. Ученые открыто говорят о культуре животных, их способности к сопереживанию и дружбе. Запретных тем больше не существует, в том числе и в области разума, который раньше считался исключительной принадлежностью человека.Автор рассказывает об истории этологии, о жестоких спорах с бихевиористами, а главное — об огромной экспериментальной работе и наблюдениях за естественным поведением животных. Анализируя пути становления мыслительных процессов в ходе эволюционной истории различных видов, Франс де Вааль убедительно показывает, что человек в этом ряду — лишь одно из многих мыслящих существ.* * *Эта книга издана в рамках программы «Книжные проекты Дмитрия Зимина» и продолжает серию «Библиотека фонда «Династия». Дмитрий Борисович Зимин — основатель компании «Вымпелком» (Beeline), фонда некоммерческих программ «Династия» и фонда «Московское время».Программа «Книжные проекты Дмитрия Зимина» объединяет три проекта, хорошо знакомые читательской аудитории: издание научно-популярных переводных книг «Библиотека фонда «Династия», издательское направление фонда «Московское время» и премию в области русскоязычной научно-популярной литературы «Просветитель».

Франс де Вааль

Биология, биофизика, биохимия / Педагогика / Образование и наука
Скептик. Рациональный взгляд на мир
Скептик. Рациональный взгляд на мир

Идея писать о науке для широкой публики возникла у Шермера после прочтения статей эволюционного биолога и палеонтолога Стивена Гулда, который считал, что «захватывающая действительность природы не должна исключаться из сферы литературных усилий».В книге 75 увлекательных и остроумных статей, из которых читатель узнает о проницательности Дарвина, о том, чем голые факты отличаются от научных, о том, почему высадка американцев на Луну все-таки состоялась, отчего умные люди верят в глупости и даже образование их не спасает, и почему вода из-под крана ничуть не хуже той, что в бутылках.Наука, скептицизм, инопланетяне и НЛО, альтернативная медицина, человеческая природа и эволюция – это далеко не весь перечень тем, о которых написал главный американский скептик. Майкл Шермер призывает читателя сохранять рациональный взгляд на мир, учит анализировать факты и скептически относиться ко всему, что кажется очевидным.

Майкл Брант Шермер

Зарубежная образовательная литература, зарубежная прикладная, научно-популярная литература
Записки примата: Необычайная жизнь ученого среди павианов
Записки примата: Необычайная жизнь ученого среди павианов

Эта книга — воспоминания о более чем двадцати годах знакомства известного приматолога Роберта Сапольски с Восточной Африкой. Будучи совсем еще молодым ученым, автор впервые приехал в заповедник в Кении с намерением проверить на диких павианах свои догадки о природе стресса у людей, что не удивительно, учитывая, насколько похожи приматы на людей в своих биологических и психологических реакциях. Собственно, и себя самого Сапольски не отделяет от своих подопечных — подопытных животных, что очевидно уже из названия книги. И это придает повествованию особое обаяние и мощь. Вместе с автором, давшим своим любимцам библейские имена, мы узнаем об их жизни, страданиях, любви, соперничестве, борьбе за власть, болезнях и смерти. Не менее яркие персонажи книги — местные жители: фермеры, егеря, мелкие начальники и простые работяги. За два десятилетия в Африке Сапольски переживает и собственные опасные приключения, и трагедии друзей, и смены политических режимов — и пишет об этом так, что чувствуешь себя почти участником событий.

Роберт Сапольски

Биографии и Мемуары / Научная литература / Прочая научная литература / Образование и наука

Похожие книги

100 способов уложить ребенка спать
100 способов уложить ребенка спать

Благодаря этой книге французские мамы и папы блестяще справляются с проблемой, которая волнует родителей во всем мире, – как без труда уложить ребенка 0–4 лет спать. В книге содержатся 100 простых и действенных советов, как раз и навсегда забыть о вечерних капризах, нежелании засыпать, ночных побудках, неспокойном сне, детских кошмарах и многом другом. Всемирно известный психолог, одна из основоположников французской системы воспитания Анн Бакюс считает, что проблемы гораздо проще предотвратить, чем сражаться с ними потом. Достаточно лишь с младенчества прививать малышу нужные привычки и внимательно относиться к тому, как по мере роста меняется характер его сна.

Анн Бакюс

Зарубежная образовательная литература, зарубежная прикладная, научно-популярная литература / Детская психология / Образование и наука
Древний Египет
Древний Египет

Прикосновение к тайне, попытка разгадать неизведанное, увидеть и понять то, что не дано другим… Это всегда интересно, это захватывает дух и заставляет учащенно биться сердце. Особенно если тайна касается древнейшей цивилизации, коей и является Древний Египет. Откуда египтяне черпали свои поразительные знания и умения, некоторые из которых даже сейчас остаются недоступными? Как и зачем они строили свои знаменитые пирамиды? Что таит в себе таинственная полуулыбка Большого сфинкса и неужели наш мир обречен на гибель, если его загадка будет разгадана? Действительно ли всех, кто посягнул на тайну пирамиды Тутанхамона, будет преследовать неумолимое «проклятие фараонов»? Об этих и других знаменитых тайнах и загадках древнеегипетской цивилизации, о версиях, предположениях и реальных фактах, читатель узнает из этой книги.

Борис Александрович Тураев , Борис Георгиевич Деревенский , Елена Качур , Мария Павловна Згурская , Энтони Холмс

Культурология / Зарубежная образовательная литература, зарубежная прикладная, научно-популярная литература / История / Детская познавательная и развивающая литература / Словари, справочники / Образование и наука / Словари и Энциклопедии
Люди на Луне
Люди на Луне

На фоне технологий XXI века полет человека на Луну в середине прошлого столетия нашим современникам нередко кажется неправдоподобным и вызывает множество вопросов. На главные из них – о лунных подделках, о техническом оснащении полетов, о состоянии астронавтов – ответы в этой книге. Автором движет не стремление убедить нас в том, что программа Apollo – свершившийся факт, а огромное желание поделиться тщательно проверенными новыми фактами, неизвестными изображениями и интересными деталями о полетах человека на Луну. Разнообразие и увлекательность информации в книге не оставит равнодушным ни одного читателя. Был ли туалет на космическом корабле? Как связаны влажные салфетки и космическая радиация? На сколько метров можно подпрыгнуть на Луне? Почему в наши дни люди не летают на Луну? Что входит в новую программу Artemis и почему она важна для президентских выборов в США? Какие технологии и знания полувековой давности помогут человеку вернуться на Луну? Если вы готовы к этой невероятной лунной экспедиции, тогда: «Пять, четыре, три, два, один… Пуск!»

Виталий Егоров (Zelenyikot) , Виталий Юрьевич Егоров

Зарубежная образовательная литература, зарубежная прикладная, научно-популярная литература / История / Научно-популярная литература / Учебная и научная литература / Образование и наука