Достаточно ли машине иметь высокий уровень Φ, чтобы обладать сознанием? По словам Скотта Ааронсона, директора Центра квантовой информации Техасского университета в Остине, двумерная сетка, в которой работают коды коррекции ошибок (такие используются, например, для CD), имеет очень высокий уровень Φ. Ааронсон пишет: «ОИТС предсказывает не только что эти системы обладают сознанием (что было бы нормально), но и что они могут обладать неограниченно более высоким уровнем сознания, чем люди»[53]
. Но такая сетка, откровенно говоря, не кажется подходящим носителем сознания.Тонони соглашается с Ааронсоном. По его мнению, эта сетка действительно обладает сознанием (т. е. макросознанием). На мой же взгляд, высокий уровень Φ недостаточен, чтобы считать искина обладающим сознанием. Я не уверена даже в том, что это вообще необходимо. Например, даже самые быстрые сегодняшние суперкомпьютеры имеют низкий уровень Φ. Дело в том, что конструкция их чипов недостаточно нейроморфна. (Даже машины на основе чипа TrueNorth компании IBM, спроектированного нейроморфным, имеют низкий уровень Φ из-за наличия «шины» – общего пула сигналов, который снижает внутреннюю связность машины, как ее определяет ОИТС.) Возможна даже ситуация, когда система будет сконструирована методом обратного проектирования по архитектуре мозга, но работать на аппаратных средствах с низким уровнем Φ. Я считаю, что пока рано полностью исключать возможность присутствия сознания у такой системы.
Итак, как при текущем уровне знаний нам следует обращаться с машиной, имеющей высокую Φ, – если, конечно, мы встретим такую? Понятно, что одного только уровня Φ недостаточно. Более того, поскольку исследования Φ до сих пор ограничивались биологическими системами и существующими компьютерами (а это не слишком удачные кандидаты на обладание сознанием), пока слишком рано говорить, является ли Φ необходимым условием искусственного сознания. Так или иначе, я не хочу, чтобы моя оценка казалась слишком негативной. Величина Φ вполне может оказаться маркером сознания – характеристикой, говорящей о том, что к системе следует отнестись с особым вниманием, как к потенциальному носителю сознания.
Существует и более общий вопрос, с которым нам следует здесь разобраться. Тесты, о которых мы говорили, находятся пока в стадии разработки. В ближайшие десятилетия мы можем встретить искинов с признаками сознания, но, поскольку тесты еще сырые, с уверенностью нельзя будет сказать, действительно ли сознание у них есть. Неопределенность усиливает еще и то, что, как я подчеркивала, социальное влияние синтетического сознания зависит от нескольких переменных. Например, в машинах одного типа сознание может привести к эмпатии, а в машинах другого типа – к непредсказуемости. Так как же нам поступить, если ОИТС или тест на пригодность чипа указывают на присутствие синтетического сознания или если ACT-тест говорит, что искин обладает сознанием? Следует ли нам прекратить развитие этих систем, чтобы не пересечь этическую красную линию? Это зависит от многих факторов. Я предлагаю вариант осмотрительного подхода.
Принцип предосторожности и шесть рекомендаций
На протяжении всей книги я не устаю подчеркивать, что благоразумным является одновременное использование нескольких индикаторов искусственного сознания. Для проверки результатов одного теста можно использовать другие тесты – такой подход помогает увидеть недостатки тестирования и пути его совершенствования. Не исключена, например, ситуация, когда микрочипы, выдерживающие тест на пригодность, имеют низкое значение Φ, а те, что, согласно предсказаниям ОИТС, способны поддерживать сознание, не работают в нейронных протезах человеческого мозга.
Принцип предосторожности – это знакомый каждому этический принцип. В соответствии с ним если существует вероятность того, что некая технология вызовет катастрофические последствия, то лучше перестраховаться, чем потом сожалеть. Прежде чем приступать к созданию технологии, которая потенциально может иметь такие последствия для общества, желающие ее разрабатывать должны доказать, что она не приведет к катастрофе. Осторожное мышление имеет давнюю историю, хотя сам принцип был сформулирован относительно недавно. Доклад «Запоздалая реакция на раннее предупреждение» приводит в пример врача, который во время вспышки холеры в Лондоне в 1854 г. рекомендовал снять рукоятку насоса водоразборной колонки в эпицентре заболевания. Хотя признаки причинной связи между тем насосом и распространением холеры были косвенными, эта простая мера эффективно остановила распространение заразы[54]
. Если бы на признаки потенциальной опасности асбеста обратили внимание сразу, это помогло бы спасти массу жизней, хотя в то время наука еще многого не знала. Согласно докладу UNESCO/COMEST, принцип предосторожности уже стал основой для множества договоров и деклараций в области защиты окружающей среды, устойчивого развития, продовольственной безопасности и здравоохранения[55].