Власть роботов. Как подготовиться к неизбежному

Даже бренд созданного CloudWalk продукта «платформа больших данных Fire Eye[268]» кажется заимствованным из очень страшного научно-фантастического романа. Полное отсутствие попыток как-то замаскировать в описании предназначение этой технологии даже на общедоступном корпоративном сайте — яркий показатель того, что китайские власти проводят в отношении уйгуров политику подавления. Это также свидетельство того, что искусственный интеллект, оказавшийся не в тех руках, может использоваться в самых мрачных целях. Подобная опасность не ограничивается Китаем. Практически любую современную технологию распознавания лиц можно превратить в оружие против определенных групп, если настроить систему на выявление таких признаков, как раса, пол, усы и борода или религиозная одежда.

Движение Китая в сторону все более тотальной слежки за своими гражданами может увенчаться полным выполнением планов по внедрению системы социального рейтинга. Эта программа была представлена в 2014 году как способ вознаграждения «благонадежности» граждан, иными словами, она должна «позволить тем, кто благонадежен, беспрепятственно находиться в любом месте под солнцем и сильно осложнить жизнь дискредитировавшим себя»[269]. Система социального рейтинга начинается с показателей, характерных для западных коммерческих систем кредитного или потребительского рейтинга, таких как кредитный скоринг или рейтинги Uber и Airbnb. Однако китайская система идет намного дальше и потенциально вторгается практически во все аспекты повседневной жизни, включая учет нарушений закона и любые нежелательные, с точки зрения властей, поступки. Помимо просрочек по счетам или штрафам, это могут быть чрезмерное увлечение компьютерными играми, крамольные посты в соцсетях, связи с неподходящими людьми, разбрасывание мусора или громкая музыка в общественном транспорте, курение в неположенных местах и даже неправильно рассортированный мусор[270]. Социальный рейтинг может также учитывать желательное поведение, скажем получение государственной награды или премии за трудовые успехи, благотворительность, заботу о родственниках или помощь соседям. Рейтинг может коснуться даже сугубо личных решений о покупках, например вознаграждать за покупки, которые считаются позитивными, скажем подгузники для младенцев, и наказывать за чрезмерное приобретение спиртного. Обладатели высоких баллов получают такие бонусы, как скидки при расчетах за отопление, сокращенное время ожидания приема в больницах или государственных учреждениях или более благоприятные возможности трудоустройства. Напротив, обладатели низкого социального рейтинга штрафуются: лишаются возможности купить билет на самолет или поезд, не могут записать детей в лучшие школы или забронировать номер в популярном отеле или на хорошем курорте. Когда такая всеобъемлющая система будет полностью внедрена, она станет чрезвычайно навязчивым механизмом контроля, охватывающим практически все взрослое население Китая. Human Rights Watch обоснованно называет такую систему «ужасающей»[271].

Все это конечная цель, нынешнее состояние далеко от подобной целостности. На практике система социального рейтинга раздроблена на экспериментальные программы городов и местных властей наряду со множеством коммерческих рейтинговых систем, которыми управляют такие корпорации, как Alibaba и Tencent, поддерживающие платформы мобильных платежей[272]. Часть этих программ, в частности в городе Жунчэн, получили широкую поддержку общественности, поскольку являются относительно прозрачными, наказывают только явно криминальные поступки и имеют неоспоримые положительные результаты. Например, водители в Жунчэне стали уступать пешеходам дорогу на перекрестках после того, как стало ясно, что нарушение негативно скажется на их социальном рейтинге. Действительно, китайские граждане получили миллионы отказов в продаже билетов на самолет или скоростной поезд, но в основном потому, что их имена оказались в давно ведущихся черных списках, а не из-за социального балла, сгенерированного алгоритмом. В самый важный черный список, который ведет Верховный народный суд, попадают те, кто не погасил долги, судебные или иные штрафы. Впрочем, почти для всех государственных служб в Китае постоянной проблемой остаются коррупция и непрозрачность. Со временем эти системы неизбежно станут намного более интегрированными, и их бесцеремонность будет усилена распознаванием лиц и другими технологиями на основе ИИ, используемыми в целях слежки и наблюдения за гражданами. В конечном итоге можно ожидать появления совершенно оруэлловской системы всестороннего социального контроля.