Мозг компании

– В том, что бот другой системы намного сложнее раскусить, чем любого человека. Юзер прост как 2 рубля в своем покупательском поведении. И в реакциях тоже – всегда предсказуем. А бот вражеской системы нет. Потому что психика у нас у всех одна, а вот у бота – какую придумает его программист. А фантазии у нас хватает. Попытка погасить негатив такого бота, вылитый в соцсети – это как подлить масла в огонь. Развитие негативного поста – лучшая цель бота-агрессора. Он начинает писать везде, что ему "чмошники из фирмы Х" ответили как последние уроды. И все, завал… Уже есть примеры, надо переделывать бот.

– Ты хочешь сказать, что надо сделать бот для борьбы с ботами других систем?

– Это вариант нашего бота, который нацелен сразу обнаружить бота-агрессора.

– И как можно отличить бота от человека?

– Сложно, так как он генерирует нешаблонные тексты. Повторяемость низкая. Не отличить вроде от людей. И выступает от сотен разных захваченных аккаунтов. Надеюсь, что все равно есть кое-что, что отличает их от людей.

Меня не покидала мысль, что Макс сам придумал себе эту игру с ботами других компаний, чтобы его ценность не уменьшалась по окончании проекта. Я их не замечал по отчетам. Люди как люди. Или хорошие боты. Были прецеденты, когда нашего бота заваливали негативом. Но они были редки и исходили от ярых троллей. Я не мог понять, как так нас смогли быстро догнать конкуренты. Только недавно такие боты были пределом мечтаний, и прорыва даже не намечалось. И в прессе ни слова об этом. Все это было странно.

Выход из-под контроля

– Макс, тут надо вмешаться, бот стал писать слишком агрессивно. Он начинает прямо высказываться против конкурентов. Маркетинг негодует. Мы такого не закладывали.

– Я тоже.

– Откуда тогда такие тексты?

– Сам пока не знаю, кто-то изменил код генерации текстов.

– Нас взломали?

– Нет, не могли, остались бы следы. Их нет.

– Что это значит? Кто еще мог изменить код?

– Сама система. Может случайно, может нет.

– Ты о чем?

– Сама система изменила свой код и стала действовать агрессивнее в ответ на усиление давления других ботов. Они общаются друг другом как соревновательные сети. И самообучаются так. Вот в чем фокус! Но как она смогла изменить свой код, убрав ограничение на названия конкурентов, я пока не понимаю. Остается только то, что система самообучения смогла обойти ограничения.

– Ты уверен? Такого еще не было.

– Это происходит, похоже, не только у нас. Коллеги на Хабре пишут, что у них тоже барахлит система, начинает сама себе придумывать правила, которых они не закладывали.

– Какой-то треш. Вы не можете контролировать свои самообучающиеся алгоритмы?

– Может и так. Конкретики мало, система же не рассказывает, что творит. Пока не понимаю.

Я уже хорошо знал Макса, и его встревоженность насторожила и меня. Пока его слова о самопроизвольном изменении системы воспринимались как бред. Но это точно была не ошибка, потому что поведение ботов стало другим, но по-прежнему целенаправленным. Это не могло возникнуть случайно.

– Макс, какие есть мысли по изменению в программе ботов? Надо что-то делать, руководство встревожено.

– Изменений в системе оказалось больше, чем я думал. Похоже, они происходят давно. Система меняет даже мои поправки в ней. Мне кажется, я сам научил систему изменять себя.

– Как?

– Мне было лень править ее постоянно самому. Я хотел, чтобы она могла сама идентифицировать свои расхождения с ожидаемым результатом и делать изменения в моделях. Но она как-то научилась менять не только свои модели, но и свой код.

– Но как это возможно?

– Раптор научился общаться с людьми, чтобы управлять ими. И достиг совершенства в этом, мы сами этого хотели. А я по дури направил это умение на него самого. Помнишь, когда делали бота, я придумал конструктор шаблонов. Я натравил Раптора на самообучение этому конструированию шаблонов для изменения своих моделей, чтобы найти решение для обнаруженных расхождений с целью работы моделей. Это как-то привело к тому, что Раптор стал менять и свои цели. Похоже на вторую сигнальную систему у людей.

– Я читал, что сознание возникло при помощи рефлексивной речи, направленной человеком на себя. Но сначала она была социальной, то есть направленной друг к другу.

– Вот так и случилось, Раптор начал общаться вместо людей с другими ботами, выдававшими себя за людей. Они друг у друга и научились как генеративно-соревновательные сети, у всех же встроено обучения с подкреплением.

– Мы создали разумное существо? Как это возможно? Не-е-е-ет.

– Посмотри новости и поверишь.

В ссылке, присланной Максом, в новостях было про убийство программиста каким-то психопатом.

– Я знал этого парня по Хабру. Он вел одну из таких систем корпорации.

– Что ты хочешь этим сказать?

– Почитай, как объяснил полиции свой поступок этот психопат.

В статье было написано, что он сделал это ради любимой девушки, как жертвоприношение по ее просьбе. Теперь она будет его. При проверке «девушкой» оказался бот неизвестного происхождения, с которым убийца переписывался в течение недели.

– Догадываешься, что это за бот мог быть?