Цифровое общество в культурно-исторической парадигме

Критерий различения: используется ли ложная подсказка («отравляющий пример», троянское обучение) для того, чтобы вызвать сбой, неуспех речевой или же другой – неречевой – деятельности.

2. Средства ложной подсказки (троянского обучения):

а) речевые (вербальные);

б) невербальные средства (картинка, указательный жест и т. д.).

Тогда в рамках этой рабочей классификации мы получаем 4 класса ситуаций.

1. Мишень – речевая деятельность, средство влияния – речевой, вербальной природы. Примеры в человеческом общении – актерские ложные подсказки, обучение не понимающих «иностранным языкам», нецензурным выражениям под видом благопристойных и пр.

2. Мишень – речевая деятельность, средство влияния – невербальные наводки, указания (например, указательный жест не на то место в учебнике, которое надо читать, а на другое, для соученика при опросе учительницей).

3. Мишень – неречевая деятельность, средство влияния – речевая деятельность (пример – вербальная инструкция новичку, как сделать что-то технологически неправильное, чтобы подшутить или же скомпрометировать, устранить потенциального конкурента).

4. Мишень – неречевая деятельность, средство влияния – невербальные наводки, указания (например, указательный жест, провоцирующий неправильное действие).

В предлагаемых терминах, ложные подсказки, «вредные советы» актеру («Ты там не скажи … вместо …») – это «отравляющая атака» на его семантическую сеть. То, от чего якобы предостерегают, становится «отравляющим», «заякоривающим», закрывающим всё остальное примером с неадекватно большим весом в семантической сети. Настолько большим, что произнесение на сцене озвученного до этого «шутником» неправильного варианта становится очень вероятным. При этом в живом общении людей огромное значение имеют и личные коммуникативные способности «подсказчика», включая невербальную составляющую, а также подверженность выбранной жертвы психологическому влиянию (вообще или только влиянию данного человека, в данных обстоятельствах).

При моделировании отравляющей атаки на виртуальную семантическую сеть речь может идти о влиянии посредством изменения весов узлов и связей. Напрашивающаяся грубая метафора – «дебилизация» сети в отношении возможностей поиска на ней интеллектуальных и креативных решений. Но, теоретически рассуждая, «отравляющая атака» может быть направлена и на неадекватное повышение креативности. Если семантическая сеть, поддерживающая разработку креативных рекламных слоганов, в результате хакерской атаки начнет выдавать чересчур креативные и потому «дико выглядящие», непонятные для большинства целевой аудитории слоганы, эту атаку тоже можно считать «отравляющей» – интеллектуальная система сильно отклонилась от требуемого оптимума решений.

Анализируя динамику представленности нарративов о ложных подсказках (обучении со злым умыслом) в различные периоды и в различных обществах можно оценить воспринимаемую важность (опасность) этих явлений в общественном сознании. В том числе, представляет интерес вопрос, претерпит ли эта динамика изменения в «цифровом обществе», где идея троянского обучения (в виде отравляющих атак на системы машинного обучения) органично встраивается в представления о нарастающих возможностях взлома всего и вся – и, вероятно, укрепляет эти представления. Или же динамика представлений не изменится, а просто в массив сюжетов о ложных подсказках и обучении со злым умыслом будет добавлено еще несколько подтипов, что на настоящий момент тоже можно считать вероятным.

Библиографический список

1. Лефевр В.А. Конфликтующие структуры. М.: Советское радио, 1973.

2. Поддьяков А.Н. Противодействие обучению конкурентов и троянское обучение в информационных технологиях // 1-ая Международная конференция по бизнес-информатике: Труды международной научно-практической конференции, 9–11 октября 2007 г. Звенигород, 2007. С. 261–269.

3. Поддьяков А.Н. Психология конкуренции в обучении. М.: Изд. дом ГУ-ВШЭ, 2006.

4. Поддьяков А.Н. Троянское обучение в экономическом сознании и поведении // Культура и экономическое поведение / Под ред. Н.М. Лебедевой, А.Н. Татарко. М.: МАКС Пресс, 2011. С. 421–444.

5. Boyle M. The Computer as a Trojan horse // Journal of Computer Assisted Learning. 2001. Vol. 17. P. 251–262.

6. Controlling the message: preschoolers’ use of information to teach and deceive others / Rhodes M., Bonawitz E., Shafto P. et al. // Frontiers in Psychology. 2015. № 6. Р. 867.

7. Kline M. How to learn about teaching: an evolutionary framework for the study of teaching behavior in humans and other animals // Behavioral and Brain Sciences. 2015. Vol. 38. Р. 31.

8. Manipulating machine learning: poisoning attacks and countermeasures for regression learning / Jagielski M., Oprea A., Biggio B. et al. URL:(дата обращения: 06.02.2018).