Англо-русский толковый словарь по искусственному интеллекту и робототехнике

adversarial example – состязательный образец, модифицированный образец [обучающих данных] # в состязательных атаках – образец (образ, изображение, объект графических, текстовых или иных данных), подаваемый атакующим на вход модели машинного обучения (МО) в специально видоизменённом варианте, чтобы заставить модель сделать ошибку распознавания. Такой образец – своего рода оптическая иллюзия для машины. Частичные синонимы – adversarial image, adversarial sample (см. также adversarial attack, adversarial training, machine learning).

adversarial learning technique – техника (технология) состязательного машинного обучения (МО) – см. adversarial machine learning.

adversarial machine learning – состязательное машинное обучение, состязательное МО # методология (технология), предусматривающая попытки сознательного обмана ИНС-моделей путём ввода неправильных, искажённых, вредоносных входных обучающих или тестовых данных. Подобную технологию могут применять злоумышленники как способ атаки на систему или специалисты по безопасности, проверяющие таким образом наличие потенциальных уязвимостей и робастность и безопасность алгоритмов обучения и систем машинного обучения. Синоним – adversarial learning technique (см. также adversarial attack, neural network, robustness, test data, training data).

adversarial poisoning attack (также adversarial poison attack, poisoning attack, poison attack) – состязательная атака заражением [обучающих входных данных] # алгоритмы (системы) машинного обучения (МО) часто предусматривают повторение обучения на данных, собранных в процессе работы системы, чтобы адаптироваться к их изменениям. Например, системы обнаружения попыток атак, вторжений (СОА, intrusion detection system, IDS) тоже часто переобучаются на наборах образцов, собираемых при работе сети. При подобном сценарии атакующий имеет возможность испортить, заразить обучающие данные, вводя специально созданные вредоносные образцы с конечной целью нарушения всего процесса обучения. Таким образом, заражение (poisoning) можно рассматривать как злонамеренную порчу обучающих данных, хотя такой подход может использоваться также для проверки робастности алгоритмов и систем распознавания. В качестве примера состязательной атаки заражением обучающих входных данных можно привести ситуацию с подменой знака обязательной остановки перед перекрёстком (stop sign) – его состязательный образец выглядит вполне нормально для человеческого глаза, однако ИНС системы технического зрения (СТЗ) беспилотного автомобиля не распознаёт его как сигнал остановки, что очень опасно (см. также adversarial attack, adversarial machine learning, adversarial sample, training data, trustworthy system).

adversarial robotics – состязательная робототехника # интеллектуальные автономные роботы действуют обычно в условиях слабоструктурированной окружающей среды, которые зачастую могут быть не только благоприятными, но и враждебными, поэтому особенно важно понять, каким будет стратегическое поведение роботов при наличии реального или потенциального (предполагаемого) противника, врага. В связи с этим проводятся междисциплинарные исследования, охватывающие такие области, как робототехника, машинное обучение (МО), ИБ и ИИ, с целью идентифицировать и классифицировать потенциальные проблемы развивающегося направления – состязательной робототехники, предполагающей создание безопасных, гибких, универсальных и надёжных роботов, способных работать во враждебных окружениях. Роботы становятся вездесущими и при этом несут с собой серьёзные угрозы и риски – скомпрометированные (инфицированные, перепрограммированные злоумышленниками и т. п.) роботы быстро могут стать опасными, могут неправильно воспринимать внешние сигналы, перестать адекватно адаптироваться к окружающим условиям, начать принимать неверные решения. Результаты могут оказаться непредсказуемыми и разрушительными – от нарушений в выполнении проектов до причинения вреда людям и окружающей среде. Отметим, что термин “состязательная, или соревновательная, робототехника” употребляют также для обозначения роботов, принимающих участие в различных соревнованиях (например, футбольных), фестивалях, олимпиадах и боях, – где демонстрируются обычно самые последние технические и технологические новинки, концепты, позволяющие судить о тенденциях в развитии робототехники (см. также AI, machine learning, robotics).