Та же группа продемонстрировала, что изображение собаки, постепенно преобразующейся, пиксель за пикселем, в пару лыжников на склоне, по-прежнему распознается как собака, даже когда собака полностью исчезает с экрана. Этот результат был тем более замечательным, что алгоритм, использованный в этой работе, был для хакеров абсолютным черным ящиком. Они не знали, как именно расшифровывается изображение, и тем не менее сумели обмануть алгоритм.
Исследователи из компании Google зашли на один шаг дальше: они создали изображения, настолько интересные для алгоритма, что он не обращает никакого внимания на остальные части картинки. При этом использовалось то обстоятельство, что алгоритмы присваивают более высокий приоритет тем пикселям, которые они считают важными для классификации изображения. Если алгоритм пытается распознать лицо, он игнорирует пиксели, относящиеся к фону – небу, траве, деревьям и так далее. В Google создали психоделические цветовые пятна, которые полностью завладевают вниманием алгоритма: если в обычной ситуации он был способен распознать изображение банана, то при наличии подобного цветового пятна банан совершенно исчезает из поля его зрения. Пятна можно сделать так, чтобы они распознавались как изображения произвольных объектов – например, изображение тостера. Какое бы изображение ни показали алгоритму, если в нем есть такое пятно, алгоритм будет считать, что видит тостер. Этим он несколько похож на собаку, которую можно полностью отвлечь от чего угодно, показав ей мячик: из сознаваемого ею мира исчезает всё на свете, и она не видит ничего, кроме этого мячика, и не думает ни о чем другом. В большинстве предыдущих попыток взлома таких алгоритмов нужно было иметь какую-то информацию об изображении, которое алгоритм хотели заставить неправильно классифицировать, но эти вновь открытые пятна обладают тем преимуществом, что работают независимо от того, какое изображение они искажают.
Человека такие уловки не обманывают, но это не значит, что мы не подвержены аналогичным эффектам. Особенности работы нашего мозга используют фокусники: мы обычно отвлекаемся на какой-то один элемент в поле зрения и можем совершенно не замечать, что еще происходит в это же время. Классический пример этого эффекта дает знаменитый видеофильм с двумя командами, пасующими баскетбольные мячи. Если зрителей просят подсчитывать пасы, выполненные одной из команд, внимательно следя за перемещениями мяча, большинство совершенно не замечает человека в костюме обезьяны, который проходит между игроками, бьет себя в грудь, а затем уходит с площадки. Описанные хакерские атаки на компьютерное зрение просто выявляют слепые пятна алгоритмов – но таких слепых пятен полно и у человека.
Учитывая, что в управлении беспилотными автомобилями используются алгоритмы компьютерного зрения, возможность такой атаки явно представляет опасность. Представьте себе знак «Стоп», на который прикрепили наклейку с психоделическим пятном, или систему безопасности, управляемую алгоритмом, который совершенно не замечает пистолета, потому что считает, что это черепаха.
Я решил как следует испытать алгоритм Kinect и попытаться обмануть его, изгибая свое тело необычным образом, но это оказалось не так-то просто. Даже когда я принимал причудливые позы йоги, которые алгоритм не видел в своих тренировочных данных, ему все равно удавалось с высокой точностью идентифицировать части моего тела. Поскольку наши тела вряд ли могут делать что-нибудь принципиально новое, этот алгоритм по большей части заморожен и не будет развиваться дальше. Ему уже незачем изменяться, так как он уже хорошо делает то, для чего он создан. Но другим алгоритмам, возможно, придется продолжать приспосабливаться к новым представлениям и изменениям окружающего их мира. Алгоритмы, рекомендующие фильмы, которые нам, возможно, захочется посмотреть, книги, которые нам, возможно, захочется прочитать, музыку, которую нам, возможно, захочется послушать, должны быть достаточно расторопными, чтобы реагировать на изменения наших вкусов и на поток новых творческих произведений, порождаемых человеческим кодом.
Именно в этом аспекте и проявляется могущество алгоритма, способного продолжать учиться, изменяться и приспосабливаться к новым данным. Машинное обучение открыло перспективу появления алгоритмов, изменяющихся и взрослеющих так же, как люди.
6
Алгоритмическая эволюция
Знание основывается не только
на истине, но и на заблуждении[28]
.