Если контролируемое обучение опирается на гигантские массивы размеченных данных, то для обучения с подкреплением нужно огромное количество практических запусков, большинство которых заканчиваются полным провалом. Обучение с подкреплением особенно подходит для освоения игр, ведь алгоритмы могут быстро просмотреть больше матчей, чем один человек способен сыграть за всю свою жизнь. Этот метод можно применить и к задачам в реальном мире, поддающимся быстрому моделированию. В настоящее время самое важное практическое применение такой метод нашел в обучении систем управления беспилотными автомобилями. Прежде чем автопилоты, используемые в Waymo или Tesla, окажутся в настоящей машине или на дороге, они проходят обучение, в процессе которого постепенно набирают опыт, попадая в тысячи смоделированных катастроф. Когда алгоритм обучен и аварии остались в прошлом, программное обеспечение можно установить на реальные автомобили. Хотя этот процесс в целом эффективен, очевидно, что тинейджеру, которому только исполнилось 16 лет, на курсах по вождению незачем тысячу раз разбиваться в автокатастрофе для получения навыков управления автомобилем. Резкий контраст между обучением машин и человеческого мозга, которому для этого требуется несоизмеримо меньше данных, высвечивает как ограничения сегодняшних ИИ-систем, так и колоссальный потенциал их дальнейшего развития.
Тревожные сигналы
Пожалуй, самым захватывающим и важным в плане последствий десятилетием в истории искусственного интеллекта стали 2010-е годы. Помимо принципиального усовершенствования алгоритмов, используемых в ИИ, главным фактором прогресса было создание все более масштабных глубоких нейронных сетей на основе все более быстрых компьютеров, способных поглощать все возрастающие объемы обучающих данных. Стратегия «масштабирования» стала явной после состязания ImageNet в 2012 году, ознаменовавшего революцию в области глубокого обучения. В ноябре того же года передовица
Однако становится все более очевидным, что этот основной двигатель прогресса начинает терять тягу. По оценке исследовательской организации OpenAI, потребности в вычислительных ресурсах, необходимых для передовых проектов в области ИИ, «растут в геометрической прогрессии» и удваиваются примерно каждые 3,4 месяца[149]. В декабре 2019 года в интервью журналу
Если масштабировать глубокое обучение, оно показывает себя лучше и обретает способность решать более широкие задачи. Так что наращивать масштабы выгодно. Очевидно, однако, что поддерживать такой темп развития невозможно. Стоимость ведущих экспериментальных разработок каждый год удесятеряется. Сейчас она может доходить до сумм с семью нулями, но о девяти или десяти нулях речь не идет — это никому не по карману[150].
Далее Пезенти вынес суровый приговор надеждам на то, что масштабирование останется основным двигателем прогресса: «В какой-то момент мы упремся в стену. Во многих отношениях это уже произошло». Помимо финансовых ограничений масштабирования нейронных сетей существуют еще экологические соображения. Анализ, выполненный в 2019 году исследователями Массачусетского университета в Амхерсте, показал, что обучение очень большой глубокой системы может сопровождаться такими же выбросами углекислого газа, как и у пяти автомобилей за все время их эксплуатации[151].