Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет

И крупные компании, производящие микросхемы, и мелкие стартапы много вкладывают в эту цель. В 2016 году, например, компания Intel приобрела Nervana — небольшую свежесозданную компанию в Сан-Диего, которая разработала специальные СБИС для глубокого обучения, а бывший генеральный директор Nervana Навин Рао теперь возглавляет их новую группу продуктов ИИ[377], которая напрямую подчиняется генеральному директору Intel. В 2017 году Intel за 15,3 миллиарда долларов купила Mobileye — компанию, которая специализируется на датчиках и компьютерном зрении для беспилотных автомобилей. Компания Nvidia, разработавшая специальные цифровые чипы, оптимизированные для графических приложений и игр, называемые графическими процессорами (graphics processing unit; GPU), теперь продает больше микросхем, предназначенных для глубокого обучения и облачных вычислениях. Google разработала особый чип — тензорный процессор (tensor processing unit; TPU), — чтобы обеспечить глубокое обучение своих интернет-сервисов с гораздо меньшим энергопотреблением.

Программное обеспечение для глубокого обучения также важно для разработки приложений. TensorFlow — программа для запуска сетей глубокого обучения, которую Google выложила в открытый доступ. Возможно, все не так альтруистично, как кажется: когда Google сделала систему Android бесплатной, это дало компании контроль над операционной системой, которую сейчас используют на большинстве смартфонов по всему миру. Но есть альтернатива: у CNTK[378] компании Microsoft также открытый исходный код; MVNet поддерживается Amazon и другими крупными интернет-компаниями, такие среды для глубокого обучения, как Caffe, Theano и PyTorch, составляют им конкуренцию.

Горячие чипы

В 2011 году в городе Тромсё в Норвегии я организовал спонсируемый Фондом Кавли[379] семинар «Развитие высокопроизводительных вычислений в экологически чистой среде»[380]. Мы подсчитали, что при нынешних микропроцессорных технологиях для экзафлопсных вычислений[381], которые в тысячу раз быстрее петафлопсных[382], потребуется 50-мегаваттная электростанция — больше, чем мощность, потребляемая метро в Нью-Йорке. Значит, следующему поколению суперкомпьютеров для работы нужны микросхемы с низким энергопотреблением, таких как чипы, созданные компанией ARM, которые были оптимизированы для смартфонов. Вскоре станет нецелесообразно использовать цифровые компьютеры общего назначения для наиболее ресурсоемких приложений, и будут доминировать чипы специального назначения, как это уже произошло в мобильных телефонах.

В человеческом мозге около ста миллиардов нейронов, каждый из которых соединен с несколькими тысячами других, что в сумме доходит до квадрильона[383] синаптических связей. Энергетический бюджет мозга — около 20 ватт, около 20 процентов от энергопотребления всего тела, хотя мозг весит лишь три процента от общей массы. Напротив, суперкомпьютер с производительностью, исчисляемой в петафлопсах, потребляет 5 мегаватт и даже близко не приближается к мощности вашего мозга. Природа добилась этого, уменьшив части нейронов, необходимые для связи и передачи сигнала, до молекулярного уровня. Еще одно отличие — плотность размещения компонентов: транзисторы на микросхеме расположены на двумерной поверхности, а в мозге соединения находятся в трехмерном пространстве, что позволяет минимизировать объем. Природа давно открыла эти технологии, и нам еще предстоит наверстать упущенное.

Рис. 14.1. Карвер Мид примерно в то время, когда он создал в Калтехе первый кремниевый компилятор. Мид был провидцем, чьи идеи и технологические достижения оказали значительное влияние как на цифровые, так и на аналоговые вычисления. Телефон на снимке указывает на время, когда была сделана фотография.

Глубокое обучение требует больших вычислительных ресурсов и сейчас выполняется на централизованных серверах, а результаты передаются на периферийные устройства, такие как мобильные телефоны. В конечном счете, периферийные устройства должны стать автономными. Это потребует принципиально иного оборудования, намного легче и потребляющего меньше энергии, чем облачные вычисления. Интересно, что такое оборудование уже существует — нейроморфные чипы, созданные по подобию мозга.

Холодные чипы