От «Энигмы» до ChatGPT

Transcript № 2

We need to make AI smaller to democratize it, and we need to make AI safer by teaching human norms and values.

Perhaps we can draw an analogy from David and Goliath. Here, Goliath being the extreme-scale language models, and seek inspiration from an old-time classic, The Art of War, which tells us, in my interpretation, know your enemy, choose your battles, and innovate your weapons.

Let's start with the first, know your enemy, which means we need to evaluate AI with scrutiny. AI is passing the bar exam. Does that mean that AI is robust at common sense? You might assume so, but you never know.

So suppose I left five clothes to dry out in the sun, and it took them five hours to dry completely. How long would it take to dry 30 clothes? GPT-4, the newest, greatest AI system, says 30 hours. Not good.

A different one. I have a 12-liter jug and a 6-liter jug, and I want to measure 6 liters. How do I do it? Just use the 6-liter jug, right? GPT-4 spits out some very elaborate nonsense. Step one, fill the 6-liter jug. Step two, pour the water from 6- to 12-liter jug. Step three, fill the 6-liter jug again. Step four, very carefully pour the water from 6- to 12-liter jug. And finally, you have 6 liters of water in the 6-liter jug that should be empty by now.

OK, one more. Would I get a flat tire by bicycling over a bridge that is suspended over nails, screws and broken glass? Yes, highly likely, GPT-4 says. Presumably because it cannot correctly reason that if a bridge is suspended over the broken nails and broken glass, then the surface of the bridge doesn't touch these sharp objects directly.

OK, so how would you feel about an AI lawyer that aced the bar exam yet randomly fails at such basic common sense? AI today is unbelievably intelligent and then shockingly stupid. It is an unavoidable side effect of teaching AI through brute force scale.

Some scale optimists might say, don't worry about this, all of this can be easily fixed by adding similar examples as yet more training data for AI. But the real question is this. Why should we even do that? You are able to get the correct answers right away without having to train yourself with similar examples.

Нам нужно сделать ИИ меньше, чтобы демократизировать его, и надо сделать ИИ безопаснее, обучая человеческим нормам и ценностям.

Наверное, можно провести аналогию с Давидом и Голиафом. Здесь Голиаф — это модели языка большого масштаба, и мы можем черпать вдохновение из старой классики «Искусство войны», которое гласит, по моему толкованию: узнай своего врага, выбери свои битвы и инновационное оружие.

Начнем с первого — узнай своего врага, что означает: что нам нужно критически оценивать ИИ. ИИ сдал юридический экзамен. Это значит, что у ИИ есть здравый смысл? Вы могли бы предположить, что это так, но вы никогда не узнаете.

Допустим, я выставил 5 вещей высушить на солнце и им понадобилось 5 часов, чтобы высохнуть полностью. Сколько времени потребуется, чтобы высушить 30 вещей? GPT-4, новейшая и величайшая система ИИ, говорит 30 часов. Не хорошо.

Еще один пример. У меня есть кувшин на 12 литров и кувшин на 6 литров, и я хочу измерить 6 литров. Как я это делаю? Просто используйте кувшин на 6 литров — правильно? Но GPT-4 выдает какую-то очень сложную чушь. Шаг первый: наполните кувшин на 6 литров. Шаг второй: перелейте воду из 6-литрового кувшина в 12-литровый. Шаг третий: снова наполните 6-литровый кувшин. Шаг четвертый: очень осторожно перелейте воду из 6-литрового кувшина в 12-литровый. И наконец, у вас есть 6 литров воды в 6-литровом кувшине, который к этому времени должен быть пустым.

ОК, еще один вопрос. Получу ли я прокол шины, если буду ездить на велосипеде по мосту, который подвешен над гвоздями, винтами и разбитым стеклом? Да, очень вероятно — говорит GPT-4. Предположительно потому, что она не может правильно рассуждать о том, что если мост подвешен над разбитыми гвоздями и стеклом, то поверхность моста не касается этих острых предметов напрямую.

Итак, как бы вы отнеслись к юристу-ИИ, который отлично сдал юридический экзамен, но случайно допускает такие базовые ошибки в здравом смысле? Искусственный интеллект сегодня невероятно умный, а затем поразительно глупый. Это неизбежное побочное явление обучения ИИ с помощью грубой силы масштаба.

Некоторые оптимисты в плане масштаба могут сказать: не беспокойтесь об этом, все это можно легко исправить, добавив подобные примеры в качестве еще одних обучающих данных для ИИ. Но настоящий вопрос в следующем: зачем нам вообще это делать? Вы можете получить правильные ответы сразу, без необходимости обучаться на подобных примерах.