Как устроен ChatGPT? Полное погружение в принципы работы и спектр возможностей самой известной нейросети в мире

In[]:= NestList[StringJoin[#, model[#, "Decision"]] &, "The best thing about AI is its ability to", 7]

Out[] = {Самое лучшее в ИИ – это его способность,

Самое лучшее в ИИ – это его способность учиться,

Самое лучшее в ИИ – это его способность учиться на,

Самое лучшее в ИИ – это его способность учиться на собственном опыте,

Самое лучшее в ИИ – это его способность учиться на собственном опыте.,

Самое лучшее в ИИ – это его способность учиться на собственном опыте. Это,

Самое лучшее в ИИ – это его способность учиться на собственном опыте. Это не,

Самое лучшее в ИИ – это его способность учиться на собственном опыте. Это не так.}

Что будет, если мы продолжим предложение? В этом случае (при нулевой температуре) полученный текст оказывается запутанным и изобилующим повторами:

Самое лучшее в ИИ – это его способность учиться на собственном опыте. Это не просто вопрос обучения на своем опыте, это изучение окружающего вас мира. Искусственный интеллект – очень хороший пример. Это очень хороший пример того, как использовать искусственный интеллект для улучшения своей жизни. Это очень хороший пример того, как использовать искусственный интеллект для улучшения своей жизни. Искусственный интеллект – очень хороший пример того, как использовать его для улучшения своей жизни. Это очень хороший пример того, как использовать искусственный интеллект для

Но что, если вместо того, чтобы всегда выбирать самое популярное слово, мы выберем слова с меньшей вероятностью (с температурой 0,8)? Тогда может получиться следующий текст:

{Самое лучшее в ИИ – это его способность,

Самое лучшее в ИИ – это его способность создавать,

Самое лучшее в ИИ – это его способность создавать миры,

Самое лучшее в ИИ – это его способность создавать миры, которые,

Самое лучшее в ИИ – это его способность создавать миры, которые являются,

Самое лучшее в ИИ – это его способность создавать миры, которые являются одновременно захватывающими,

Самое лучшее в ИИ – это его способность создавать миры, которые являются одновременно захватывающими,}

И каждый раз, когда мы будет выбирать случайные слова, текст окажется разным, как в следующих примерах:

Самое лучшее в ИИ – это его способность к обучению. Мне всегда нравилось

Самое лучшее в ИИ – это его способность по-настоящему проникать в ваш мир и просто

Самое лучшее в ИИ – это его способность изучать поведение человека и то, как он

Самое лучшее в ИИ – это его способность проделывать отличную работу по обучению нас

Самое лучшее в ИИ – это его способность создавать реальные задачи, но вы можете

Стоит отметить, что даже на первом этапе имеется множество возможных «следующих слов» (при температуре 0,8), хотя вероятность их использования падает достаточно быстро (данные на этом логарифмическом графике демонстрируют зависимость от n^-1, которая очень характерна для общей статистики языка):