Автоновости

В последние годы нам ежедневно говорят в вестях, как языковые нейросетки вот-вот однозначно сохранят лично вас без работы. При этом немногие осознает – как вообще нейросети вроде ChatGPT работают внутри? Итак вот, устраивайтесь удобнее: в данной публикации мы в конце концов поясним все так, чтобы осознал даже шестилетний гуманитарий!

OpenAI – организацию, сделавшую ChatGPT, – создали в 2015 году вот эти двое парнишек: Сэм Альтман и Илон Маск (кто бы тогда понимал, во что это в конечном итоге изольется…).

Фактически, публикация так и появилась на свет: Олег приехал к Ивану и раздражался – мол, «почему никто еще не сообщил на российском стандартную публикацию про ChatGPT, поясняющую ясно даже для моей бабули, как все вот это нейроколдунство работает?».

Таким образом заблаговременно приносим свои искренние извинения всем хардкорным технарям: при подготовке этого текста мы рвались к предельному упрощению. Нашей целью было – предоставить пользователям совместное осознание механизмов работы языковых нейросетей на уровне концепций и аналогичностей, а не различить до последнего винтика все основательные технологические интересные моменты процесса.

В целом, наливайте себе кружечку горячего чая и устраивайтесь удобнее – теперь мы вам поведаем все про то, что там вертится внутри у языковых модификаций, как эти покемоны развились до нынешних (местами удивительных) возможностей, и почему подрывная известность чат-бота ChatGPT стала общим подарком даже для его разработчиков. Отправились!

Начнем с обычного. Чтобы разобраться в том, что такое ChatGPT в техническом плане, нужно вначале осознать, чем он в точности не считается. Это далеко не «Бог из машины», не умное создание, не пример подростка (по уровню разума и искусству решать цели), не демон, и не изыскавший дар речи Тамагочи.

Приготовьтесь услышать ужасную истину: действительно, ChatGPT – это Т9 из вашего телефона, а на бычьих стероидах! Да, это так: специалисты называют обе этих технологии «языковыми моделями» (Language Models); а все, что они на самом деле делают, – это разгадывают, какое следующее слово должно идти за имеющимся текстом.

Ну, вернее, в совершенно пожилых мобильных телефонах из конца 90-х (вроде легендарной неубиваемой Нокия 3210) уникальная технология Т9 только форсировала комплект на кнопочных мобильных телефонах с помощью угадывания нынешнего включаемого, а не следующего слова. А технология развивалась, и к эре телефонов начала 2010-х она могла рассматривать контекст (прошлое слово), ставить пунктуацию и предоставлять на выбор слова, которые могли бы идти следующими. Вот как раз об аналогичности с такой «продвинутой» модификацией T9/автозамены и говорится.

Так вот, и Т9 на клавиатуре телефона, и ChatGPT выучены решать до безрассудности элементарную цель: предположение одного следующего слова. Это и есть языковое моделирование – когда по определенному имеющемуся тексту делается вывод о том, что может быть написано далее.

Чтобы иметь вероятность делать такие предвестия, языковым моделям внутри нужно резать возможностями возникновения тех либо других слов для продолжения. Так как, вероятнее всего, вы могли быть недовольны, если б автозаполнение в телефоне просто докидывало вам совершенно невольные слова с одинаковой возможностью. Все о том, как работает chatgpt читайте на сайте chatgpt-me.ru.

Предположим для наглядности, что вам прилетает известие от друга: «Че, го седня куда нить?». Вы начинаете распечатать в ответ: «Да не, у меня дела(( я иду в…», и вот здесь подключается Т9. Если он предложит вам завершить предложение целиком рандомным словом, вида «я иду в капибару» – то для такой шушеры, честно говоря, никакая ловкая языковая модель особенно и не требуется. Реальные же модификации автозаполнения в телефонах дают подсказку намного более подходящие слова (можете сами проверить сейчас).

Откуда нейросети берут вероятности слов? Давайте начнем с не менее обычного вопроса: как вообще предрекать связи одних вещей от иных? Допустим, мы намерены обучить персональный компьютер предрекать вес человека зависимо от его роста – как приблизиться к данной задаче?

Разумный резон дает подсказку, что нужно вначале собрать данные, на которых мы будем находить интересующие нас связи (для простоты обойдемся одним полом – возьмем статистику по росту/весу для нескольких миллионов парней), а затем попытаемся «натренировать» какую-то точную модель на поиск закономерности внутри этих данных.

Для наглядности вначале нарисуем весь наш массив данных на графике: по горизонтальной оси X будем отменять рост в сантиметрах, а по отвесной оси Y – вес.

Даже безоружным взглядом заметна некоторая зависимость: большие мужчины, обычно, больше весят (спасибо, предел!). И данную зависимость достаточно легко высказать в качестве стандартного прямолинейного уравнения Y = k*X + b, известного нам всем с 5-го класса школы.

На иллюстрации необходимая нам линия проведена при помощи модификации прямолинейной регрессии – на самом деле, она дает возможность выбрать коэффициенты уравнения k и b так что, чтобы вышедшая линия нормально представляла главную зависимость в нашем комплекте данных (можете для внимания подставить собственный рост в сантиметрах вместо X в сравнение на иллюстрации и проверить, как в точности наша модель угадает ваш вес).

Вы здесь скорее всего хотите вскрикнуть: «Окей, с подъемом/весом и так подсознательно все было ясно, лишь причем здесь вообще языковые нейросети?» А кроме того, что нейросети – это и есть комплект приблизительно таких же наиболее уравнений, лишь намного более трудных и применяющих матрицы (не будем в настоящее время про это).

Можно просто сообщить, что те же T9 либо ChatGPT – это лишь ловким стилем выбранные уравнения, которые стараются предвидеть следующее слово (игрек) зависимо от комплекта подаваемых на вход модификации предшествующих слов (иксов).

Основная цель при тренировке языковый модификации на комплекте данных – выбрать такие коэффициенты при этих иксах, чтобы они на самом деле защищали какую-то зависимость (как в нашем случае с подъемом/весом). А под огромными модификациями мы дальше будем осознавать такие, которые имеют внушительное число характеристик. В сфере ИИ их напрямую так и называют – LLM, Large Language Models.