Как учатся нейросети: простыми словами про данные и модели

Обучение ИИ как называется? Чаще всего — машинное обучение. Это способ, при котором программе не пишут правила вручную, а показывают множество примеров, и она сама находит закономерности.

Обычную программу пишут так: разработчик заранее придумывает правила. Чтобы отличить спам, он перечисляет подозрительные слова. Такая программа ломается, когда мошенники меняют слова. Машинное обучение работает иначе: программе дают тысячи писем с пометками «спам» и «не спам», и она сама выясняет, какие признаки важны.

Нейросеть — один из видов машинного обучения. Если вы встретите термин «глубокое обучение», это нейросети с большим числом слоёв, которые лежат в основе современных чат-ботов и генераторов картинок.

Слово «искусственный интеллект» шире, чем «машинное обучение». К ИИ относят и старые системы, построенные на правилах, например экспертные программы, которые рассуждали по заранее записанным условиям. Сегодня, когда говорят об ИИ в новостях, почти всегда речь о машинном обучении, поэтому в разговоре эти термины часто заменяют друг друга.

Данные — это примеры, на которых модель тренируется. Для распознавания кошек это фотографии с подписью «кошка» или «не кошка». Для языковой модели, как та, что стоит за GigaChat или Алисой AI (ранее Яндекс Нейро), это огромные массивы текстов.

Качество данных определяет качество результата. Если показать модели только фотографии рыжих кошек, чёрную она может не признать. Если в текстах есть ошибки и предубеждения, они попадут и в ответы. Поэтому говорят: модель знает ровно то, чему её научили, и ничего сверх того.

Отсюда и полезная привычка при работе с нейросетью. Если вы спрашиваете о том, что редко встречается в открытых текстах, например о внутренних порядках вашей компании или свежих событиях, ответ будет слабее, и его нужно проверять строже.

Три типа обучения стоит знать по названиям. Обучение с учителем: у каждого примера есть правильный ответ. Обучение без учителя: модель сама ищет группы и связи в данных. Обучение с подкреплением: модель получает награду за удачные действия, как игрок за очки. Языковые модели сочетают несколько подходов, но в основе лежит предсказание следующего слова.

Обучение идёт по кругу из трёх шагов. Модель получает пример и делает предсказание. Программа сравнивает предсказание с правильным ответом и считает ошибку. Затем внутренние настройки модели немного меняются так, чтобы в следующий раз ошибка была меньше.

Таких кругов миллионы и миллиарды. Настройки, которые меняются, называются параметрами или весами, и у больших моделей их десятки и сотни миллиардов. Именно в них хранится всё, что модель «выучила».

Важно: в готовой модели нет базы с текстами, из которой она достаёт ответы. Есть только параметры, по которым она строит ответ слово за словом. Поэтому нейросеть обычно не цитирует дословно, хотя может воспроизвести запомненный фрагмент, и иногда выдумывает.

Языковую модель обучают угадывать следующее слово в тексте. Из этой простой задачи на огромном объёме текстов возникают умения, которых никто напрямую не задавал: переводить, пересказывать, решать задачи. После этого модель дополнительно настраивают на ответы людей, чтобы она отвечала по делу, а не просто продолжала фразу.

Модель — результат обучения: набор параметров плюс устройство, которое по входным данным выдаёт ответ. Нейросеть описывает устройство, то есть слои и связи между ними. Когда говорят «модель GigaChat», имеют в виду конкретную обученную версию.

Модели бывают разных размеров и назначений. Одни понимают текст, другие рисуют картинки, третьи распознают речь. У одной компании может быть несколько моделей, и они обновляются: новая версия учится на новых данных и работает иначе.

Поэтому один и тот же сервис через полгода может отвечать иначе. Если вы выстраиваете рабочий процесс на конкретном сервисе, периодически проверяйте, что результат остался таким же.

Не путайте обучение модели с вашим разговором с ней. Когда вы пишете в чат, вы не обучаете модель, а даёте ей входной текст. В пределах одного разговора она помнит сказанное, но параметры не меняются. Что сервис делает с вашими запросами потом, определяют его правила, и их стоит прочитать до отправки важных данных.

Модель обучена продолжать текст так, чтобы он выглядел правдоподобно, а не проверять факты. Если правильного ответа в её параметрах нет, она может сочинить похожий. Такие выдуманные ответы называют галлюцинациями.

Ошибки возникают и от нехватки контекста. Если запрос неоднозначен, модель выбирает наиболее вероятное толкование, которое не обязательно ваше. Чем яснее вопрос, тем меньше шансов на промах.

Практический вывод: для задач, где цена ошибки высока, ответ нейросети служит черновиком. Цифры, ссылки, юридические и медицинские утверждения проверяйте по источникам.

Ошибки моделей полезно уметь предсказывать. Чаще всего они выдумывают ссылки, цитаты, точные цифры, имена малоизвестных людей и события после даты обучения. Реже ошибаются в общих рассуждениях и переформулировании. Если вы знаете эти слабые места, вы заранее знаете, где проверять, и работа с нейросетью становится безопаснее.

Готовую модель можно дообучить на своих примерах, чтобы она лучше справлялась с узкой задачей: например, отвечала в стиле вашей компании или разбирала ваши типы документов. Это дешевле, чем обучать с нуля, но требует аккуратно подготовленных данных.

Есть и более простой способ: не менять модель, а давать ей нужные сведения вместе с вопросом. Вы прикладываете документ, и модель отвечает по нему. Для многих задач этого достаточно, и обучение не нужно.

Чтобы пользоваться такими приёмами из собственных программ, нужен минимум программирования: отправить запрос, получить ответ, обработать результат. Он осваивается за недели, если начинать с простых примеров.

Любой может начать с задачи классификации на малом примере. Дайте нейросети двадцать названий товаров с пометкой категории и попросите разнести новые десять по тем же категориям. Вы увидите на практике, как модель находит закономерность по немногим примерам, и поймёте, почему качество и разнообразие примеров так важны. Это не дообучение, а пример в самом запросе: модель не меняется, она использует ваши образцы в рамках одного разговора.

Идея становится понятной, когда вы сами отправляете запрос из программы и смотрите, что приходит в ответ. В курсе «Курсы Python с ИИ для начинающих в Челябинске» вы с нуля пишете скрипты, работаете с файлами и таблицами, отправляете вопрос нейросети из кода и собираете свой рабочий инструмент. Восемь вечерних занятий, группа до восьми человек, очно или онлайн. Пробный проект бесплатный; не понравилось — ничего не платите.