Языковая модель — это система предсказания. На каждом шаге она оценивает: какое слово вероятнее всего продолжит текст, учитывая все, что было сказано раньше. Фактов в привычном смысле у нее нет — есть статистические связи между словами и понятиями, выученные на огромном массиве текстов.
Когда в этом массиве достаточно данных по теме, предсказания получаются точными — модель как будто «знает» ответ. Но когда данных мало, когда они противоречивы или когда запрос уходит в область, где однозначного ответа не существует, модель все равно обязана что-то предсказать. Остановиться и сказать «не знаю» для нее неестественно: это не заложено в саму механику генерации текста. Результат — уверенно написанный, грамматически безупречный текст, который при этом может быть по большей части выдумкой.
Почему это похоже на человеческую память
Мозг функционирует похожим образом. Воспоминание — это не файл с режимом «только для чтения», который открывается по запросу, а сложный процесс реконструкции из разрозненных следов: обрывков ощущений, эмоций, логики «как это обычно бывает». Поэтому:
- Детали со временем меняются, даже если человек уверен в обратном;
- Одно и то же событие несколько свидетелей описывают по-разному;
- Наводящий вопрос способен буквально вписать в память деталь, которой не было.
И мозг, и нейросеть в этом смысле — не хранилища, а генераторы правдоподобного. Разница в том, что у мозга есть якорь — реальный прожитый опыт, пусть и искаженный при пересборке. У модели якоря нет вовсе: она реконструирует не конкретное воспоминание, а статистически усредненное «что обычно пишут по этому поводу».
Галлюцинации непобедимы?
Полностью исключить галлюцинации в системе, которая по своей природе генерирует, а не ищет, — задача действительно фундаментальная, а не какая-то там инженерная недоработка, которую поправят со следующим обновлением. Это признает и исследовательское сообщество: чем свободнее модель умеет сочинять, тем сложнее гарантировать, что она не начнет галлюцинировать там, где нужна точность.
Но это не значит, что с этим ничего нельзя поделать. Снижать частоту и тяжесть галлюцинаций вполне реально:
- Позволять моделям подключаться к внешним источникам данных в момент ответа, а не слепо полагаться на «память», сформированную в процессе обучения;
- Учить модели явно отделять то, что подтверждено источником, от того, что она додумывает;
- Тренировать модель сигнализировать о неуверенности, а не маскировать пробел в данных за выдуманной информацией.
Это, конечно, не устранит саму природу явления, но может минимизировать последствия.
Но если принять, что галлюцинации — не временный баг, а свойство архитектуры, меняется сама постановка вопроса. Не «когда это починят», а «как выстроить работу так, чтобы ошибка модели не стала катастрофой».
На практике это означает три вещи. Во-первых, относиться к ответу нейросети так же, как к показаниям одного свидетеля — полезно, но нуждается в перепроверке, особенно в вопросах, где цена ошибки высока. Во-вторых, использовать инструменты, которые дают модели опору на проверенные источники вместо чистой генерации по памяти, — поиск в интернете, базы данных, документы, на которые модель может сослаться. В-третьих, оставлять финальную проверку за человеком там, где цена ошибки высока: только он способен сверить сгенерированное с реальностью.
Парадокс в том, что мы уже тысячи лет живем с системой, которая «достраивает и иногда ошибается», — это наш собственный мозг. Общество выработало вокруг этого целые институты: протоколы, перекрестные показания, документы, независимые проверки. Возможно, с ИИ предстоит пройти похожий путь — не ждать, что он перестанет ошибаться, а научиться строить процессы, устойчивые к ошибкам такого рода.
Часто задаваемые вопросы
Можно ли заранее понять, где модель будет галлюцинировать?
Полной гарантии нет, но есть закономерность: риск выше там, где в обучающих данных было мало информации, где тема узкоспециальная, редкая или требует точных цифр, дат, цитат. Общие темы, о которых написаны миллионы текстов, — «плотная» зона, ответы обычно надежнее. Узкие и редкие — «разреженная», и там стоит перепроверять в первую очередь.
Почему модель не может просто сказать «я не знаю» вместо того, чтобы выдумывать?
Технически может, и разработчики стараются учить ее этому. Но механика генерации устроена так, что модель на каждом шаге выбирает самое правдоподобное продолжение. Она не оценивает границы своих знаний, потому что это была бы отдельная задача, которой ее нужно обучать. Так что сейчас ИИ скорее выдаст выдумку, чем остановится.
Чем ложные воспоминания человека отличаются от галлюцинаций ИИ с точки зрения последствий?
Ложное воспоминание человека обычно касается личного опыта и дальше него не идет — ошибается один человек в одной ситуации. Галлюцинация модели тиражируется мгновенно и на огромную аудиторию: если тысячи людей одновременно получат один и тот же выдуманный факт, это создает эффект массового заблуждения гораздо быстрее, чем ошибка одного человека.
Читайте также: Почему ИИ невозможно научить человеческим ценностям.
