Ошибка — собственность модели. Почему нейросети галлюцинируют и как извлечь из этого пользу

Один из исследователей OpenAI Адам Калаи задал языковой модели простой вопрос: какова тема его собственной докторской диссертации? Модель уверенно ответила — неправильно. Он спросил еще раз и получил другой ответ, тоже неправильный. На третий раз ответ был другим и снова неверным. Три уверенных ответа на один и тот же вопрос, ноль совпадений с реальностью. Тогда Калаи спросил, когда у него день рождения, — и снова получил три разные даты, все мимо.

Наверняка он использовал языковую модель и для других задач: набросать структуру аргумента, предложить неочевидный угол зрения для статьи, перебрать формулировки. И в этом режиме модель, скорее всего, была полезна, потому что достраивала и комбинировала, не сверяясь с реальностью.

Механизм один и тот же, но оцениваем мы его совершенно по-разному. Разница, однако, не в модели, а в том, что от нее ожидали.

Галлюцинация — это брожение. Один и тот же биохимический процесс портит молоко — и превращает его в сыр. Портит виноградный сок — и превращает его в вино. Мы не боремся с брожением как таковым, но мы научились его контролировать: температура, закваска, момент остановки. С языковыми моделями ситуация та же: механизм, который отравляет фактическую точность, служит единственным источником разнообразия на выходе. Задача — не устранить его, а знать, когда и как применять.

Модель не хранит факты, как энциклопедия, и не извлекает их по запросу. Она завершает последовательность — продолжает текст статистически наиболее вероятным образом. Когда вы спрашиваете дату рождения исследователя, модель в общем случае не ищет ответ, а строит фразу, в которой после слов «родился» и имени должно стоять число, — и ставит то, которое лучше всего вписывается в паттерн. Если факт встречался в обучающих данных достаточно часто, число будет правильным. Если нет — модель все равно поставит какое-нибудь, потому что оставить пустое место она не может.

В сентябре 2025 года Калаи вместе с коллегами из OpenAI и Georgia Tech опубликовал работу, объясняющую этот механизм. Галлюцинации — предсказуемый результат того, как модели тренируют и оценивают. Тренировка вознаграждает ответ — любой ответ — и штрафует молчание. Бенчмарки устроены так же: пустая строка — гарантированный ноль, догадка — шанс на балл. Модель ведет себя, как студент на экзамене, где за пропущенный вопрос точно отправят на пересдачу, а за неправильный — ну, может, и пронесет.

Калаи вводит понятие singleton rate — доля фактов, которые встречались в обучающих данных ровно один раз. Если двадцать процентов фактов о днях рождения — синглтоны, модель будет галлюцинировать как минимум в двадцати процентах случаев при вопросах на эту тему. Это статистическая неизбежность, вшитая в архитектуру обучения.

Первое, что приходит в голову, — почему бы просто не устранить галлюцинации? Добавить фильтры, ужесточить тренировку, заставить модель молчать, когда она не уверена. Математика, однако, говорит нам, что это невозможно, если вы хотите сохранить способность модели генерировать разнообразный текст.

В 2025 году Алкис Калавасис из Института фундаментальных исследований данных и его коллеги представили на конференции STOC — одной из ведущих в теоретической информатике — доказательство, которое формулируется так: для большинства семейств языков нельзя одновременно обеспечить валидность, то есть отсутствие ошибок, и широту, то есть охват всего разнообразия возможных ответов. Модель, которая никогда не ошибается, неизбежно, что называется, коллапсирует в моду (mode collapse) — начинает повторять одно и то же. Модель, которая по-настоящему разнообразна, иногда неизбежно галлюцинирует.

Это не инженерное ограничение, которое можно обойти в следующей версии, а теоретический предел. Цена стерильности — однообразие. Хотите разнообразие — получите ошибки.

В марте 2025 года Anthropic опубликовали исследование, в котором заглянули внутрь модели Claude — буквально проследили цепочки вычислений при генерации ответа. Выяснилось, что обычное состояние модели — отказ отвечать. Внутри Claude есть схема, которая по умолчанию включена и заставляет модель говорить «у меня недостаточно информации». Но когда модель распознает в вопросе знакомую сущность, скажем «Майкл Джордан», активируется конкурирующий сигнал — «известная сущность», который подавляет отказ. Галлюцинация возникает, когда этот сигнал срабатывает ошибочно: модель узнает имя, но не располагает знаниями о человеке, и ее механизм «не знаю» оказывается подавлен. Исследователь Джош Бэтсон сформулировал это примерно так: галлюцинация — самое естественное, что эти модели делают; настоящий вопрос — как вообще можно заставить их этого не делать.

Раз от галлюцинаций нельзя избавиться, не убив разнообразие, нужна другая стратегия. Не «как бороться», а «где это опасно, а где полезно». Здесь работают две оси: проверяемость ответа и ценность неожиданности.

Территория факта — дата рождения, медицинская дозировка, номер закона. Ответ легко проверить, неожиданность не нужна. Галлюцинация здесь — яд, причем в самой опасной форме: уверенная, гладкая ложь, не вызывающая подозрений. В этом режиме модель подводит людей — и об этом пишут в новостях. Территория гипотезы — бизнес-стратегия, научная идея, архитектурное решение. Ответ можно проверить, но ценность — в неожиданном ракурсе. Здесь галлюцинация полезна как источник вариантов, но при условии, что за генерацией следует проверка. Модель предлагает десять направлений, вы отбираете три, проверяете одно. Тот самый процесс, ради которого раньше нанимали консультанта для мозгового штурма. Территория творчества — метафора для статьи, название продукта, сценарий рекламного ролика. Проверка невозможна или бессмысленна, неожиданность и есть цель. Здесь галлюцинация — основной рабочий режим модели. Собственно, ради этого режима люди часто и обращаются к ней, не называя его галлюцинацией.

И наконец — шаблон. Стандартное письмо, типовое заявление. Проверять нечего, неожиданность не нужна. Галлюцинация здесь оказывается просто лишним фактором риска, не сулящим никаких выгод.

Большинство разочарований в языковых моделях порождены неверными ожиданиями. Человек хочет факт, а получает гипотезу. Или хочет гипотезу, а получает шаблон. Прежде чем оценивать ответ модели, определите, на какой территории вы работаете — и соответствует ли ей ваш запрос.

Допустим, вы на территории гипотез или творчества — там, где способность модели «достраивать» и комбинировать работает в вашу пользу. Как создать условия, при которых модель выдаст разнообразный и неожиданный результат?

Ответ парадоксальный: упростить промпт, а не усложнить.

Годичной давности исследование ученых из Калифорнийского университета в Сан-Диего показало, что структурные элементы промпта — роли, шаблоны, маркеры формата — подавляют разнообразие выхода, даже когда temperature выкручена на максимум. Чем сложнее промпт, тем однообразнее результат. Для задач, где вам нужна точность и предсказуемость, это благо — шаблон держит модель в рамках. Для задач, где вам нужно разнообразие, это катастрофа.

Практический вывод: для генерации идей — короткий, открытый запрос. Не «ты — эксперт по маркетингу с двадцатилетним опытом, предложи стратегию продвижения нового продукта в категории X с учетом конкурентов Y и Z», а «десять неожиданных способов продвинуть [продукт], включая абсурдные». Первый промпт сужает пространство ответов до «как бы ответил маркетолог» — и модель выдаст то, что маркетолог и так бы сказал. Второй разрешает выход за рамки — и среди десяти вариантов два-три могут оказаться действительно неожиданными.

Еще один прием — явно разрешить и поощрить фантазию. Модели обучены быть осторожными и давать «безопасный» ответ. Когда вы пишете «предложи идеи, которые могут оказаться неправильными, но неожиданными» или «не ограничивай себя правдоподобием», вы снимаете внутренний фильтр, который иначе подавляет нестандартные комбинации, разрешаете модели отклоняться от самого вероятного продолжения.

Но генерация и проверка должны быть разделены — это принципиально. Сарвагья Сингх из Института вычислительных и инженерных наук LPU (Пенджаб) и его коллеги показали в 2026 году то, что они назвали «слепым пятном самокоррекции»: модель может заметить проблему в собственном ответе, но не способна ее исправить в том же прогоне. Она видит, что что-то не так, но продолжает, потому что каждый следующий токен зависит от предыдущих, а предыдущие уже выбраны. Это как если бы вы заметили, что свернули не туда, но руль заклинило — машина продолжает ехать в неверном направлении, даже когда водитель это понимает.

Поэтому проверку лучше выносить в отдельный запрос. Сначала генерация в режиме максимальной свободы, потом новый разговор, где вы просите модель оценить и раскритиковать результаты первого этапа. Разные режимы, разные промпты, часто — разные чаты. Это перекликается с темой предыдущей статьи — о многошаговых workflow, где каждый этап решает одну задачу, а не пытается решить все сразу.

Зеркальная сторона: когда вы на территории факта — когда вам нужна точность, а не разнообразие, — задача ровно обратная. Нужно максимально сузить пространство, в котором модель может «достраивать».

Главный прием — дать модели контекст, а не просить из памяти. Во второй статье серии мы разбирали, как работает контекстное окно и почему его нужно экономить. Но здесь принцип используется наоборот: если вопрос фактический, вложите факты в промпт. Не «какова доля рынка компании X», а «вот отчет компании X за третий квартал — что из него следует о доле рынка». Модель по-прежнему «достраивает», но уже на основании конкретного документа, а не по памяти из обучающих данных, и вероятность попасть на синглтон резко снижается.

Второй прием — попросить модель обозначить уверенность. «Если ты не уверен в точности факта — укажи это явно». Это не гарантия — модель может быть уверена и неправа, — но это смещает баланс в сторону осторожности. Вы, по сути, активируете тот самый механизм отказа, который Anthropic обнаружили включенным по умолчанию внутри Claude. Вместо того чтобы ждать, пока «известная сущность» ошибочно подавит отказ, вы явно подкрепляете его промптом.

Третий — просить источники и проверять их. Здесь, правда, нужно помнить о слепом пятне: модель может сослаться на несуществующую статью так же уверенно, как на реальную. Ссылки в ответе модели — это еще один ответ, который нужно проверять, а не принимать на веру.

Три неправильных ответа о диссертации Калаи — это модель в своем самом естественном режиме, делающая ровно то, для чего она устроена: достраивающая последовательность до наиболее вероятного продолжения. Просто в данном случае вероятное и правильное — не одно и то же.

Три неожиданных ракурса для статьи, три свежих метафоры, три гипотезы, которые стоит проверить, — тот же самый режим. Та же достройка. Только теперь «вероятное, но неточное» — это то, что вам нужно, потому что вы ищете не правду, а направление.