Галлюцинации нейросетей: что это такое и как их уменьшить

Крупнейший банк страны «Сбер» запустил нейросеть, чтобы продемонстрировать своё технологическое лидерство. Пользователи попросили нарисовать флаг России. И искусственный интеллект, пытаясь «улучшить» картинку, пририсовывал к государственному триколору купола собора Василия Блаженного.

Красиво? Возможно. Законно? Депутаты Госдумы так не посчитали. Лидер фракции «Справедливая Россия» Сергей Миронов обратился в Генпрокуратуру с требованием проверить алгоритм [1]. Разработчиков вызвали для объяснений, оправдываться пришлось даже главе «Сбербанка» Герману Грефу. В итоге разработчики экстренно вносили правки в код и запретили нейросети «фантазировать» на тему символов. Из-за этого, по словам Грефа, Kandinsky потеряла 12% в креативности.

Это реальность рынка ИИ. Мы привыкли думать, что галлюцинации ИИ — это смешные картинки. Но когда алгоритм переписывает законы или подставляет бизнес под штрафы — становится не до смеха.

С вами Павел Томник, куратор отдела обучения в Universus. Я часто вижу, как новички копируют ответы чат-ботов в отчëты, а потом краснеют перед руководством. В этой статье разберём этот феномен. Вы узнаете, почему галлюцинации нейросети неизбежны и получите промпт, благодаря которому ИИ будет говорить только правду.

Автор

Редакция Универсус

Что означает термин «Галлюцинации ИИ»

Слово «галлюцинация» — это метафора. У нейросети нет мозга, она не может чувствовать или представлять, но термин прижился, потому что точно описывает результат.

Если говорить просто, что означает термин галлюцинации ИИ? Это ситуация, когда нейросеть выдаёт информацию, которая выглядит убедительно, логично и грамматически идеально, но при этом — полная выдумка, или уверенная ложь.

Представьте студента на экзамене. Он вытянул билет, который не учил. Молчать нельзя, и он начинает «лить воду», сыпать терминами, ссылаться на несуществующие книги. Говорит так уверенно, что преподаватель почти верит. Нейросеть — тот студент. Её задача — не сказать правду, а продолжить диалог так, чтобы это выглядело «человечно». И если для красного словца нужно выдумать новый закон физики — она это сделает, не моргнув.

Для машины нет разницы между правдой и вымыслом. Фразы «Москва — столица России» и «Москва — столица Марса» для неё цепочки слов с разной вероятностью. И если контекст сложится неудачно, она выберет второй вариант.

Примеры галлюцинаций

Российская практика накопила багаж эпичных провалов. Вот примеры галлюцинаций ИИ, которые стоили нервов и денег.

Kandinsky и «запрещённый» флаг [2]

Тот самый случай, когда нейросеть от «Сбера» попала в политический скандал. По запросу «Флаг России» модель Kandinsky часто выдавала фантазии на тему: меняла цвета, добавляла купола. После жалобы депутатов и вызова в прокуратуру разработчики вручную отключили генерацию госсимволики. Это классический пример того, как творческая «галлюцинация» сталкивается с суровым законом. Подробнее о возможностях и обновлениях этой модели мы рассказали в статье «Нейросеть Kandinsky 3.1».

Диплом Александра Жадана: 23 часа правок [3]

История выпускника РГГУ, который защитил диплом с помощью ChatGPT*, известна всем. Но дьявол в деталях. Александр потратил 23 часа на фактчекинг. В первых версиях диплома нейросеть генерировала идеальный научный текст, но ссылалась на несуществующие статьи и монографии. Это пример типичной галлюцинации нейросети. Если бы студент сдал работу без проверки, его бы отчислили за фальсификацию.

Air Canada: у слова ИИ есть цена [4]

В 2024 году произошёл прецедент, который изменил всё. Чат-бот авиакомпании Air Canada «сгаллюцинировал» и пообещал клиенту скидку, которой не было в правилах. Клиент купил билет, а когда ему отказались дать бонус, пошёл в суд. Суд обязал выплатить компенсацию. Для российского бизнеса это сигнал: проблема галлюцинаций ИИ может обернуться финансовыми потерями.

Почему нейросети галлюцинируют

Вы спросите: «Почему они такие умные, но настолько глупые?». Что становится основной причиной галлюцинаций у нейросетей? Это не магия, а математика:

1. Сжатие данных. Нейросеть хранит в себе не «Википедию», а «веса» — связи между словами. Когда вы задаëте вопрос, она не достаёт ответ с полки, а конструирует его. В процессе детали могут теряться и заменяться вымыслом.
2. Вероятностная природа. Утверждения «2+2=4» и «2+2=5» для модели отличаются только процентом вероятности. В определённых условиях, например, в творческом режиме, риск ошибки растёт. Это и есть основная причина галлюцинаций у нейросетей.
3. Стремление угодить. Модели обучены быть полезными. Им проще придумать правдоподобный факт, чем расстроить пользователя отказом.

Что не считается галлюцинацией

Не любая ошибка — галлюцинации. К ним не относятся:

• Устаревшие знания. Если ChatGPT* скажет, что Елизавета II всё ещё королева, это говорит только о том, что он не знает более свежей информации.
• Ошибки в вычислениях. Если модель неправильно умножит большие числа — это слабость логики, а не вымысел.
• Предвзятость. Если модель рисует директоров только мужчинами, это стереотип из обучающих данных, а не сбой.

Чем опасны галлюцинации ИИ

Разберёмся, чем опасны галлюцинации ИИ для бизнеса и жизни:

• Киберугрозы. Хакеры используют галлюцинации, чтобы распространять вирусы. Они находят названия несуществующих библиотек кода, которые выдумывает ИИ, создают вредоносные файлы с такими именами и выкладывают в сеть. Программист просит ИИ написать код, тот советует скачать «полезную библиотеку», программист скачивает, и вирус попадает в систему.
• Репутация. Один фейковый факт в статье может уничтожить доверие к эксперту.
• Юридическая ответственность. Как в случае с Air Canada, бизнес отвечает кошельком за «слова» алгоритмов.

Как распознать галлюцинацию ИИ

Советую всегда включать внутреннего скептика. Я выработал привычку: если ИИ выдаёт факт, который выглядит слишком идеально или содержит мелкие детали, допустим, номера страниц или даты, я проверяю. А для вас я подготовил чек-лист, как распознать галлюцинацию ИИ:

1. Кликните по ссылке, которую даёт нейросеть. В 30% случаев ссылка окажется битой (404) или будет вести не туда.
2. Гуглите в кавычках. Скопируйте «цитату» или название книги и поищите в Яндексе. Если нет результатов — это точно галлюцинация.
3. Проведите перекрёстный опрос. Спросите то же самое у другой модели, например, у YandexGPT и GigaChat. Если версии расходятся — кто-то врёт. И тогда предстоит выяснить, кто именно и найти верные данные.

Как уменьшить галлюцинации ИИ

Полностью убрать их нельзя, но можно минимизировать. Вот методы, как уменьшить галлюцинации ИИ:

1. Не просите ИИ отвечать «из головы». Загружите закон или инструкцию и скажите: «Отвечай только по этому тексту». Это снижает уровень выдумок в разы.
2. Если используете нейросеть через API, в настройках модели ставьте Temperature = 0. Это отключает креативность и заставляет робота быть скучным, но точным.

А ещё можно использовать специальную инструкцию.

Промпт «Сыворотка правды»

Скопируйте этот промпт, чтобы узнать, как избежать галлюцинаций ИИ в важных задачах. Благодаря ему модель перепроверяет себя (метод Chain-of-Verification).

Системная инструкция: «Ты профессиональный факт-чекер. Твоя главная задача — достоверность. Прежде чем дать ответ, выполни шаги:

1. Сформулируй черновой ответ.
2. Просканируй его на факты: даты, имена, цифры.
3. Задай себе вопрос: „Уверен ли я в этом на 100%? Есть ли это в моих надёжных источниках?“.
4. Если есть сомнения — удали факт или честно напиши: „Я не нашёл точной информации“.
5. Запрещено выдумывать книги, законы или ссылки.

Твоя цель — не впечатлить меня, а дать точную информацию».

Чтобы научиться составлять такие же эффективные инструкции для любых задач, рекомендуем прочитать нашу статью о том, как писать промпты для нейросетей.

Будет ли проблема решена в будущем

Мнения на этот счет разделились. Сэм Альтман (OpenAI*) верит, что галлюцинации — «детская болезнь», которая уйдёт с ростом мощности чипов. [5] Но Ян Лекун (Meta*) утверждает, что это — особенность архитектуры LLM, и нельзя заставить генератор случайных чисел всегда говорить правду. [6] Скорее всего, мы увидим гибридные системы: нейросеть будет «креативить», а жёсткий алгоритм проверять факты.

Если вы хотите глубже погрузиться в тему, то рекомендуем ознакомиться с нашей статьей «Что такое LLM».

Заключение

Машины научились творить, но ещё не могут отвечать за то, что говорят. Галлюцинации ИИ — это плата за их интеллект. Это не значит, что нужно отказаться от нейросетей. В Universus мы учим, как приручить эту технологию. Главное правило: «Доверяй, но проверяй». Ответственность за результат всегда несёт человек.

Отзывы учеников Universus

«Я юрист, и история про американского адвоката меня напугала. Думал отказаться от ИИ. Но Николай Волосянков на курсе показал, как правильно промптить. Теперь использую нейросеть для черновиков, а факты проверяю в базе. Это отличный помощник, если не выключать голову».

Сергей, частный юрист

«Раньше ChatGPT* выдумывал мне статистику для статей. После обучения в Universus внедрила метод RAG („Заземление“). Теперь скармливаю боту отчёты и прошу писать только по ним. Ошибок ноль!»

Марина, маркетолог

«Для меня стало открытием, что нейросети могут „галлюцинировать“ код. Я учился программировать и не мог понять, почему не работает. Оказалось, ИИ придумал библиотеку! Спасибо кураторам за науку».

Артëм, разработчик

*Сервисы компании Meta, OpenAI признаны экстремистскими и запрещены в РФ. Доступ к зарубежным ИИ-сервисам (ChatGPT, Claude, Gemini) ограничен.