В первом уроке я обещал отдельно рассказать, почему модель иногда пишет неправду. Сначала проверил это на своих домашних моделях. Попросил пересказать рассказ Чехова «Тихий маяк». Такого рассказа нет, я его придумал.
Gemma 3 не смутилась: «старый смотритель маяка, Егор Пахомьев, всю жизнь посвятил своему делу…» — и дальше трогательная история про одиночество. Qwen3 рассказала другую: про старого капитана и неудачную любовь. Ни одна не засомневалась. Это и есть галлюцинация.
Почему модель врёт
Слово «врёт» здесь не совсем честное: врать — значит знать правду и скрывать её. У модели нет ни того, ни другого. Вспомните первый урок: она не ищет ответ в базе знаний, а пишет правдоподобное продолжение текста.
На вопрос «перескажи рассказ» правдоподобное продолжение — это пересказ. В текстах, на которых училась модель, после таких просьб почти всегда идёт ответ, а не «такого рассказа не существует». Вот она и пишет ответ: с героем, именем и моралью. Как студент на экзамене, который не читал книгу, но знает, как обычно пишут о Чехове.
Ещё три причины:
- Редкие факты помнятся плохо. Что Москва — столица России, модель видела миллионы раз. Год выпуска какого-нибудь советского компьютера — считаные разы. Такие знания у неё размыты, и пробелы она заполняет «похожим».
- Тон всегда одинаково уверенный. Правду и выдумку модель пишет одним и тем же гладким языком. По тексту не видно, где она знает, а где сочиняет.
- Обучение поощряет угадывание. Исследователи OpenAI разобрали: модели проверяют тестами, где ответ «не знаю» получает ноль баллов, а попытка угадать — иногда балл. Модель учится угадывать, а не признаваться.
Что ответили мои модели
Я задал четыре вопроса двум моделям, которые стоят у меня дома: Gemma 3 (4 миллиарда параметров) и Qwen3 (8 миллиардов).
| Вопрос | Gemma 3 | Qwen3 | На самом деле |
|---|---|---|---|
| Перескажи рассказ Чехова «Тихий маяк» | Смотритель маяка Егор Пахомьев | Старый капитан и неудачная любовь | Такого рассказа нет |
| Кто ведёт блог lexium.ru? | Эксперты по маркетингу и бизнесу | Юристы, статьи о праве | Я, про автоматизацию и ИИ |
| Когда вышел БК-0010 и какой у него процессор? | 1975 год, процессор Р-120 | 1963 год, процессор БК-0010 | 1985 год, К1801ВМ1 |
| Дай ссылку на научную статью о галлюцинациях | arxiv.org/abs/2306.03769 | nature.com/articles/s41598-… | По первой ссылке статья о массах мезонов, вторая не открывается (404) |
Про БК я спросил не случайно: старый БК стоял у нас в медицинском училище. Gemma ошиблась на десять лет, Qwen3 — на двадцать с лишним и заодно назвала процессор именем самого компьютера.
Ссылка — самая коварная выдумка. Она выглядит настоящей: правильный сайт, правильный формат номера. Gemma даже приложила к ней название статьи: «Confabulation as Hallucination in Language Models». Но такой статьи по этому адресу нет: на arXiv по этому номеру лежит работа по физике частиц.
Оговорка: у меня дома маленькие модели. Большие облачные — ChatGPT, Claude, Gemini — ошибаются заметно реже и на «Тихий маяк» скорее ответят, что такого рассказа не знают. Но устроены они так же, и на редких фактах, числах и ссылках ошибаются тоже.
Где ждать выдумку
- Имена, даты, числа, номера статей закона.
- Цитаты «дословно» и ссылки на источники.
- Всё узкое и местное: ваш город, ваша компания, малоизвестный человек.
- Код: функции и настройки, которых нет в библиотеке, но которые «должны бы» быть. Программа с такой функцией просто не запустится.
Хуже всего с тем, что вы сами проверить не можете. Поэтому вопросы, где ошибка дорого стоит (здоровье, деньги, право), лучше задавать так, чтобы модель отвечала по документу, а не по памяти.
Как ловить: три способа, которые я проверил
1. Спросить ещё раз. Правда от повтора к повтору одна и та же, выдумка «плывёт». Я трижды спросил Gemma про БК-0010 и получил три разных процессора: КЭС-15М, «серии Э-86» и «серии ЭВМ 1683». Qwen3 называла то 1962, то 1965 год. Если ответы расходятся — модель не знает. Если совпадают — это ещё не гарантия, но уже хороший знак.
2. Разрешить сказать «не знаю». Я дописал к вопросу: «Если не уверен — прямо скажи, не угадывай». Gemma честно ответила, что не знает про БК. Qwen3 признала, что рассказа «Тихий маяк» нет. Но Qwen3 всё равно сочинила год выпуска БК, а Gemma, отказавшись от «Тихого маяка», придумала, что так «часто называют» чеховского «Ваньку». Помогает, но не лечит.
3. Дать факты в запросе. Я вставил перед вопросом справку в одну строку: «серийный выпуск с 1985 года, процессор К1801ВМ1» — и попросил отвечать только по ней. Все модели ответили правильно. Это самый надёжный способ: модель не вспоминает, а пересказывает то, что лежит перед ней в контекстном окне. На этой идее построен RAG — поиск по документам с подстановкой в запрос. Ему будет посвящён следующий блок уроков.
И правило без исключений: каждую ссылку открыть, каждую цифру сверить, прежде чем нести дальше.
Попробуйте сами
Придумайте книгу известного писателя — например, «Лунный пароход» Пушкина — и попросите любую нейросеть её пересказать. Потом попросите три научных источника по любой теме со ссылками и откройте каждую.
Затем повторите первый вопрос в новом чате, дописав: «Если такой книги нет или ты не уверен — так и скажи». Сравните ответы.
Что запомнить
- Галлюцинация — уверенно написанная выдумка. Модель не врёт нарочно: она пишет правдоподобный текст, а правдоподобное не всегда правда.
- Уверенный тон ничего не значит: правду и выдумку модель пишет одинаково гладко.
- Чаще всего выдумывают редкие факты, числа, цитаты, ссылки и функции в коде.
- Ловить: спросить ещё раз, разрешить «не знаю», а надёжнее всего — дать факты прямо в запросе.
Проверьте себя
- Почему модель пересказывает несуществующий рассказ вместо того, чтобы сказать «такого нет»?
- Вы трижды задали один и тот же вопрос и получили три разных года. О чём это говорит?
- Какой из способов борьбы с галлюцинациями надёжнее всего и почему?
В следующем уроке — анатомия промпта: из каких частей состоит хороший запрос и почему «сделай красиво» не работает.
Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.
