Какое предложение ближе к «Кот спит на диване»: «Кошка дремлет на софе» или «Сервер упал ночью»? Человеку очевидно. А компьютер умеет только сравнивать числа. Я попросил домашнюю модель превратить предложения в числа, и близость получилась такая: 0,79 против 0,45. Ни одного общего слова в первой паре нет, а машина всё равно поняла, что смысл рядом.
Зачем это нужно
Начинается новый блок. Цель — научить модель отвечать по вашим документам, а не по тому, что она помнит. Для этого сначала надо найти нужный кусок текста среди тысяч. Обычный поиск ищет слова: например «кошка дремлет». Подстроку «кот спит» он не найдёт. Нам же нужен поиск по смыслу, а для него смысл надо превратить в числа.
Что такое эмбеддинг
Эмбеддинг — это список чисел, описывающий смысл текста. Представьте карту города: у каждого дома две координаты (широта и долгота), и близкие дома имеют близкие координаты. Эмбеддинг — такие же координаты, только у текста, а измерений там не два, а сотни. У модели bge-m3, которая стоит у меня дома, их 1024. Начало одного такого списка: −0,027, −0,007, −0,043…
Отдельно числа ничего не значат: нет «измерения про котов». Смысл появляется только при сравнении: тексты о чём-то схожем оказываются в одном районе этого пространства.
Эмбеддинги делает особая модель. Её учат на огромных объёмах текста так, чтобы близкие по смыслу тексты получали близкие координаты. Она не пишет текст и не отвечает на вопросы, она только выдаёт координаты, и делает это за доли секунды.
Опыт: насколько близко
Я сравнил пары предложений через bge-m3. Единица означает полное совпадение направления, а чем меньше, тем дальше по смыслу:
- 0,79 — «Кот спит на диване» и «Кошка дремлет на софе»;
- 0,66 — «Кот спит на диване» и «Котёнок играет с клубком»;
- 0,62 — «Machine learning model training» и «Обучение нейросети на примерах»;
- 0,45 — «Кот спит на диване» и «Сервер упал ночью»;
- 0,38 — «Сервер упал ночью» и «Обучение нейросети на примерах».
Третья строка самая интересная: английский и русский, общих слов нет, а близость выше, чем у случайной пары. Смысл не привязан к языку.
Где эмбеддинг ошибается
Две пары я подобрал нарочно:
- «Собака укусила человека» и «Человек укусил собаку» — близость 0,94. Смысл разный, а для эмбеддинга почти одно и то же: слова те же, тема та же.
- «Этот отель мне понравился» и «Этот отель мне не понравился» — 0,75. Это ближе, чем кот и котёнок.
Эмбеддинг ловит, о чём текст, а не что именно в нём утверждается. Для поиска это нормально: оба отзыва про отель, и оба стоит показать. Для вывода «клиент доволен» уже не годится. Поэтому эмбеддинг находит кандидатов, а читает их языковая модель.
И ещё: числа нельзя сравнивать между разными моделями. У них разные пространства, как координаты разных городов.
Попробуйте сами
Если стоит Ollama:
ollama pull bge-m3
curl http://localhost:11434/api/embed -d '{
"model": "bge-m3",
"input": "Кот спит на диване"
}'
В ответе — те самые 1024 числа. В следующем уроке мы сравним такие списки своими руками.
Что запомнить
- Эмбеддинг — список чисел, координаты смысла текста.
- Близкие по смыслу тексты получают близкие координаты, даже без общих слов и на разных языках.
- Эмбеддинг знает тему, но плохо различает «да» и «нет» и кто что сделал.
- Сравнивать можно только эмбеддинги одной модели.
Проверьте себя
- Почему поиск по словам не найдёт «кошка дремлет» по запросу «кот спит»?
- Почему близость фраз «понравился» и «не понравился» так высока?
- Можно ли сравнить эмбеддинг от bge-m3 с эмбеддингом другой модели?
В следующем уроке — векторный поиск: считаем близость на Python в пять строк.
Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.