Поиск по смыслу звучит как большая технология, а его сердце умещается в пять строк Python. Я взял тексты своих восьми уроков, разрезал на куски и спросил: «Что будет, если поставить предел в 20 токенов?» Программа перебрала сотню кусков и нашла нужный. Никакой базы данных, никаких библиотек.
Примечание после расширения курса: этот опыт проведён на восьми исходных уроках базы, до добавления уроков 3–5. Количество документов и результаты замеров сохранены.
Близость — это угол
Эмбеддинг из прошлого урока — стрелка из начала координат. Два похожих текста — две стрелки, смотрящие почти в одну сторону. Косинусная близость измеряет именно это: не длину стрелок, а угол между ними.
- 1 — смотрят в одну сторону;
- 0 — под прямым углом, то есть никак не связаны;
- −1 — в противоположные стороны.
Почему угол, а не расстояние? Длина стрелки может зависеть от текста, а тему задаёт направление. Угол на длину не смотрит.
Школьная формула косинуса работает и для 1024 измерений: перемножаем координаты попарно, складываем и делим на длины стрелок.
import math
def cos(a, b):
return sum(x * y for x, y in zip(a, b)) / math.sqrt(
sum(x * x for x in a) * sum(y * y for y in b))
Поиск целиком
Теперь весь поиск. Функция emb() обращается к Ollama за эмбеддингами, как в прошлом уроке:
куски = [...] # тексты
векторы = emb(куски) # считаем один раз и храним
def найти(вопрос, сколько=3):
v = emb([вопрос])[0]
лучшие = sorted(range(len(куски)),
key=lambda i: -cos(v, векторы[i]))
return [куски[i] for i in лучшие[:сколько]]
Эмбеддинги кусков считаются один раз и складываются. Вопрос превращается в эмбеддинг при каждом поиске, а дальше сравнение со всеми подряд. Такой перебор называют точным поиском.
Опыт: десять вопросов к восьми урокам
Восемь уроков дали 108 кусков по 500 знаков. Я задал десять вопросов, для каждого знал, в каком уроке ответ: «Что делать, если модель выдумала книгу?», «Сколько стоит вход у Opus 5.5?», «Чем seed полезен?»
- Лучший кусок оказался из нужного урока в 9 случаях из 10.
- Нужный урок был среди первых трёх кусков в 10 из 10.
Никакого словаря и ключевых слов. Но у поиска по смыслу есть слабость: в артикуле или коде смысла нет, важно точное совпадение символов, а такое лучше ищет обычный поиск. Поэтому в серьёзных системах их часто совмещают, и это называется гибридный поиск.
Когда перебор закончится
Сотня кусков перебирается мгновенно. Миллионы уже нет: на каждый вопрос нужно посчитать косинус со всеми. Для этого и существуют векторные базы, о них через урок.
Но для блога на тысячу постов перебора хватит. Это хороший повод не тащить базу в маленький проект.
Попробуйте сами
Соберите поиск по своим заметкам: возьмите 20–30 абзацев и подставьте их в куски. Задайте вопрос словами, которых в заметках нет, и посмотрите, что найдётся.
Что запомнить
- Близость эмбеддингов измеряют углом между ними — косинусом.
- Поиск: посчитать эмбеддинг вопроса, сравнить со всеми кусками, взять лучшие.
- Эмбеддинги кусков считаются один раз и хранятся.
- На тысячах кусков хватает перебора. Точные коды лучше ищет обычный поиск.
Проверьте себя
- Что значит косинусная близость, равная 1? А 0?
- Почему сравнивают угол, а не расстояние между концами стрелок?
- Почему поиск по смыслу плохо находит артикул товара?
В следующем уроке — нарезка документов: на какие куски резать текст и что от этого ломается.
Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.