Перейти к содержанию

Учусь ИИ, урок 13: векторный поиск — близость своими руками на Python

Поиск по смыслу звучит как большая технология, а его сердце умещается в пять строк Python. Я взял тексты своих восьми уроков, разрезал на куски и спросил: «Что будет, если поставить предел в 20 токенов?» Программа перебрала сотню кусков и нашла нужный. Никакой базы данных, никаких библиотек.

Примечание после расширения курса: этот опыт проведён на восьми исходных уроках базы, до добавления уроков 3–5. Количество документов и результаты замеров сохранены.

Урок за 4 минуты: как измерить близость двух эмбеддингов, что такое косинус на пальцах и как собрать поиск по смыслу своими руками.

Близость — это угол

Эмбеддинг из прошлого урока — стрелка из начала координат. Два похожих текста — две стрелки, смотрящие почти в одну сторону. Косинусная близость измеряет именно это: не длину стрелок, а угол между ними.

  • 1 — смотрят в одну сторону;
  • 0 — под прямым углом, то есть никак не связаны;
  • −1 — в противоположные стороны.

Почему угол, а не расстояние? Длина стрелки может зависеть от текста, а тему задаёт направление. Угол на длину не смотрит.

Школьная формула косинуса работает и для 1024 измерений: перемножаем координаты попарно, складываем и делим на длины стрелок.

import math

def cos(a, b):
    return sum(x * y for x, y in zip(a, b)) / math.sqrt(
        sum(x * x for x in a) * sum(y * y for y in b))

Поиск целиком

Теперь весь поиск. Функция emb() обращается к Ollama за эмбеддингами, как в прошлом уроке:

куски = [...]                     # тексты
векторы = emb(куски)              # считаем один раз и храним

def найти(вопрос, сколько=3):
    v = emb([вопрос])[0]
    лучшие = sorted(range(len(куски)),
                    key=lambda i: -cos(v, векторы[i]))
    return [куски[i] for i in лучшие[:сколько]]

Эмбеддинги кусков считаются один раз и складываются. Вопрос превращается в эмбеддинг при каждом поиске, а дальше сравнение со всеми подряд. Такой перебор называют точным поиском.

Опыт: десять вопросов к восьми урокам

Восемь уроков дали 108 кусков по 500 знаков. Я задал десять вопросов, для каждого знал, в каком уроке ответ: «Что делать, если модель выдумала книгу?», «Сколько стоит вход у Opus 5.5?», «Чем seed полезен?»

  • Лучший кусок оказался из нужного урока в 9 случаях из 10.
  • Нужный урок был среди первых трёх кусков в 10 из 10.

Никакого словаря и ключевых слов. Но у поиска по смыслу есть слабость: в артикуле или коде смысла нет, важно точное совпадение символов, а такое лучше ищет обычный поиск. Поэтому в серьёзных системах их часто совмещают, и это называется гибридный поиск.

Когда перебор закончится

Сотня кусков перебирается мгновенно. Миллионы уже нет: на каждый вопрос нужно посчитать косинус со всеми. Для этого и существуют векторные базы, о них через урок.

Но для блога на тысячу постов перебора хватит. Это хороший повод не тащить базу в маленький проект.

Попробуйте сами

Соберите поиск по своим заметкам: возьмите 20–30 абзацев и подставьте их в куски. Задайте вопрос словами, которых в заметках нет, и посмотрите, что найдётся.

Что запомнить

  • Близость эмбеддингов измеряют углом между ними — косинусом.
  • Поиск: посчитать эмбеддинг вопроса, сравнить со всеми кусками, взять лучшие.
  • Эмбеддинги кусков считаются один раз и хранятся.
  • На тысячах кусков хватает перебора. Точные коды лучше ищет обычный поиск.

Проверьте себя

  1. Что значит косинусная близость, равная 1? А 0?
  2. Почему сравнивают угол, а не расстояние между концами стрелок?
  3. Почему поиск по смыслу плохо находит артикул товара?

В следующем уроке — нарезка документов: на какие куски резать текст и что от этого ломается.

Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.

Написать комментарий

Адрес почты не публикуется. Обязательные поля отмечены звёздочкой.

Возможно, вы не читали