В прошлом уроке мы искали ответ среди фрагментов текста. Но как подготовить эти фрагменты? Если разделить документ неудачно, поиск может найти определение, а поясняющий пример останется за его пределами. Разберёмся, как выбирать границы фрагментов и зачем иногда повторять часть текста.
Зачем делить документ
В прошлом уроке программа сравнивала эмбеддинг вопроса с эмбеддингами фрагментов и выбирала самые близкие. Эмбеддинг — это числовое представление текста, с помощью которого мы ищем похожие по смыслу тексты.
Можно получить эмбеддинг целой статьи. Но если в статье несколько тем, такое представление может хуже подходить для поиска ответа на узкий вопрос. Поэтому документ делят на части и получают отдельный эмбеддинг для каждой из них.
Есть и другая причина. Найденный текст затем можно передать языковой модели, чтобы она составила ответ. Полезнее дать ей несколько подходящих фрагментов, чем целые документы с большим количеством посторонней информации. К тому же объём текста, который модель может обработать за один запрос, ограничен её окном контекста.
Такое разделение называют chunking, а отдельный фрагмент — чанком.
Что может потеряться на границе
Представим, что в инструкции написано:
Для подключения откройте раздел «Интеграции» и создайте токен доступа. Скопируйте его в поле API_TOKEN в настройках приложения.
Если разделить текст между предложениями, второй фрагмент начнётся со слов «Скопируйте его…». Без первого предложения непонятно, что именно нужно скопировать и где это получить.
Поиск может выбрать этот фрагмент по вопросу «Что указать в API_TOKEN?», но для полного ответа понадобится и предыдущее предложение. Поэтому при нарезке важно сохранять вместе инструкции, определения, условия и пояснения, которые зависят друг от друга.
Зачем нужно перекрытие
Один из способов сохранить связь между соседними фрагментами — перекрытие: конец предыдущего фрагмента повторяют в начале следующего.
Например, при размере 500 знаков и перекрытии 100 первый фрагмент содержит знаки с 1-го по 500-й, а второй — с 401-го по 900-й. Последние 100 знаков первого входят и во второй.
Это помогает, если нужное пояснение оказалось у границы. Но перекрытие не гарантирует сохранения всей мысли: повторённого текста может оказаться недостаточно. Кроме того, фрагментов становится больше, а часть информации в них дублируется.
Как выбирать границы и размер
Для обычной статьи удобно начать с её структуры: заголовков, абзацев и предложений. Небольшие связанные абзацы можно объединять, а слишком длинные — делить по предложениям. Заголовок раздела полезно сохранять рядом с текстом: он помогает понять, о чём идёт речь.
Здесь приходится искать подходящий размер:
- Слишком короткий фрагмент может содержать нужные слова, но не содержать условий, примера или пояснения.
- Слишком длинный фрагмент может объединять несколько тем. Вместе с ответом в поиск и затем к модели попадёт лишний текст.
Для первого опыта можно взять размер из прошлого урока: около 500 знаков с перекрытием около 100. Это отправная точка для сравнения, а не универсальная настройка. При разделении по абзацам фактическая длина фрагментов будет различаться.
Прочитайте несколько фрагментов отдельно от документа. Понятно ли, о чём в них говорится? Сохранились ли важные условия? Затем проверьте, находит ли поиск фрагменты с ответами на ваши вопросы.
Что показал мой опыт
Я сравнил семь вариантов нарезки на восьми исходных уроках и десяти вопросах из прошлого урока. Опыт проводился до расширения курса; состав документов и результаты здесь сохранены.
Для каждого вопроса я заранее знал, в каком уроке находится ответ. Проверял два показателя: оказался ли фрагмент из этого урока на первом месте и был ли такой фрагмент среди первых трёх результатов.
| Размер, знаков | Перекрытие, знаков | Фрагментов | Нужный урок на первом месте | Нужный урок в первых трёх |
|---|---|---|---|---|
| 150 | 0 | 280 | 9 из 10 | 10 из 10 |
| 150 | 50 | 419 | 9 из 10 | 10 из 10 |
| 500 | 0 | 87 | 8 из 10 | 9 из 10 |
| 500 | 100 | 108 | 9 из 10 | 10 из 10 |
| 1500 | 0 | 32 | 7 из 10 | 9 из 10 |
| 1500 | 200 | 35 | 8 из 10 | 9 из 10 |
| 6000 | 0 | 10 | 7 из 10 | 9 из 10 |
В этом небольшом наборе короткие фрагменты чаще выводили нужный урок на первое место. При размере 500 знаков добавление перекрытия улучшило оба показателя на один вопрос, а число фрагментов выросло с 87 до 108 — примерно на четверть.
Но фрагмент из нужного урока ещё не обязательно содержит ответ. Эти замеры проверяют, из какого урока пришёл результат. Они не показывают, хватило ли найденного текста для ответа модели. Поэтому по ним нельзя объявить нарезку по 150 знаков лучшей. Десяти вопросов также мало для уверенных выводов о других документах.
В опыте текст делился по числу знаков. Разделение по абзацам и заголовкам здесь не сравнивалось. Как проверять поиск и итоговые ответы отдельно, разберём в уроке о проверке RAG.
Что проверить перед нарезкой
- Очистку текста. Уберите меню сайта, рекламу и служебные элементы. Из HTML и шорткодов нужно извлечь полезный текст, сохранив заголовки, списки и другой значимый порядок.
- Таблицы и код. По возможности сохраняйте небольшой блок целиком. Если таблица или программа слишком велика, делите её по структуре: например, повторяйте заголовки столбцов у частей таблицы.
- Ссылки на предыдущий текст. Фразы вроде «он стоит…» или «сделайте так же» требуют пояснения. Иногда нужно включить предыдущий абзац или добавить название предмета.
Попробуйте сами
Возьмите небольшую статью или инструкцию и придумайте три вопроса, на которые в ней есть ответы.
- Разделите текст примерно по 500 знаков без перекрытия. Для этого опыта достаточно сделать несколько фрагментов вручную.
- Найдите фрагменты, из которых можно ответить на ваши вопросы. Хватает ли в каждом условий и пояснений?
- Измените границы по предложениям и абзацам. Там, где связь всё ещё теряется, повторите нужное пояснение в соседнем фрагменте.
Сравните варианты: какой из них позволяет ответить на вопрос, не открывая остальной документ?
Что запомнить
- Документ делят на фрагменты, чтобы искать нужные части и передавать модели подходящий текст.
- Во фрагменте должны сохраняться пояснения и условия, необходимые для ответа.
- Перекрытие повторяет часть текста между соседними фрагментами, но увеличивает их количество и не решает все проблемы границ.
- Размер и способ разделения проверяют на своих документах и вопросах. Попадания в нужный документ для такой проверки недостаточно.
Проверьте себя
- Почему фрагмент с нужными словами может оказаться бесполезным для ответа?
- Что означает перекрытие в 100 знаков?
- Почему попадание в нужный урок ещё не доказывает удачную нарезку?
В следующем уроке — векторные базы: как хранить эмбеддинги и искать среди них, когда простого перебора становится недостаточно.
Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.