Учусь ИИ, урок 16: RAG от начала до конца — модель отвечает по документам
Я спросил домашнюю модель: «Сколько токенов в секунду пишет модель на 8 млрд параметров?» Она ответила: 200–300. Уверенно и неверно: на моей видеокарте — 30. Потом я дал ей тот же вопрос, но с четырьмя кусками из моих уроков. Ответ: «30 токенов в секунду», со…