Все опыты в этих уроках я ставил на своём игровом компьютере: видеокарта GTX 1070 на 8 ГБ, ей уже лет десять. А сами уроки я готовлю с другой моделью, облачной, за деньги. Зачем мне обе? Потому что вопрос «локальная или облачная» неправильный. Правильный — «какую работу кому».
Что такое локальная модель
Модель из первого урока — это большой файл с параметрами. Его можно скачать и запустить у себя. Проще всего через Ollama: программа качает модель одной командой и работает как локальный сервер, к которому могут обращаться ваши скрипты.
Облачная модель — та же идея, только файл и видеокарты чужие, а вы отправляете текст через интернет и платите за токены или за подписку.
Замер: что тянет старая видеокарта
- Gemma 3, 4 млрд параметров: 44 токена в секунду. Быстрее, чем читаете.
- Qwen3, 8 млрд: 30 токенов в секунду, загрузка в память около 4 секунд. Вполне рабочая.
- Qwen3, 30 млрд: 18,6 токена в секунду и 56 секунд загрузки. В видеопамять влезает только треть.
- Qwen3.8, 27 млрд: 2,5 токена в секунду. Абзац пишется минуту.
Главное здесь — видеопамять. Пока модель целиком в ней, всё летает. Как только часть уезжает в обычную оперативную память, скорость падает в разы. Я поставил 32 ГБ вместо 16 и скорость не выросла ни на токен: упор в видеокарту. Так что для домашней модели в первую очередь смотрите на объём видеопамяти, а не на всё остальное.
Названия моделей вроде «8b» — это миллиарды параметров. Чем их больше, тем модель способнее и тем больше памяти ей нужно. Модель на 8 млрд занимает около 6 ГБ видеопамяти.
Что умеет домашняя модель
Честно: сильно-сильно меньше облачной. В опыте с вычиткой текста, Qwen3 нашла три ошибки из четырёх, не тронула авторский сленг, не дала ни одной ложной правки и тратила 2–7 секунд на абзац. Это полезно. А вот длинный текст целиком она вычитывает плохо, сложный код не напишет, а факты выдумывает, как мы видели в уроке 6.
Окно контекста (из второго урока): у меня локально оно всего 16 тысяч токенов, у облачных моделей бывает миллион. Локальная — не прочтёт весь ваш проект сразу. Так что кодинг с ней превратится в попытку бегать на костылях без обеих ног.
Что и для чего?
Аргументы за локальную модель:
- Данные не уходят с компьютера. Для рабочих документов, паролей и переписки это часто решает вопрос сразу.
- Нет счётчика токенов. Можно гонять тысячи однообразных задач, платя только за электричество и амортизацию оборудования.
- Работает без интернета, не зависит от чужих тарифов и обновлений, не меняется сама собой.
Аргументы за облачную:
- Работа со сложными задачами: код, длинные рассуждения, большие документы.
- Огромный контекст и скорость, которых на локальной не добиться.
- Не нужно ни видеокарты, ни шума под столом.
Как решаю я
Три вопроса к задаче:
- Можно ли отправлять данные наружу? Нельзя — только локально, даже если получится хуже или вовсе никак.
- Задача массовая и простая? Разложить, вычитать по абзацам, вытащить поля из текста — локально. Ответ легко проверить программой, ошибка недорога.
- Задача сложная, разовая, цена ошибки высока? В облако.
На практике у меня они работают вместе: домашняя модель делает черновую рутину, облачная принимает решения и проверяет. Так и лимиты расходуются более экономно. Единственное условие: ответ домашней модели нельзя отдавать на сайт без проверки.
Попробуйте сами
Поставьте Ollama с ollama.com и запустите маленькую модель:
ollama run gemma3:4b --verbose
>>> Объясни в пяти предложениях, что такое контекстное окно.Ключ --verbose покажет eval rate — скорость в токенах в секунду. Если меньше 10, читать будет мучительно: возьмите модель поменьше. Затем задайте тот же вопрос облачной нейросети и сравните.
Что запомнить
- Локальная модель — файл с параметрами на вашем компьютере, запускается через Ollama.
- Всё решает видеопамять: модель влезла — работает, не влезла — ползёт.
- Локально — приватно, без счётчика, но слабее. Облако — сильнее, но данные уходят наружу и каждый токен стоит денег.
- Выбирайте не модель, а маршрут: секретное и массовое — домой, сложное — в облако.
Проверьте себя
- Почему добавление оперативной памяти не ускорило модель на 30 млрд параметров?
- Нужно разметить 5000 внутренних писем компании. Куда отдать и почему?
- Назовите две причины, по которым архитектуру большого проекта лучше обсуждать с облачной моделью.
В следующем уроке — агент: что на самом деле происходит, когда модель сама запускает инструменты.
Если что-то осталось непонятным — спрашивайте в комментариях, вопросы попадут в следующие уроки.
