Переход Llama 3.3 70B в разряд моделей, которые реально разворачиваются на двух ускорителях, изменил логику выбора. Раньше открытые веса означали компромисс по качеству, теперь — компромисс по инфраструктуре. Разберём, в каких сценариях self-hosted 70B обыгрывает коммерческие API, а где платить за токены всё ещё выгоднее.

Что даёт Llama 3.3 70B на практике

Модель обучена на 128K контекста, поддерживает tool calling и стабильно работает в мультиязычных сценариях, включая русский — с оговоркой, что на сложной юридической и технической лексике она уступает топовым проприетарным моделям. В FP8/INT8 веса занимают порядка 70–80 ГБ, то есть помещаются на две A100 80GB или две H100. Через vLLM или TensorRT-LLM такой инстанс держит 1,5–3 тыс. токенов в секунду на выходе при батчинге — этого хватает на внутренний портал, контакт-центр или конвейер обработки документов.

Ключевое отличие от API — предсказуемость. Вы фиксируете версию весов, температуру, системный промпт и знаете, что модель не изменится в следующем релизе провайдера. Для регламентированных процессов это не мелочь, а требование.

Где открытые модели выигрывают

Данные не покидают контур. Персональные данные, коммерческая тайна, проектная документация, медицинские записи — всё, что нельзя отправлять стороннему API по 152-ФЗ или внутренним политикам ИБ. Self-hosted модель снимает вопрос согласования передачи данных третьей стороне.

Экономика на больших объёмах. При стабильной нагрузке от 50–100 млн токенов в месяц две GPU в аренде или на своём железе обходятся дешевле, чем оплата по токенам у провайдера. Порог окупаемости зависит от соотношения input/output и тарифа, поэтому считать нужно на своих цифрах, а не по средним.

Дообучение и адаптация. LoRA-дообучение на внутренних тикетах, номенклатуре, шаблонах договоров даёт прирост качества там, где общий API приходится «уговаривать» длинными промптами. Плюс можно квантовать модель под конкретное железо и дистиллировать в меньшую для дешёвых задач.

Отсутствие лимитов и зависимостей. Нет rate limit, нет риска, что провайдер отключит модель или изменит условия. Для встроенных в продукт функций это снижает операционные риски.

Где коммерческие API всё ещё сильнее

Сложные многошаговые агентные сценарии, длинные цепочки рассуждений, работа с изображениями и документами «из коробки» — здесь топовые проприетарные модели пока точнее. Также API выигрывает на пиковой, но нерегулярной нагрузке: платить за токены дешевле, чем держать простой GPU. И отдельный фактор — поддержка: SLA, готовые SDK, отсутствие задачи «поднять и обслуживать inference-стек».

Практический чек-лист перед выбором

1. Соберите eval-набор из 100–300 реальных запросов с эталонными ответами.
2. Прогоните через Llama 3.3 70B и через 1–2 коммерческих API, оцените качество по задаче, а не по общим бенчмаркам.
3. Посчитайте месячный объём токенов и разделите на input/output.
4. Сравните с TCO self-hosted: GPU, электричество или аренда, инженерные часы на поддержку.
5. Проверьте требования ИБ и 152-ФЗ — часто они закрывают вопрос раньше экономики.

Рабочая схема в российской практике — гибрид: 70B в контуре на массовых операциях (классификация, извлечение полей, RAG-ответы по внутренней базе), коммерческий API — на редких сложных задачах, где важна максимальная точность.

Как мы можем помочь

Мы разворачиваем Llama 3.3 70B и другие открытые модели на вашем железе или в российском облаке, настраиваем vLLM, RAG по внутренним документам и дообучение под ваши данные. Проводим сравнительное тестирование с коммерческими API на ваших запросах и считаем экономику владения. Обсудить проект