Что такое Phi-4 и в чём её особенность

Phi-4 — языковая модель Microsoft на 14 млрд параметров, вышедшая в конце 2024 года под лицензией MIT. Она относится к классу small language models (SLM) и позиционируется как решение, которое на задачах рассуждения и математики конкурирует с моделями в 5–10 раз крупнее. Ключевая идея — не масштаб, а качество обучающих данных: упор сделан на синтетические цепочки рассуждений и тщательно отфильтрованные учебные материалы.

Для бизнеса это означает простую вещь: модель, которую раньше нужно было арендовать в облаке, теперь можно поднять на одном сервере внутри периметра компании. В российской практике, где требования 152-ФЗ и политика ИБ часто запрещают передачу данных внешним API, это меняет расклад.

Архитектура и данные: как 14B обгоняет 70B

Phi-4 — decoder-only трансформер с контекстом 16К токенов, обученный в несколько этапов: предобучение на смеси веб-данных и синтетики, затем SFT и DPO для выравнивания. По бенчмаркам MATH и GPQA модель действительно обходит Llama-3.3-70B и GPT-4o-mini на ряде задач. Причина — не магия, а плотность сигнала: каждый токен обучающей выборки несёт больше полезной информации, чем сырой веб-текст.

Обратная сторона — узость. Модель «натаскана» на рассуждения, но не обладает широкой эрудицией большой LLM. Она не знает тонкостей российского законодательства, отраслевых регламентов и внутренних документов компании. Это не баг, а свойство: SLM — это база, которую дообучают под конкретный домен.

Где Phi-4 реально применима

Наиболее очевидные сценарии — извлечение структурированных данных из текста, классификация обращений, проверка документов на соответствие чек-листу, генерация SQL и кода, разбор таблиц и расчётов. Хорошо работает как «мозг» ИИ-агента, который вызывает инструменты и принимает решения по чётким правилам. В связке с OCR закрывает задачу распознавания счетов, актов и накладных с последующей выгрузкой в 1С.

Там, где нужен свободный диалог с широким кругозором или глубокое знание русского языка, Phi-4 в чистом виде проигрывает. Её сила — в узких, измеримых задачах с понятным критерием качества.

Ограничения: русский язык и не только

Русскоязычная поддержка у Phi-4 слабая: токенизатор оптимизирован под английский, доля русского в обучающих данных невелика. На практике это выражается в том, что модель может отвечать грамматически верно, но терять смысл на сложных конструкциях и терминологии. Для серьёзной работы на русском нужна донастройка — LoRA или полный fine-tuning на корпусе из нескольких тысяч качественных примеров.

Второе ограничение — контекст 16К. Для длинных договоров и многостраничных регламентов его не хватает, поэтому применяют RAG: разбивают документы на фрагменты, находят релевантные и подают их модели как контекст.

Практические шаги для внедрения

Первый шаг — не разворачивать модель, а собрать 100–200 реальных примеров вашей задачи с эталонными ответами. Это будущий тест-сет, без которого невозможно понять, годится ли Phi-4 вообще.

Второй шаг — прогнать базовую модель на этом сете и зафиксировать метрику. Часто уже здесь видно, что задача решается без дообучения.

Третий шаг — квантизация. В формате Q4_K_M модель занимает около 9–10 ГБ и работает на одной видеокарте с 16 ГБ VRAM. Запуск — через vLLM (для нагрузки) или llama.cpp и Ollama (для быстрого старта). Для продакшена с несколькими пользователями нужен сервер с GPU уровня A100/H100 или L40S.

Четвёртый шаг — дообучение на русском домене и интеграция с RAG по внутренней базе знаний. Пятый — подключение к 1С, CRM или BPM через API и логирование всех ответов для контроля качества.

Как мы можем помочь

Мы в АПС разворачиваем приватные LLM в контуре заказчика: подбираем модель под задачу, готовим датасет, дообучаем на русском, строим RAG по внутренним документам и подключаем всё к 1С и CRM. Если вы хотите проверить Phi-4 на своих данных и понять реальную экономику решения — Обсудить проект с нашим инженером.