Мультимодальные модели перестали быть демонстрацией возможностей и превратились в рабочий инструмент для тех, кто ежедневно имеет дело со сканами, PDF и рукописными бланками. LLaVA стала одной из первых открытых архитектур, показавших, что связка «визуальный энкодер + языковая модель» способна не просто описывать картинку, а извлекать смысл из документа. Разберём, как это устроено и где применение даёт реальную экономию.

Что такое LLaVA и в чём её отличие от OCR

LLaVA (Large Language and Vision Assistant) — открытая мультимодальная модель, которая принимает на вход изображение и текст, а возвращает текст. В отличие от классического OCR-конвейера, она не распознаёт символы построчно, а сразу отвечает на вопрос по содержимому: «какая сумма в счёте», «есть ли подпись», «совпадают ли реквизиты в шапке и подвале». Это принципиально меняет логику обработки: вместо длинной цепочки «детекция → распознавание → парсинг → правила» появляется один шаг инференса.

Именно поэтому LLaVA и её наследники (LLaVA-1.5, LLaVA-NeXT) часто называют OCR-free подходом. Модель устойчивее к шумам сканирования, перекосу, штампам и частично перекрытому тексту — там, где классический OCR рассыпается на уровне символов.

Как устроена архитектура

Технически LLaVA состоит из трёх частей. Визуальный энкодер (обычно CLIP ViT) превращает изображение в набор эмбеддингов патчей. Проекционный слой — чаще всего простая MLP — отображает эти векторы в пространство языковой модели. Дальше работает LLM (Vicuna, Mistral, Qwen), которая воспринимает визуальные токены как обычный контекст.

Ключевая инженерная деталь — разрешение. Ранние версии сжимали картинку до 224×224, и мелкий текст на бланке просто исчезал. Решение — тайлинг (AnyRes): изображение режется на фрагменты, каждый кодируется отдельно, а затем собирается общее представление. Современные VLM используют динамическое разрешение и умеют работать с A4 при 300 dpi без потери читаемости. Для российской практики это критично: типовые формы, таблицы и приложения к договорам почти всегда содержат мелкий шрифт.

Где применение даёт эффект

Наиболее очевидные сценарии — обработка входящих документов: счета, акты, накладные, заявления, выписки. Модель извлекает структурированные поля и отдаёт их в 1С или CRM, а человек проверяет только расхождения. Второй слой — визуальная проверка: соответствие фото товара карточке, наличие печати и подписи, корректность заполнения бланка.

Третий, менее очевидный кейс — работа с инженерной документацией: схемы, чертежи, паспорта оборудования. Здесь LLaVA помогает отвечать на вопросы по содержимому листа, а не искать по текстовому слою, которого в сканах часто нет вовсе.

Ограничения, о которых нужно знать

Главная проблема мультимодальных моделей — галлюцинации на мелком и нечётком тексте: модель может «угадать» цифру в сумме. Лечится это не уговорами, а инженерией: предобработкой изображения, повышением разрешения, ансамблем с классическим OCR и обязательной валидацией полей по формальным правилам (контрольная сумма ИНН, формат даты, сверка итогов).

Второй момент — ресурсы. Полноразмерная модель требует GPU, поэтому на практике применяют квантизацию (GGUF, AWQ) и батчинг через vLLM. Для чувствительных данных разворачивают контур on-premise — это снимает вопросы по 152-ФЗ и передаче информации третьим лицам.

Практические шаги внедрения

Начинать стоит с узкого процесса, где есть измеримая метрика: доля корректно извлечённых полей и время на документ. Затем собирают датасет из 200–500 реальных сканов с эталонной разметкой — на нём сравнивают LLaVA с OCR-конвейером и выбирают победителя по цене ошибки, а не по красоте демо.

Далее — пилот на ограниченном потоке с обязательным human-in-the-loop: оператор подтверждает результат, а расхождения уходят в дообучение (LoRA на своих данных). И только после стабильного качества процесс подключают к учётной системе через API.

Как мы можем помочь

Мы в АПС подбираем и разворачиваем мультимодальные модели под конкретный документопоток: тестируем LLaVA и альтернативные VLM на ваших сканах, настраиваем предобработку и валидацию полей, интегрируем решение с 1С и CRM и разворачиваем его в приватном контуре. Обсудить проект — покажите примеры документов, и мы оценим достижимую точность и стоимость обработки.