Финансовый анализ — одна из немногих областей, где облачные LLM часто неприменимы: в документах кредитные досье, выписки, инсайдерские прогнозы и персональные данные. Локальная модель на собственном сервере снимает вопрос передачи данных третьей стороне и позволяет строить аналитику внутри закрытого контура. Ниже — что реально работает в российской практике и с чего начинать внедрение.

Почему локальный контур, а не внешний API

Банковская тайна, 152-ФЗ, требования ЦБ по защите информации и внутренние регламенты холдингов почти всегда исключают отправку первичных документов во внешние сервисы. Локальный инференс убирает этот барьер: данные не покидают периметр, логи и веса остаются под контролем ИБ. Дополнительный плюс — предсказуемая стоимость: при стабильной нагрузке собственный GPU-узел дешевле токен-биллинга и не зависит от лимитов провайдера. Минус один — модель нужно обслуживать: обновлять, мониторить, дообучать.

Задачи, которые закрываются уже сегодня

Наиболее зрелые сценарии — не «чат с моделью», а конвейеры с фиксированным результатом. Извлечение показателей из PDF, сканов и Excel (РСБУ, МСФО, управленческая отчётность) с приведением к единой схеме данных. Суммаризация кредитных досок и протоколов комитетов, автоформирование справок по заёмщику. Проверка ковенантов и раннее предупреждение отклонений, сверка договоров с платежами, поиск аномалий в проводках. Отдельный блок — RAG по внутренней базе: методики, лимитная политика, прецеденты решений.

Инфраструктура и выбор моделей

Для пилота достаточно одной карты класса A100 40–80 ГБ или RTX 6000 Ada: модель 30–70B в 4-битной квантизации обслуживает десятки параллельных запросов при потоковой выдаче. Если нужен воздушный зазор, весь стек — веса, векторная БД, оркестратор — разворачивается в закрытом сегменте без выхода в интернет. Для компаний с требованиями импортозамещения важно, чтобы компоненты собирались из решений, доступных в реестре отечественного ПО, — это влияет на выбор СУБД и векторного хранилища. По моделям практика смешанная: открытые Qwen, Llama, Mistral, GLM с русскоязычными дообучениями (Vikhr, Saiga, T-lite) закрывают большинство задач, а для узких сценариев имеет смысл файнтюн на 2–5 тыс. размеченных примеров.

Практические шаги внедрения

1. Выбрать один процесс с измеримым результатом: например, извлечение 40 полей из квартальной отчётности.
2. Собрать корпус из 300–500 реальных документов с эталонной разметкой — основа и для промптов, и для оценки.
3. Зафиксировать метрики: точность по полям, доля ручных правок, время обработки пакета, стоимость на документ.
4. Собрать PoC на локальном контуре и сравнить с текущим ручным процессом.
5. Встроить в контур 1С, CRM, BI, СЭД через API, с журналированием и human-in-the-loop на старте.
6. Масштабировать после стабилизации метрик, добавляя следующие сценарии.

Оценка качества и контроль рисков

LLM ошибается уверенно, поэтому в финансовом контуре обязательны детерминированные проверки: арифметический контроль итогов, сверка с первичкой, пороги уверенности и ручная валидация критичных полей. Модель должна возвращать ссылку на источник — страницу и фрагмент документа, иначе проверить вывод невозможно. Отдельно стоит продумать версионирование промптов и весов: смена модели без регрессионного теста легко ломает уже работающий процесс. Логи запросов и ответов нужны не только для ИБ, но и для разбора инцидентов.

Как мы можем помочь

Мы внедряем приватные LLM и RAG-контуры в финансовых организациях: разворачиваем модели на вашем железе или в закрытом облаке, строим пайплайны извлечения и анализа отчётности, интегрируем с 1С, CRM и BI, настраиваем оценку качества и мониторинг. Начинаем с короткого пилота на ваших документах с понятными метриками. Обсудить проект