Обсудить проект
Блог · инженерия ИИ
Заметки об инженерии ИИ

Как мы внедряем приватные модели, RAG и агентов в реальные процессы — без пафоса, на практике.

RAG векторная база qdrant — практический разбор

Практический разбор: RAG векторная база qdrant. Как это работает на российских процессах, где эффект, с чего начать. От инженерной студии АПС (a-ps.ru).

Введение: зачем приватный RAG‑поиск в векторных базах

В последние годы запросы на закрытые решения для искусственного интеллекта резко возросли. Крупные корпорации, финансовые организации и государственные структуры требуют гарантировать, что их данные никогда не покинут периметр компании. В этом контексте RAG‑pipeline (Retrieval‑Augmented Generation) в сочетании с векторной базой Qdrant становится практической основой приватного ИИ‑сервиса. Мы расскажем, как построить полностью локальную цепочку от OCR‑сканирования документов до генерации ответов через AI‑агентов, используя открытые модели и Qdrant как хранилище эмбеддингов.

Что такое RAG и почему он важен для закрытых систем

RAG объединяет два компонента: быстрый поиск релевантных фрагментов в базе знаний и генерацию текста на их основе. По сравнению с «чистыми» LLM, которые опираются лишь на свои параметры, RAG позволяет контролировать источник информации, исключая утечки конфиденциальных сведений. При локальном развертывании все этапы — от индексирования до генерации — находятся в закрытой сети, что удовлетворяет требованиям GDPR и локального законодательства.

Qdrant как векторный движок для приватных данных

Qdrant – это открытый векторный движок, построенный на Rust и поддерживающий хранение эмбеддингов в формате HNSW‑графов. Он работает без внешних облачных сервисов, имеет возможность шифрования диска и интеграцию с системами контроля доступа. Для приватных ИИ‑проектов Qdrant выступает центральным хранилищем, куда помещаются векторы, полученные из локальных моделей, а также метаданные, позволяющие быстро фильтровать документы по бизнес‑правилам.

Архитектура локального RAG‑pipeline

  1. Сбор и предобработка – документы, сканированные с помощью OCR‑модулей (например, Tesseract + кастомные языковые модели), преобразуются в чистый текст.
  2. Эмбеддинг‑модель – локальная трансформер‑модель (LLaMA‑2, Mistral) генерирует векторные представления для параграфов, страниц или семантических блоков.
  3. Индексация в Qdrant – полученные эмбеддинги загружаются в коллекцию Qdrant, где задаются фильтры по типу документа, дате создания и уровню доступа.
  4. Поиск релевантных фрагментов – при запросе пользователя система ищет ближайшие векторы, используя метрики косинусного сходства, а также дополнительные фильтры.
  5. Генерация ответа – AI‑агент, запущенный в закрытом контейнере, получает найденные фрагменты и формирует ответ, соблюдая политики конфиденциальности (например, удаляя персональные данные).

Выбор локальной модели для эмбеддингов

Для приватных проектов важно использовать модели, которые могут работать без подключения к интернету. На практике мы отдаем предпочтение открытым весам LLaMA‑2 7B или Mistral‑7B, дообученным на корпоративных корпусах. Дообучение проводится в закрытой инфраструктуре с применением техники LoRA, что позволяет быстро адаптировать модель под отраслевую терминологию без переобучения всей сети.

Интеграция OCR и семантического разбора

В большинстве бизнес‑сценариев исходные данные находятся в виде сканов, PDF‑документов или отсканированных чеков. Мы используем цепочку:

  • Tesseract с пользовательскими словарями для базовой распознавания;
  • DeepOCR (CNN‑архитектура, обученная на кириллическом наборе) для повышения точности в специализированных шрифтах;
  • Post‑OCR NLP – нормализация, удаление шумов, разбиение текста на семантические блоки (параграфы, таблицы).

Полученный чистый текст сразу передаётся в эмбеддинг‑модель, а векторные представления сохраняются в Qdrant.

Пример реализации запросов через AI‑агентов

AI‑агент выступает в роли «интерпретатора» пользовательского запроса. Он принимает естественный язык, преобразует его в запрос к Qdrant (включая фильтры по метаданным) и получает набор релевантных фрагментов. Затем агент формирует контекстный запрос к генеративной модели, указывая, что ответ должен быть «конфиденциальным», «без упоминания ФИО» и т.п. Такой подход реализован через Prompt‑Engineering и пост‑процессинг: скрипты автоматически удаляют или маскируют чувствительные поля.

Управление приватностью данных в Qdrant

Qdrant поддерживает несколько уровней защиты:

  • Шифрование at‑rest – AES‑256, ключи хранятся в HSM;
  • Контроль доступа – роли (read, write, admin) привязываются к сертификатам TLS;
  • Аудит логов – каждый запрос к базе фиксируется в журнале, что упрощает соответствие требованиям регуляторов.

Эти возможности позволяют построить систему, где даже администратор базы не имеет прямого доступа к содержимому векторов без соответствующего сертификата.

Масштабирование и производительность

Для корпоративных нагрузок типичный размер коллекции достигает десятков миллионов векторов (по 1536‑мерных эмбеддингов). Qdrant эффективно распределяет данные по нескольким узлам, используя репликацию и шардинг. При этом latency поиска в среднем составляет 20‑30 мс, что позволяет обслуживать интерактивные запросы пользователей в режиме реального времени. Для высоких нагрузок мы применяем кэширование запросов в Redis и предварительное предвыборку топ‑N фрагментов.

Пример бизнес‑кейса: юридический отдел банка

Юридический отдел крупного банка хранит более 500 000 договоров в виде PDF. Требуется система, позволяющая сотрудникам быстро находить условия о штрафных санкциях без раскрытия персональных данных клиентов. Мы построили RAG‑pipeline: OCR‑модуль сканирует договоры, локальная модель Sentence‑Transformer генерирует эмбеддинги, Qdrant хранит их с метаданными «тип документа», «дата заключения», «уровень доступа». При запросе «какие штрафные санкции предусмотрены в договорах с компанией X за просрочку платежа?» AI‑агент ищет в Qdrant, отбирает только документы с уровнем доступа «юрисконсульту», генерирует ответ и маскирует реквизиты клиента. В результате время поиска сократилось с 15 минут до 3 секунд, а утечка персональных данных полностью исключена.

Безопасность генеративных моделей

Генеративные модели могут «выдавать» информацию, которой они не обучены, что представляет риск раскрытия конфиденциальных данных. Мы используем несколько уровней защиты:

  • Контроль температуры – снижение креативности модели;
  • Фильтры пост‑обработки – регулярные выражения и модели NER, удаляющие ПИ (персонально идентифицируемую информацию);
  • Ограничения контекста – передача в модель только фрагментов, отобранных через Qdrant, без доступа к полному документу.

Эти меры позволяют обеспечить, что генерируемый текст остаётся в рамках бизнес‑политик.

Тестирование и мониторинг

Для гарантии качества мы внедряем автоматизированные тесты:

  • Semantic‑search тесты – сравнение ранжирования результатов с эталонными метками;
  • Latency‑benchmarks – измерение времени отклика под различными уровнями нагрузки;
  • Privacy‑audit – сканирование сгенерированных ответов на наличие утечек ПИ.

Все метрики собираются в Prometheus и визуализируются в Grafana, что позволяет оперативно реагировать на отклонения.

Выводы и рекомендации

RAG в сочетании с векторной базой Qdrant предоставляет надёжную и масштабируемую платформу для построения приватных ИИ‑сервисов. Ключевые преимущества: полное локальное развертывание, гибкая система фильтрации и шифрования, быстрая семантическая индексация. При правильном подборе локальных моделей, интеграции OCR‑модулей и построении AI‑агентов бизнес получает возможность извлекать ценные инсайты из закрытых документов без риска компрометации данных.

Для успешного внедрения рекомендуется:

  1. Провести аудит текущих данных и определить уровни доступа.
  2. Выбрать подходящую эмбеддинг‑модель и дообучить её на отраслевых корпусах.
  3. Настроить Qdrant с шифрованием и ролями доступа, протестировать масштабируемость.
  4. Реализовать цепочку OCR → эмбеддинг → Qdrant → AI‑агент, включив пост‑обработку для защиты ПИ.
  5. Ввести мониторинг и регулярные аудиты безопасности.

Следуя этим шагам, компании смогут использовать возможности генеративного ИИ, оставаясь в рамках строгих требований к конфиденциальности и соответствию законодательству.

BGE-M3 для русского языка: качество, размер и дообучение

BGE-M3 (BAAI) — мультиязычная модель эмбеддингов на 568 млн параметров, которая отдаёт вектор размерности 1024 и поддерживает контекст до 8192 токенов. Для русского языка она остаётся одним из лучших открытых вариантов «из коробки»: в отличие от многих англоцентричных моделей, BGE-M3 обучалась на мультиязычных парах и уверенно работает на юридических и финансовых текстах — договорах, регламентах, счетах. На практике её берут, когда нужен один индекс на несколько языков или когда данных для собственного файнтюна ещё мало. Ограничение — домен: на узкой лексике (внутренние регламенты, номенклатура 1С) качество проседает, и тогда модель дообучают.

По весам: 568M параметров — это примерно 2,2 ГБ в fp16 и около 1,1–1,2 ГБ в int8-квантовании, что спокойно помещается на одну GPU 16 ГБ вместе с индексом на несколько сотен тысяч чанков. Сам вектор в float32 занимает 4 КБ, то есть миллион чанков — около 4 ГБ памяти Qdrant; переход на int8 или бинарное квантование сокращает это в 4–32 раза при потере 1–3% recall. Отдельно стоит помнить, что BGE-M3 выдаёт сразу три представления — dense, sparse (лексические веса) и ColBERT-мультивектор, — и гибридный поиск dense+sparse обычно даёт +5–10 п.п. recall на русских документах с аббревиатурами и номерами.

Дообучение делают контрастивным: собирают 5–10 тыс. пар «запрос → релевантный чанк» из реальных логов и корпуса, добавляют hard negatives — топ-5 нерелевантных результатов текущего поиска по BM25 или Qdrant. Дальше sentence-transformers с MultipleNegativesRankingLoss, 1–3 эпохи, learning rate 1e-5…2e-5, батч с in-batch негативами; на одной GPU это несколько часов. Качество меряют не «на глаз», а на golden dataset: recall@5, recall@10 и MRR до и после файнтюна. Если прирост меньше 3 п.п., дешевле оставить базовую BGE-M3 и вложиться в чанкинг и гибридный поиск — чаще всего проблема именно там, а не в модели.

BGE-M3 для русского языка: насколько хороша и сколько весит

BGE-M3 — мультиязычная embedding-модель на ~568 млн параметров, вектор размерности 1024, контекст до 8192 токенов. Для практики важны два факта: модель поддерживает русский «из коробки» (обучена на 100+ языках) и умеет сразу три режима сходства — dense, sparse (аналог BM25) и multi-vector ColBERT. Именно гибридный режим даёт основной выигрыш на русских документах: dense хорошо ловит перефразировки («договор аренды» ↔ «соглашение о найме помещения»), sparse — точные реквизиты, номера и аббревиатуры, где чистая семантика промахивается.

По качеству на русском BGE-M3 обычно в одном классе с multilingual-e5-large и ru-en-RoSBERTa: на коротких бытовых запросах разница в пределах 1-3 п.п. recall@10, на длинных юридических и технических фрагментах M3 выигрывает за счёт контекста 8К и sparse-компонента. Слабое место — узкоспециализированная лексика (внутренние коды номенклатуры, отраслевой сленг): там всё равно нужен файнтюн на своих парах «запрос-документ» либо гибрид с BM25 по индексу.

По весу: fp16-веса — около 2,2 ГБ, в int8 — примерно 1,2 ГБ, GGUF-кванты Q4/Q5 — 400-700 МБ, чего хватает для запуска на CPU и на одной потребительской GPU. RAM при инференсе: ~4-6 ГБ в fp16 с батчем, ~1,5-2 ГБ в int8. Для 1-2 млн чанков индекс в Qdrant на 1024-мерных векторах int8 занимает десятки гигабайт — планируйте диск и RAM под это, а не под саму модель.

RAG векторная база qdrant Приватный ИИ ИИ автоматизация АПС

Читайте также

Итоги 2025 года: какие ИИ-модели стали рабочим инструментом бизнеса
Рынок перестал выбирать «самую умную» модель Год назад главным вопросом было «какая модель лучш...
Векторные базы 2026: Qdrant, pgvector, Milvus — что выбрать
Выбор начинается не с бенчмарков Большинство сравнений векторных баз сводится к графику QPS при...
Регуляторика ИИ-2026: что меняется для компаний в России
В 2026 году регулирование ИИ в России перестаёт быть набором деклараций и становится набором оп...

Внедрить это в вашей компании

Приватный ИИ, RAG-поиск и агенты на вашем сервере — пилот за пару недель покажет эффект до полного бюджета.

Обсудить проект

Комментарии (0)

Пока нет комментариев — будьте первым.