Локальная LLM кажется безопасной по определению: модель стоит на вашем железе, данные не уходят в чужое облако. На практике приватность ломается не на уровне модели, а вокруг неё — в логах промптов, правах сервисных учёток, кэше, векторном индексе и сетевых настройках. Аудит нужен не для галочки, а чтобы найти конкретные пути утечки до того, как их найдёт аудитор регулятора или внутренний нарушитель.

Что именно проверяем

Аудит локального контура начинается с инвентаризации: какие модели развёрнуты, на каких хостах, через какие серверы вывода (vLLM, TGI, Ollama, llama.cpp), кто и как к ним обращается. Без карты контура любые проверки превращаются в перебор. Дальше фиксируем, какие данные вообще попадают в промпты: персональные данные, коммерческая тайна, конструкторская документация, выписки из 1С.

Отдельно определяем модель угроз. Для финансовой организации это требования ГОСТ Р 57580 и приказов ФСТЭК № 17 и № 21, для обработки персональных данных — 152-ФЗ и постановление о локализации. Разные режимы защищённости дают разный набор обязательных мер, и чек-лист аудита должен на них опираться, а не быть универсальным.

Веса, артефакты и цепочка поставки

Проверьте происхождение модели: откуда скачаны веса, есть ли контрольная сумма, не тянет ли загрузчик файлы с внешнего репозитория при старте. Отдельная зона риска — кастомные LoRA-адаптеры и дообученные чекпойнты: они содержат следы обучающих данных и часто лежат на общем сетевом хранилище с широкими правами.

Контейнеры и образы не должны содержать вшитых токенов, ключей Hugging Face и внутренних адресов. Если инференс-сервер отправляет телеметрию или проверяет обновления наружу, это уже канал утечки метаданных — его нужно закрыть на уровне egress-фильтрации.

Доступы и разграничение ролей

Ключевой вопрос: кто может не только спрашивать модель, но и менять системный промпт, подключать инструменты, читать логи. На практике API-ключ инференса часто один на весь отдел, лежит в конфиге и не ротируется. Аудит должен дать матрицу «роль — действие — ресурс» и показать, где она не соблюдается.

Проверяются сервисные учётки интеграций: доступ к CRM, 1С, почте, файловым хранилищам. Агент с правом записи в базу и без ограничения по объёму выборки — это готовый сценарий массовой выгрузки. Ограничьте область видимости, введите лимиты на количество запросов и обязательное подтверждение для операций записи.

Логи, кэш и векторные индексы

Полные промпты и ответы в логах — самая частая находка. Логи нужны для разбора инцидентов, но хранить их следует в маскированном виде, с ограниченным сроком и отдельными правами доступа. Проверьте также кэш ответов, дампы GPU-памяти и swap: фрагменты чувствительных запросов остаются там после завершения сессии.

В RAG-контуре аудит охватывает векторную базу и хранилище исходных документов. Ошибки в фильтрах метаданных приводят к тому, что сотрудник одного подразделения получает чанки из документов другого. Проверьте, как строится доступ на этапе индексации, а не только на этапе поиска — иначе разграничение обходится через похожие формулировки запроса.

Как проводить аудит: практический порядок

Разумный порядок такой: инвентаризация контура, анализ конфигураций и секретов, ревизия прав, разбор логов и сетевого трафика, затем — управляемые тесты. Тесты включают попытки извлечь системный промпт, обойти ограничения ролей, получить чужие документы через RAG и вытащить данные через подключённые инструменты. Результат оформляется как реестр рисков с приоритетами и конкретными исправлениями, а не как отчёт на сто страниц.

Повторять аудит стоит после каждого существенного изменения: смены модели, добавления агентов, расширения интеграций, подключения новых источников в индекс. Между проверками помогают автоматические контроли — сканирование секретов в репозиториях, алерты на аномальные объёмы запросов, мониторинг исходящих соединений.

Как мы можем помочь

Мы проводим аудит локальных LLM-контуров: инвентаризацию, проверку доступов и логов, тесты на утечки через промпты, RAG и агентные интеграции, затем — устранение найденного и настройку контроля. Работаем с инфраструктурой заказчика, включая контуры с требованиями 152-ФЗ и ФСТЭК. Обсудить проект