Что именно изменилось в апрельском релизе o3

Апрельский апдейт o3 перевёл визуальные возможности модели из режима «опиши картинку» в режим «реши задачу по картинке». Модель получила возможность включать изображение в цепочку рассуждений и по ходу размышления применять к нему инструменты: кадрировать, увеличивать фрагмент, поворачивать, обесцвечивать, накладывать сетку. Фактически это reasoning-модель, у которой зрение стало не входным каналом, а рабочим инструментом.

Для инженерной практики важны три следствия: длинный контекст (порядка 200 тыс. токенов) позволяет подавать не одно фото, а подборку сканов и скриншотов; поддержка function calling даёт связку «изображение → структурированный JSON → запись в систему»; structured outputs снимает большую часть ручного парсинга ответов.

От описания к измерению

Классические VLM отвечали в стиле «на изображении график зависимости». o3 на том же графике пытается восстановить масштаб осей, найти пик, оценить отклонение от нормы и объяснить, какие допущения он сделал. Это принципиально другой уровень для задач, где нужен не пересказ, а числовой вывод.

Ограничения тоже никуда не ушли. Мелкие детали, единицы измерения, координаты на чертеже и плохо читаемая печать остаются зоной риска: модель может уверенно назвать неверный номинал резистора или перепутать допуск. Поэтому в продакшене визуальный анализ всегда оборачивается валидатором — правилами, второй моделью или сверкой с эталонным справочником.

Где это применимо в инженерных процессах

Первый очевидный сценарий — OCR-пайплайны нового типа. Вместо жёсткого препроцессинга модель сама решает, какой фрагмент бланка вырезать и увеличить, а затем извлекает поля в структуру: сметы, акты, паспорта оборудования, сертификаты, журналы испытаний.

Второй — визуальная диагностика. Фото щитка, платы или узла сопоставляется с BOM и маркировкой, формируется перечень расхождений. На производстве это контроль качества и дефектоскопия: модель размечает зону дефекта и классифицирует его, а человек подтверждает спорные случаи.

Третий — агентные сценарии. Visual grounding плюс вызов инструментов дают маршрут «фото накладной → извлечённые позиции → проверка по справочнику → черновик документа в 1С или CRM». Здесь ценность не в самой модели, а в том, что цепочка заканчивается действием в учётной системе.

Российская практика и вопрос доступа

В российском контуре o3 доступен через API, но у большинства компаний всплывают оплата, требования 152-ФЗ, внутренние регламенты по обработке данных и запрет на выгрузку документации за периметр. Поэтому рабочая схема — гибрид: открытые VLM (Qwen2.5-VL, InternVL, Llama Vision) на собственных GPU закрывают массовые типовые документы, а внешняя reasoning-модель подключается только для сложных кейсов и обезличенных данных.

Технически это реализуется на vLLM или аналогичном сервере инференса внутри приватного контура, с логированием каждого запроса и версионированием промптов. Тогда визуальный анализ остаётся управляемым: понятно, что уходит наружу, а что нет.

Практические шаги перед внедрением

Соберите 100–200 реальных изображений из процесса и разметьте ожидаемый результат — без этого любая оценка модели будет гаданием. Зафиксируйте метрики: точность по полям, доля отказов, стоимость обработки одного документа, время на исключение.

Дальше сравните три варианта на одном наборе: классический OCR, открытая VLM и reasoning-модель с инструментами. На практике чаще всего выигрывает гибрид — OCR для ровных печатных форм, VLM для сложной вёрстки и фотографий. И обязательно оставьте человека на исключениях: это дешевле, чем разбирать ошибки в учётной системе.

Как мы можем помочь

АПС внедряет ИИ в инженерные и учётные процессы: проводим аудит, собираем прототип визуального анализа за 2–4 недели на ваших документах, разворачиваем модели в приватном контуре и интегрируем результат с 1С и CRM. Обсудить проект