Искусственный интеллект всё активнее выходит за пределы дата-центров и облачных сервисов. Если несколько лет назад большинство нейросетевых моделей запускались исключительно на мощных серверах, то сегодня всё больше задач выполняется непосредственно на устройствах пользователя. Камеры видеонаблюдения, смартфоны, промышленные датчики, автомобильные системы помощи водителю и умные бытовые приборы требуют мгновенной обработки данных без постоянного подключения к интернету. В таких условиях особую роль играют технологии edge-вычислений. Одним из ключевых инструментов для запуска нейросетей на локальных устройствах стал ONNX Runtime — высокопроизводительная среда выполнения моделей машинного обучения.

Что такое ONNX и зачем нужен единый формат моделей

Современные нейросети создаются с использованием различных фреймворков: PyTorch, TensorFlow, Keras и других инструментов глубокого обучения. Каждый из них использует собственный формат хранения модели и собственные механизмы выполнения вычислений. Это создаёт серьёзную проблему совместимости. Модель, обученная в одном фреймворке, далеко не всегда можно напрямую запустить в другой среде.

Чтобы решить эту проблему, в 2017 году был создан открытый стандарт ONNX — Open Neural Network Exchange. Его разработкой занялись несколько крупных технологических компаний, включая Microsoft, Facebook и Amazon. Идея стандарта заключается в создании универсального формата описания нейросетей, который может использоваться независимо от конкретного инструмента обучения.

Файл модели ONNX содержит структуру нейросети, параметры слоёв и вычислительный граф. Благодаря этому обученная модель может быть перенесена между различными платформами и запущена в любой среде, поддерживающей стандарт ONNX.

Появление ONNX Runtime

Формат модели — лишь часть решения. Для выполнения нейросети требуется специальный движок, который сможет эффективно интерпретировать вычислительный граф и выполнять операции на конкретном оборудовании. Именно для этой цели была разработана среда ONNX Runtime.

ONNX Runtime — это высокопроизводительная библиотека выполнения моделей машинного обучения, оптимизированная для различных аппаратных платформ. Она поддерживает процессоры, графические ускорители, мобильные чипы и специализированные нейронные процессоры. При этом разработчик может использовать одну и ту же модель ONNX, не переписывая код под каждую платформу.

Одной из ключевых целей проекта стала возможность запуска моделей не только в облаке, но и на edge-устройствах — небольших вычислительных системах, расположенных непосредственно рядом с источником данных.

Почему edge-вычисления становятся всё важнее

В традиционной архитектуре облачных сервисов данные отправляются с устройства пользователя на удалённый сервер, где происходит обработка. Такой подход хорошо работает для многих задач, но имеет ряд серьёзных ограничений. Передача данных через интернет увеличивает задержку обработки, требует постоянного соединения и может вызывать вопросы безопасности.

Edge-вычисления предполагают перенос обработки данных непосредственно на устройство или на локальный сервер рядом с ним. Это особенно важно для систем реального времени. Например, автомобильная система предотвращения столкновений должна реагировать за доли секунды. Отправка видеопотока в облако и ожидание ответа заняли бы слишком много времени.

Кроме того, локальная обработка позволяет снизить нагрузку на сетевую инфраструктуру. Камеры видеонаблюдения, которые анализируют видео прямо на месте установки, могут передавать в облако только результаты анализа, а не полный поток изображения.

Как работает ONNX Runtime

ONNX Runtime использует вычислительный граф модели, описанный в формате ONNX. Каждый узел графа представляет отдельную операцию — например, свёртку, нормализацию или функцию активации. Движок анализирует этот граф и оптимизирует порядок выполнения операций для конкретного оборудования.

Во время запуска ONNX Runtime выполняет несколько этапов оптимизации. Сначала происходит упрощение вычислительного графа: некоторые операции объединяются или удаляются, если они не влияют на результат. Затем выполняется оптимизация размещения операций, чтобы максимально эффективно использовать ресурсы процессора или ускорителя.

Особенность системы заключается в модульной архитектуре. Для различных типов оборудования используются специальные модули выполнения, которые называются execution providers. Они позволяют использовать аппаратные ускорители, такие как GPU, нейронные процессоры мобильных чипов или специализированные AI-ускорители.

Запуск нейросетей на устройствах без облака

Одним из наиболее интересных сценариев использования ONNX Runtime является запуск моделей непосредственно на edge-устройствах. В этом случае нейросеть выполняется локально, без обращения к удалённым серверам. Такой подход особенно востребован в мобильных приложениях, системах компьютерного зрения и устройствах интернета вещей.

Например, в смартфоне модель может использоваться для распознавания объектов в камере или для обработки речи. В системе умного дома локальная нейросеть способна анализировать изображения с камер безопасности и обнаруживать подозрительные события. На промышленном производстве edge-устройства могут контролировать качество продукции, анализируя изображения с конвейера.

ONNX Runtime позволяет запускать такие модели даже на относительно слабых устройствах благодаря агрессивным оптимизациям и поддержке аппаратных ускорителей.

Оптимизация моделей для edge-устройств

Для работы на ограниченных устройствах модели часто требуют дополнительной оптимизации. ONNX Runtime поддерживает несколько методов уменьшения вычислительной нагрузки. Один из наиболее распространённых — квантование, при котором веса нейросети переводятся из 32-битных чисел с плавающей точкой в более компактные 8-битные значения.

Квантование позволяет уменьшить размер модели в несколько раз и ускорить вычисления, поскольку операции с целыми числами выполняются быстрее. В некоторых случаях модель может занимать всего несколько мегабайт, что делает возможным её использование даже на микрокомпьютерах.

Кроме квантования применяются методы сокращения модели, включая удаление незначимых параметров и объединение слоёв. Такие техники позволяют адаптировать нейросети для устройств с ограниченной памятью и энергопотреблением.

Поддержка различных аппаратных платформ

ONNX Runtime разрабатывался как универсальная система выполнения моделей, поэтому он поддерживает широкий спектр аппаратных платформ. На настольных компьютерах и серверах библиотека может использовать ускорение через CUDA или DirectML для графических процессоров. На мобильных устройствах поддерживаются аппаратные ускорители, встроенные в современные процессоры.

Особенно важной стала поддержка специализированных нейронных процессоров, которые активно внедряются в мобильные чипы и устройства интернета вещей. Эти ускорители предназначены специально для выполнения операций машинного обучения и могут выполнять их значительно быстрее и энергоэффективнее обычных CPU.

Благодаря такой гибкости ONNX Runtime используется как в облачных инфраструктурах, так и в компактных устройствах с ограниченными ресурсами.

Реальные области применения

Сегодня ONNX Runtime используется в самых разных технологических областях. В сфере компьютерного зрения он применяется для распознавания объектов на видеопотоке в системах безопасности и автономных устройствах. В мобильных приложениях библиотека помогает выполнять обработку изображений и речи прямо на смартфоне.

В промышленности edge-устройства с нейросетями контролируют качество продукции и обнаруживают дефекты на производственных линиях. В медицине локальные системы анализа изображений могут помогать врачам в диагностике, не передавая чувствительные данные в облако.

Ещё одно перспективное направление — автономные системы и робототехника. Роботы и беспилотные устройства должны принимать решения в реальном времени, поэтому локальный запуск моделей становится для них критически важным.

Будущее локального искусственного интеллекта

С развитием аппаратных ускорителей и оптимизированных алгоритмов всё больше задач искусственного интеллекта будет выполняться непосредственно на устройствах. Это позволит создавать более быстрые, безопасные и энергоэффективные системы.

ONNX Runtime играет важную роль в этой трансформации, обеспечивая универсальную платформу для запуска нейросетей на самых разных устройствах. Благодаря открытому стандарту и активному развитию экосистемы разработчики могут переносить модели между платформами без сложной адаптации.

По мере роста популярности edge-вычислений подобные технологии будут становиться всё более востребованными. Возможность запускать мощные алгоритмы машинного обучения прямо на устройстве пользователя открывает новые горизонты для развития искусственного интеллекта и умных цифровых сервисов.