Сравнивайте и развертывайте свои модели машинного обучения в облаке AWS, Azure и Google или на периферии на оборудовании AMD, Arm, Intel и Nvidia. Повысьте производительность и используйте платформы с открытым исходным кодом, такие как ONNX Runtime, TensorFlow, а также TensorFlow Lite и TVM.

Вкратце, это предложение OctoML. Мы думаем, что он рисует репрезентативную картину сегодняшнего пейзажа в К развертывание приложений, домен, также известный как MLOps. Мы определили MLOps как ключевую часть продолжающегося перехода к приложениям, основанным на машинном обучении, и представили OctoML в марте 2021 года по случаю раунда финансирования серии B.

Запущен сегодня в TVMcon 2021, конференция по open source Apache TVM Framework для ускорения машинного обучения, новый выпуск OctoML содержит ряд новых функций. Мы встретились с генеральным директором и соучредителем OctoML Луисом Сезе, чтобы обсудить прогресс OctoML, как показатель прогресса MLOps в целом.

Превосходя ожидания

Первое, что следует отметить в этом своего рода отчете о ходе работы, это то, что OctoML превысил цели, поставленные Ceze в марте 2021 года. Ceze тогда отметил, что цели компании заключались в увеличении численности персонала, расширении до предела и достижении прогресса. на добавление поддержки для обучения моделей машинного обучения, помимо уже поддерживаемого вывода.

Все эти цели в той или иной степени были достигнуты благодаря поддержке обучающих моделей машинного обучения, которые недавно были подробно рассмотрены Тирнаном Рэем из ZDNet. Сезе сказал, что OctoML добивается хороших успехов в этом направлении, и в планах реализации его на платформе OctoML в какой-то момент в 2022 году.

То, что никогда не упоминалось в качестве цели, но все же произошло, было еще одним раундом финансирования. Это произошло в ноябре 2021 года, и OctoML получил 85 миллионов долларов в раунде серии C. Как заметил Сезе, это знак времени. В последнее время мы буквально потеряли счет, казалось бы, нескончаемым раундам финансирования в сфере ИИ. Сезе сказал, что, хотя OctoML не собирался привлекать больше денег, они решили, что это поможет им быстрее расти.

И они выросли. OctoML превысил свои цели с точки зрения набора персонала, в настоящее время насчитывает более 100 сотрудников и продолжает расти. Это примечательно, учитывая, что OctoML ищет сочетание опыта в области машинного обучения и аппаратного обеспечения. Давайте посмотрим, чего еще удалось достичь OctoML и какие новые функции он анонсирует сегодня.

Во-первых, он расширил выбор целевых объектов развертывания, включив в него целевую поддержку Microsoft Azure. OctoML теперь предоставляет выбор из всех трех основных облаков, включая AWS и Google Cloud Platform, с процессорами AMD и Intel и графическими процессорами Nvidia в качестве целевых вариантов в каждом облаке.

Интересно, OctoML недавно опубликовал несколько экспериментов с процессором Apple M1.. Мы спросили Ceze, будет ли поддержка для него и будет ли поддержка перспективные поставщики оборудования, такие как Blaize, Graphcore или Samba Nova тоже есть в дорожной карте.

Сезе ответил, что цель упражнения M1 состояла в том, чтобы показать, что OctoML может легко встроить любое целевое оборудование, независимо от того, выполняется ли это в сотрудничестве с поставщиком или независимо. Поддержка M1 или любого другого целевого оборудования будет добавлена ​​в зависимости от рынка. Он добавил, что большинство начинающих поставщиков знают об OctoML, и многие из них отправляют запрос в компанию, чтобы работать с ними или сделать это самостоятельно.

Другой фронт, на котором OctoML расширяет свою поддержку, — это край. OctoML теперь поддерживает Nvidia Jetson AGX Xavier и Jetson Xavier NX вместе с процессорами Arm A-72 с 32- и 64-разрядными ОС. Ceze также подтвердил то, что мы отмечали, — спрос на периферийные приложения для машинного обучения стремительно растет.

Больше двигателей для ускорения, больший выбор

Что касается программного обеспечения, OctoML объявляет о расширенной поддержке формата модели, которая включает ONNX, TensorFlow Lite и несколько форматов упаковки моделей TensorFlow, чтобы пользователи могли загружать свои обученные модели без преобразования. Но это еще не все.

Кроме того, в дополнение к «родной» поддержке TVM OctoML теперь поддерживаются соответствующие новые механизмы ускорения — ONNX Runtime, TensorFlow и TensorFlow Lite. Таким образом, по словам Сезе, пользователи могут сравнивать и сравнивать и выбирать, какой из них они хотят использовать.

Это отход от того, что ранее было тесной связью между проектом Apache TVM с открытым исходным кодом и предложением OctoML. По сути, OctoML предлагал версию TVM в виде программного обеспечения как услуги. Теперь OctoML также предлагает дополнительные возможности выбора двигателей ускорения. Пользователи, как отметил Сезе, теперь имеют возможность проводить очень всесторонний сравнительный анализ своих рабочих процессов:

«Вы загружаете модель, а затем можете выбрать, какие аппаратные цели вы хотите в одном рабочем процессе, которые могут быть применимы ко всем облакам или конкретным граничным целям. А затем мы проводим оптимизацию или тестовую настройку пакета и предоставляем эти исчерпывающие данные, чтобы помочь вы принимаете решения о том, как вы собираетесь развертывать в облаке или на своих пограничных устройствах », — сказал Сезе.

Вдобавок OctoML теперь поставляется с тем, что они окрестили «модельным зоопарком с предварительным ускорением». Другими словами, набор моделей машинного обучения, который включает набор компьютерного зрения (классификация объектов и обнаружение изображений), который включает Resnet, YOLO, Mobilenet, Inception и другие, а также набор обработки естественного языка (NLP), который включает BERT , GPT-2 и другие.

Что касается сообщества Apache TVM, Сезе отметил, что рост составил 50% по сравнению с прошлым годом, и темпы роста не замедляются. Сезе также упомянул несколько интересных примеров использования OctoML, в том числе Microsoft Watch For, и Woven Planet Holdings.

В целом, учитывая, что с момента выхода OctoML Series B прошло всего 6 месяцев, рост был значительным. Мы рассматриваем это как пример роста MLOps в целом и ожидаем, что в обозримом будущем это будет продолжаться по этой траектории.