По его собственным словам, мечтой Яна Чонбума было иметь устройства, которые действительно понимают, что происходит вокруг них. Это было десять лет назад, но только в 2019 году он начал действовать в соответствии с этим. Именно тогда Чонбум и Зак Шелби основали Edge Impulse с миссией, позволяющей разработчикам создавать интеллектуальные устройства следующего поколения.

Сегодня Edge Impulse объявляет о финансировании серии B в размере 34 миллионов долларов во главе с Коутью, что в три раза превышает ее рыночную оценку на 2022 год и прогноз роста. Коуту присоединяется к существующим инвесторам, Canaan Partners, Acrew Capital, Fika Ventures, Momenta Ventures и Knollwood Investment Advisory, чтобы завершить то, что команда называет «невероятным годом».

С момента его запуска в 2019 году почти 30 000 разработчиков из тысяч предприятий создали почти 55 000 пользовательских проектов машинного обучения с использованием Edge Impulse, создавая более разумные решения для промышленности, логистики, потребителей и здравоохранения с такими заказчиками, как Oura, Polycom, Advantech и NASA. Его база разработчиков увеличилась в 4 раза, а годовая регулярная выручка за последний год выросла в 3 раза.

Все это звучит довольно впечатляюще и является свидетельством прогноза Gartner о том, что «к 2027 году машинное обучение в форме глубокого обучения будет включено более чем в 65% пограничных сценариев использования по сравнению с менее чем 10% в 2021 году». Мы связались с Чонбомом, чтобы узнать больше об Edge Impulse.

Делаем глупые устройства Интернета вещей полезными

Джонгбум и Шелби исходят из того, что устройства IoT — это здорово, но они еще и глупы. Они могут записывать временные ряды с различных типов датчиков, например, температуры или звука, но они понятия не имеют, что это означает или как сделать из этого что-нибудь полезное.

Когда Чонбум встретил Шелби в компании Arm, где они оба работали около трех лет назад, они начали говорить о том, что они могут сделать, чтобы эти устройства действительно понимали мир. Они быстро пришли к выводу, что машинное обучение было ответом.

Jongboom в качестве примера использовал пресечение браконьерства. По его словам, если вы хотите использовать устройство IoT для обнаружения слона, у вас есть два варианта. Первый — попытаться создать программу, описывающую слуховой вход слона. Второй — использовать образцы звуков слона и позволить модели машинного обучения разобраться в этом.

Edge Impulse специализируется на машинном обучении для устройств Интернета вещей. Это означает, что им необходимо применять стандартный жизненный цикл машинного обучения: сбор данных — обучение модели — развертывание модели — проверка модели — повторение. Посмотрим, как они приспособят каждый шаг в этом процессе.

Нам было интересно, какие устройства или датчики Edge Impulse поддерживает для сбора данных. Jongboom упомянул, что их экосистема партнеров, от разработчиков микроконтроллеров до сверхспециализированных микросхем для машинного обучения, поддерживает «все, что угодно под солнцем».

При размышлении о том, как компания, основанная в 2019 году, могла создать такую ​​экосистему к 2021 году, следует учитывать несколько факторов. Тот факт, что основатели Edge Impulse начинали как разработчики встроенных систем, а Шелби ранее продал свой стартап IoT компании Arm, дал им По словам Чонбума, это хорошее начало. Они знали, чего хотят разработчики, и знали, как связаться с поставщиками оборудования. Кроме того, они сделали прием данных открытым и простым в использовании:

«Это была действительно хорошая история, когда мы можем помочь производителям кремния выйти на рынок и после того, как у нас появится кремний, на котором можно будет работать. Это означает, что мы можем совместно обратиться к клиентам и получить гораздо лучшую историю. Это не — О, мы у нас есть эта потрясающая платформа машинного обучения. У нас есть эта потрясающая платформа для машинного обучения, и у нас действительно есть поддержка со стороны поставщиков микросхем, которые уже будут работать на ваших старых устройствах. Это действительно потрясающе », — отметил Джонгбум.

Сбор данных, обучение модели, развертывание модели, проверка модели, повторение

Что касается модели обучения машинного обучения как части процесса, Edge Impulse использует в основном стандартные фреймворки, такие как TensorFlow. Идея состоит в том, чтобы максимально абстрагироваться, стремясь сделать создание моделей как можно более удобным для пользователей, которые являются экспертами в предметной области.

По словам Чонбума, цель состоит в том, чтобы дать экспертам в предметной области инструменты для сбора данных, а затем анализа аномалий, классификации происходящего или предсказания будущего. И это не только машинное обучение, но и обработка сигналов, потому что «обработка сигналов действительно хороша и объяснима».

Рабочая лошадка Edge Impulse — TensorFlow, используемый через Keras. Если у вас есть специалист по анализу данных, отлично, вы можете редактировать модель сколько угодно. Если нет, то не обязательно. Так что это может быть что угодно, от низкого кода до полной свободы. И да, ссылка с низким кодом означает, что на картинке изображена IDE — Studio.

Edge Impulse Studio — это онлайн ЗДЕСЬ, и это также место, где выполняется часть процесса проверки. Джонгбум отметил, что это действительно важно для машинного обучения в целом и тем более для периферийных приложений. Это потому, что если вы развертываете что-то на устройстве или машине, может быть очень сложно исправить ошибки в рабочих настройках.

Edge Impulse позволяет пользователям загружать реальные данные для использования для проверки, а также может генерировать синтетические данные. И это также позволяет им вмешиваться и вручную вносить исправления в ложные срабатывания или ложные отрицания, в зависимости от типа приложения. Иногда очень важно идентифицировать определенные события, даже ценой ложных срабатываний, а иногда можно что-то упустить.

Как заметил Джонгбум, цель состоит в том, чтобы создавать информативные приложения и вселять уверенность. Когда кто-то просматривает данные с помощью модели машинного обучения, становится намного проще выявить слабые места.

Последний шаг в процессе — развертывание — в настоящее время выходит за рамки Edge Impulse. Edge Impulse выводит исходный код. Это включает в себя математическую модель, код нормализации, код обработки сигнала, код машинного обучения и всю настройку модели после обработки.

«Никаких скомпилированных двоичных файлов, никаких гонораров за это», — сказал Чонбум. Он добавил, как пользователь интегрирует это в свое устройство. Однако, как отметил Джонгбум, экосистема тоже играет в это роль, и это может быть всего лишь две строчки кода. Эта часть также имеет открытый исходный код.

Edge Impulse EON: секретный соус для оптимизации моделей машинного обучения для периферии

Часть, о которой мы пока не говорили, и которая является центральной для Edge Impulse и не имеет открытого исходного кода, — это часть TinyML. TensorFlow или любая другая структура в этом отношении может создавать модели, которые не подходят для развертывания на граничных устройствах из-за ограничений на эти устройства с точки зрения мощности и возможностей обработки.

Именно здесь вступает в игру EON (Edge Optimized Neural) Edge Impulse. Это технология, которую Edge Impulse использовал для создания моделей машинного обучения, подходящих для развертывания на периферийных устройствах с ограниченными возможностями. Первое, что он делает, это учитывает все параметры цели развертывания и делает две вещи.

Во-первых, вступает в действие тюнер EON. Jongboom описал это как «сверхширокую поисковую базу из 1000 различных моделей, которые мы могли бы попробовать». Тюнер EON проверяет те, которые могут поместиться на целевом устройстве развертывания, а затем выбирает тот, который наиболее точен.

Затем компилятор EON эффективно компилирует нейронные сети в старые устройства. Как это работает, сказал Джонгбум, модель машинного обучения передается в интерпретатор, который строит график и выполняет логический вывод. Но это расточительная встроенная система, потому что вам нужен интерпретатор плюс все потенциальные состояния, которые интерпретатор может построить.

Компилятор EON просто компилирует график в исходный код, а затем компилирует его. Это экономит от 30 до 50% ОЗУ, что очень много, особенно в устройствах Brownfield. Компилятор доступен для использования, и модели, которые генерируют люди, также имеют открытый исходный код и лицензированы под Лицензия Apache 2.0, так что никаких гонораров нет. Некоторые люди на самом деле предпочитают делиться своими моделями с сообществом.

Edge Impulse — это программное обеспечение как сервисная платформа. Заказчики платят за проект в месяц или за конвейер данных в месяц. Они также платят за больше вычислений, функций совместной работы, крупномасштабного преобразования данных и интеграции с вашим облаком для извлечения и приема данных.

В Edge Impulse сейчас работает команда из 40 человек. Цель состоит в том, чтобы использовать это финансирование серии B, чтобы вырасти до 80 в следующем году, с упором на команду разработчиков решений. Чонбум сказал, что они также стремятся продолжать рост сообщества и поддержки таким же образом, а также поддерживать свой органический рост.