По мере того, как появление машинного обучения продолжает разрушать и кардинально влиять на целый ряд отраслей, одна из вещей, которая становится все более очевидной, заключается в том, что для хорошей работы машинному обучению требуется много высококачественных данных.

Согласно выводам из недавно выпущенного опроса, 99% респондентов сообщили, что некоторые проекты связанные с  ИИ были полностью отменены из-за недостаточности данных для обучения, а 100% респондентов сообщили о задержках проектов из-за их дефицита.

Использование synthetic-data — это один из подходов к решению проблем, связанных с получением и использованием высококачественных данных из реального мира. Сегодня Rendered.ai объявила о доступности своей платформы как услуги для инженеров по синтетическим данным и специалистов по компьютерному видению.

Rendered.ai рекламирует свою платформу как первую в своем роде платформу и полный стек для синтетических данных, включая среду разработки, систему управления контентом, построение сценариев, оркестровку вычислений, инструменты постобработки и многое другое.

Качественные данные для ИИ трудно получить, а стоят они огромных денег

Кундц, физик по образованию, имеет докторскую степень. из Университета Дьюка. У него также есть предыдущий опыт стартапов, поскольку он основал и успешно передал Kymeta. Kymeta — разработчик гибридных спутниковых и сотовых сетей, и Кундц регулярно слышал о проблемах, с которыми люди в спутниковой индустрии сталкиваются работая с данными.

Он изложил свои мысли о том, как решить эти проблемы, в официальном документе, которым он поделился с несколькими людьми. Некоторые из этих людей решили работать с ним, пытаясь создать инструменты, которые могли бы помочь людям в спутниковой индустрии, особенно в дистанционном зондировании. Это привело к запуску Rendered.ai в 2019 году.

Кундц назвал дистанционное зондирование изображениями «строящихся городов, образа жизни, сельскохозяйственных культур, лесного хозяйства и т. Д. Из космоса». Это прямо относится к категории неструктурированных визуальных данных. Но это не все, что может сделать Rendered.ai.

Визуальные данные могут относиться к типу изображений, получаемых с камер, но они также могут относиться к таким вещам, как рентгеновские снимки. Rendered.ai также занимается радарами и многими другими способами обнаружения, которые в конечном итоге могут быть преобразованы с помощью инструментов обработки данных. Платформу также можно использовать для невизуальных данных, таких как табличные данные, аудиоданные или видеоданные.

Кундц выделил вариант использования, в котором orbitalinsight работал с Rendered.ai в рамках гранта Национального агентства геопространственной разведки. Orbital Insight продемонстрировал улучшенные результаты обнаружения объектов за счет использования синтетических данных.

Rendered.ai помог им модифицировать синтетические изображения, чтобы обученная модель ИИ могла обобщать реальные изображения. Они также помогли эффективно использовать комбинацию большого набора синтетических изображений и небольшого набора реальных примеров для совместного обучения модели.

Как заметил Кундц, чтобы сделать изображения подходящими для компьютерного зрения, нужно нечто большее, чем сами изображения. Изображения должны быть аннотированы, чтобы правильно маркировать изображенные элементы, которые должны быть идентифицированы моделями ИИ.

Чтобы аннотировать 200-километровую полосу в RGB фотограмметрия может стоить более 65 000 долларов, сказал Кундц. И это не обязательно включает все объекты, которые люди, спонсирующие аннотацию, хотели бы обучить модели ИИ для их идентификации. Идея синтетических данных состоит в том, чтобы генерировать данные, которые достаточно реалистичны, но в то же время гарантированно включают все, что модель ИИ должна изучить.

Приближение к реальному миру

На практике, как объяснил Кундц, они применяют моделирование, основанное на физике, для достаточно точного приближения к реальному поведению, чтобы генерировать полезные данные. Есть и другие способы создания синтетических данных, но Кундц считает, что ни один из них не работает.

GAN (Генеративно-состязательные сети) — это распространенный метод, используемый для создания синтетических данных. По сути, мы предоставляем множество изображений, а затем учим алгоритм делать то, что у нас уже есть, как выразился Кундц. Проблема с GAN, добавил он, заключается в том, что вы не вводите никакой новой информации. Вы работаете с тем, что у вас уже есть.

Другой метод создания синтетических данных — использование движков видеоигр. В этом варианте много физики, и Rendered.ai тоже их использует, признал Кундц, но это довольно узкая область применения. Он считает, что этот подход не подходит для широкого круга вариантов использования, для которых людям нужны синтетические данные. Кроме того, игровые движки еще не настолько неотличимы от реальности, что иногда может оказывать серьезное влияние на алгоритмы.

По словам Кундца, Rendered.ai сделала свою платформу расширяемой для широкого спектра различных типов моделирования, а затем наладила партнерские отношения с компаниями, имеющими большой опыт в этих областях. Не только работа с кодами движка видеоигр, но и внедрение глубоких знаний физики.

В любом случае речь идет не о моделировании реального мира, а скорее о моделировании сетки, которую вы можете создать из реального мира. По определению, симуляция не сможет передать 100% достоверность реального мира. Это означает, что вам нужно сделать две вещи, отметил Кундц.

Во-первых, необходимо преодолеть разрывы по отношению к реальности, чтобы избежать появления артефактов, которые могут запутать модели ИИ. Второй — применить эффекты постобработки, чтобы помочь преодолеть так называемую «зловещую пустошь» и повысить реализм.

Платформа Rendered.ai состоит из двух основных компонентов: фреймворка разработчика и компьютерной оркестровой библиотечной среды. «Все, что вы можете написать с помощью Python, вы можете поместить в эту среду разработчика», как сказал Кундц. Существует также визуальный слой, среда без кода, как его называет Rendered.ai, который позволяет людям создавать рабочие процессы, не вводя все вручную.

Но суть подхода заключается в том, что Rendered.ai называет метод «графиком». Это визуальный способ определения различных типов объектов, их свойств и взаимозависимостей:

«График определяет не просто часть данных, одно изображение или одну таблицу, а стохастический подход к их созданию. Таким образом, вы можете использовать этот график для непрерывного создания дополнительных данных в какой-либо области», — сказал Кундц.

В этом контексте Rendered.ai определяет роли инженера по синтетическим данным и инженера по компьютерному видению. Инженер по синтетическим данным — это человек, который пишет сценарии, определяющие, что будет возможно на основе различных графиков. Инженер по компьютерному зрению просматривает графики и определяет, что они хотят видеть в конкретном наборе данных.

Платформа для совместной работы, включающая вычисления

Кундц также подробно остановился на процессе и инструментах, используемых для внесения определенной степени случайности там, где это необходимо. Это может быть полезно для обеспечения того, чтобы данные отражали реальный мир, а также для создания пограничных случаев и тестирования различных сценариев.

Rendered.ai утверждает, что частью инновации, которую представляет его платформа, является именно определение этих различных ролей в процессе, а также инфраструктура совместной работы для их поддержки. По словам Кундца, большинство инструментов моделирования, 3D-моделирования и игровых инструментов созданы для одного пользователя, но синтетические данные в своей основе являются междисциплинарными.

Процесс адаптации Rendered.ai обычно начинается с существующего кода, который затем модифицируется в соответствии с потребностями каждого клиента. Кундц признал, что синтетические данные еще пока на начале своего пути, поэтому обучение клиентов и помощь им в экспериментах — неотъемлемая часть миссии Rendered.ai.

Что помогает в этом отношении, так это тот факт, что получение плана Developer или Enterprise за 500 долларов в месяц и 5000 долларов в месяц соответственно поставляется в комплекте с вычислениями на AWS. Хотя в некоторых случаях существуют некоторые ограничения, идея состоит в том, чтобы дать пользователям возможность проводить необходимые им эксперименты, не слишком беспокоясь о счете AWS. Существует также бесплатный уровень для тестирования платформы.

Rendered.ai, который получил 6 миллионов долларов начального финансирования в 2019 году, уже выпустила приложение с открытым исходным кодом и соответствующий контент, чтобы помочь пользователям адаптироваться к своей платформе. Кундц упомянул, что они будут выпускать дополнительные приложения и контент с открытым исходным кодом для большего количества доменов, чтобы привлечь больше пользователей.

«Мы можем многое сделать, чтобы помочь людям в этой отрасли. И я думаю, что это одна из самых важных проблем, стоящих перед ИИ, если не самая важная проблема. Поэтому я рад возможности помочь», — заключил он.