Как и сам искусственный интеллект, стартап AI SambaNova интересно через стек. От программного обеспечения к оборудованию, от технологии к бизнес-модели и от концепции к реализации.

SambaNova попала в новости по ряду причин: громкие основатели, серия раундов финансирования, которые привели ее на территорию единорогов, впечатляющие К технология чипа и нетрадиционный выбор в его упаковке. В настоящее время компания выполняет свою задачу — обеспечить нарушение работы ИИ на предприятии.

SambaNova только что объявила о своем GPT-как услуга предложение, его Программа членства ELEVAITE для клиентов, и работает с одним из крупнейших банков в Европе, чтобы построить то, что, по его утверждениям, будет Самый быстрый в Европе суперкомпьютер с искусственным интеллектом.

Мы связались с генеральным директором и соучредителем SambaNova Родриго Ляном, чтобы обсудить все это, а также одну из наших любимых тем: графики и то, как они лежат в основе предложения SambaNova.

ИИ как услуга

SambaNova недавно привлекла колоссальные 676 миллионов долларов в виде финансирования серии D, превысила 5 миллиардов долларов по оценке и стала самым финансируемым стартапом в области ИИ в мире. Как бы впечатляюще это ни звучало, вероятно, надолго это не продлится. Признание того, что он «лучший в мире стартап в области искусственного интеллекта», то есть не финансирование. Лян, который часто называл ИИ «таким же большим, если не большим, чем Интернет», вероятно, согласился бы:

«Люди не всегда осознают в своих собственных вертикалях, что идет гонка ИИ. Подумайте о банках, производстве, здравоохранении, обо всех этих различных секторах, где люди используют ИИ как возможность катапультировать свои позиции в своем секторе. — вся индустрия искусственного интеллекта. Происходит много действительно разрушительных вещей, в которых мы играем одну часть », — сказал Лян.

SambaNova только что представила свой Предложение GPT как услуга, в котором рассказывается о том, как SambaNova подходит к ИИ на предприятии.

В отличие от предложения Nvidia, например, SambaNova просто хочет делать все для своих клиентов. От получения модели до настройки и обучения, а затем развертывания, эксплуатации и обслуживания. Это включает в себя доступ к данным, необходимым для индивидуальной настройки GPT в соответствии с требованиями клиента, что, по словам Ляна, можно сделать любым необходимым способом — локально или в инфраструктуре SambaNova.

Это соответствует тому, как SambaNova поставляет свое оборудование: либо в виде коробки, включающей все, от микросхем до сетей, либо в виде услуга. Лян сказал, что их много раз просили продавать клиентам «только чипы», и они могли это сделать. Но компания утверждает, что в подавляющем большинстве стран мира нет опыта в области искусственного интеллекта, чтобы брать микросхемы или программное обеспечение на низком уровне и внедрять решения.

SambaNova решила предложить 3 типа моделей искусственного интеллекта в качестве услуги в зависимости от требований клиентов: языковые модели, компьютерное зрение и системы рекомендаций.

SambaNova

SambaNova фокусируется на том, чтобы как можно больше компаний из списка Fortune 5000 (так в оригинале) использовать решения ИИ, вместо того, чтобы пытаться поговорить с как можно большим количеством разработчиков ИИ. SambaNova тоже этим занимается, и разработчики любят создавать новые модели. Тем не менее, тезис Linag состоит в том, что модели стали «фантастическими», и, несмотря на постепенный прогресс, ценность заключается в развертывании в производстве.

Этот тезис согласуется не только с понятием «ИИ, ориентированным на данные», соучредителем SambaNova Крисом Ре, но и с смещением фокуса в сторону MLOps. Что касается типа услуг на основе искусственного интеллекта, которые SambaNova предлагает своим клиентам, Лян сказал, что, хотя они могут быть любыми, поскольку субстрат потока данных может адаптироваться к любой рабочей нагрузке, компания решила сосредоточиться на трех типах моделей искусственного интеллекта.

Языковые модели GPT — это одна, компьютерное зрение высокой четкости — другая, а модели рекомендаций — третья. Решение определяется потребительским спросом. Лян сказал, что, хотя предложение SambaNova включает настройку и обслуживание, бизнес-модель основана на подписке, а не на услугах. Больше Salesforce, чем Accenture. Что касается запчастей, требующих обслуживания, SambaNova работает с рядом партнеров.

Поток данных: преимущество SambaNova основано на обработке графов

По словам Ляна, архитектура Dataflow — это то, что дает SambaNova преимущество в гибкости и производительности. Основываясь на том, что публично доступно в Dataflow, у нас сложилось впечатление, что Dataflow был разработан, начиная с программного обеспечения, а точнее, с компиляторов. Лян подтвердил это и даже охарактеризовал SambaNova как «компанию, занимающуюся прежде всего программным обеспечением».

Итак, как работает поток данных? Если мы подумаем о том, как работают нейронные сети, у нас есть взаимосвязанные узлы, выполняющие последовательные раунды вычислений, чтобы увидеть, дает ли результат каждого раунда лучший результат, чем предыдущий. «Вы просто продолжаете повторять эти итерации снова и снова», — отметил Лян. Он добавил, что вычисления, которые происходят сегодня для этого типа обработки, — это то, что люди называют «ядро за ядром».

Это, как отмечает Лян, приводит к неэффективности и увеличивает потребность в памяти с высокой пропускной способностью, потому что между вычислительным механизмом и промежуточной памятью происходит много рукопожатий:

«Как вычислительный движок, вы выполнили свои вычисления, а затем отправили их обратно, и вы позволили хосту отправить вам следующее вычислительное ядро, а затем вы начинаете выяснять, о, что мне нужно? Предыдущие данные хранились здесь ; тогда я получу это. Так что очень сложно планировать ресурсы. Мы не знаем, что будет. Когда вы не знаете, что произойдет, вы не знаете, какие ресурсы вам могут понадобиться.

В AI происходит много действительно разрушительных вещей, и SambaNova является частью этого.

Автор sdecoret — Shutterstock

Мы начали со стека компилятора. Первое, что мы хотим сделать, это сказать: смотрите, эти нейронные сети очень предсказуемы. Даже для чего-то вроде GPT, даже такого большого, мы заранее знаем способ межсетевого взаимодействия. Модели становятся настолько большими, что человеческий глаз и разум не могут под это оптимизировать. Но компиляторы отлично с этим справляются.

Предположим, вы позволяете инструменту войти и развернуть весь график и просто увидеть каждый слой графика, каждое соединение, которое может вам понадобиться, где разрезы секций, где все соединения с критической задержкой, где соединения с высокой пропускной способностью. В этом случае у вас действительно есть шанс выяснить, как действительно оптимально запустить этот конкретный график », — сказал Лян.

Лян продолжил добавлять доступные сегодня опции — процессоры, графические процессоры, FPGA, — которые знают, как обрабатывать только одно ядро ​​за раз. SambaNova берет график вычислений, все проблемы с пропускной способностью и задержкой, отображает его и сохраняет данные на чипе. Ключевым моментом является сохранение всех этих графиков и взаимосвязей, оптимально связанных друг с другом, и заблаговременная координация.

Вы можете масштабировать это для множества графиков на одном чипе или можете поместить один график в сотни чипов — компилятору все равно. Например, некоторые из самых искушенных клиентов SambaNova — в правительстве США — сообщают, что они получают от 8 до 10, а иногда и 20 раз преимущество по сравнению с результатами своих графических процессоров, которые они оптимизировали в течение многих лет, сказал Лян.

Интересно, что последние пару раз, когда мы видели результаты для MLPerf, SambaNova не включалась. Уточняю, что это означает, что SambaNova вообще не подчинялась MLPerf. Набор тестов MLPerf — это создание MLCommons, отраслевой консорциум, который выпускает контрольные оценки для рабочих нагрузок обучения машинному обучению и логических выводов. Таким образом, единственный способ проверить утверждения Ляна — это, по-видимому, попробовать SambaNova. В любом случае к тестам следует относиться с долей скепсиса, и доказательством этого является то, как все работает в ваших собственных условиях.

Тем не менее, мы находим акцент на обработка графиков для микросхем AI интригующе. SambaNova — не единственная компания, производящая микросхемы искусственного интеллекта, которая на самом деле сосредоточилась на этом, и гонка за обработку графов продолжается.