Хранилища «ключ-значение» — это самые простые и фундаментальные системы хранения данных. Вместо того, чтобы предоставлять сложные языки запросов, большинство из них предоставляют простые интерфейсы для хранения и извлечения данных.

Концептуально любой тип системы управления данными или базы данных может быть построен на основе хранилище ключей и значений. Более сложные структуры данных и языки запросов могут быть построены, а иногда и строятся на хранилищах ключей и значений.

В этом сценарии разработчики баз данных обычно либо реализуют собственное решение для хранилища ключей, либо ищут встроенную систему. Это хранилище ключей и значений, которое представляет собой библиотеку, которую могут использовать другие системы.

Тогда можно было бы утверждать, что встроенные хранилища ключей и значений являются незамеченными героями хранилищ и часто для баз данных. Встроенные хранилища ключей и значений обладают дополнительным багажом встроенных систем: они совместно используют ресурсы с системой, в которую они встроены, а это означает, что эффективность является ключевым моментом. По словам Ади Гельвана, спидб соучредитель и генеральный директор:

«Если он находится вне системы, то это чужая проблема, и вы действительно можете получить ее как услугу. Но когда вы говорите о встроенной библиотеке, она оказывает прямое влияние на ваше приложение и использование ресурсов».

Speedb — это новое встроенное хранилище ключей и значений, которое обеспечивает 100% совместимость с RocksDB, популярное встроенное хранилище ключей и значений с открытым исходным кодом, которое может похвастаться значительным повышением производительности.

Сегодня Speedb объявляет о своем официальном запуске, финансировании посевного раунда, а также о партнерстве с Redis. Мы догнали Гельвана, чтобы узнать больше о Speedb.

Незаменимая замена для RocksDB

Гелван познакомился со своими соучредителями примерно в 2011 году, когда работал в Infinidat, большой компании по хранению данных. Но только в 2019 году родилась идея Speedb. В кроличью нору их отправило то, что Гельван назвал «разрастанием метаданных».

По его словам, раньше метаданные были незначительной частью данных, но теперь иногда они больше, чем сами данные. Для одного из своих проектов основатели Speedb искали способ очень эффективно обрабатывать метаданные без необходимости добавлять дополнительное оборудование в систему хранения.

Одним из вариантов было переписать весь стек данных, что на самом деле было не вариант. Вторая задача заключалась в поиске доступных решений для эффективного управления метаданными. Они искали встраиваемое решение, поэтому им не потребовалось много времени, чтобы добраться до RocksDB.

RocksDB — это проект Facebook с открытым исходным кодом, начатый как форк LevelDB от Google, и у него очень большое сообщество и база пользователей. Есть только одна проблема: он не мог масштабироваться до того, что было необходимо. Достигнув 100 ГБ, Гелван и его соучредители начали сталкиваться с самыми разными проблемами.

Они обратились к сообществу RocksDB и обнаружили, что это ожидаемое поведение. Предлагаемое решение заключалось в сегментировании RocksDB. То есть разбивать наборы данных на более мелкие части, а затем назначать каждый из них узлу и запускать каждый узел со своим собственным механизмом хранения.

спидб

Основатели Speedb были недовольны этим, поскольку шардинг привносит сложность и накладные расходы. Поэтому они начали думать о способах обхода шардинга, создав то, что Гелван назвал механизмом хранения следующего поколения:

«Мы выяснили, что, обеспечивая дополнительную производительность и масштабируемость с использованием меньшего количества ресурсов, мы можем позволить нашим клиентам обрабатывать гораздо больше данных с гораздо более высокой скоростью. Они могут изменять столько, сколько захотят на стороне приложения, и не быть действительно ограниченными с точки зрения данных «, — сказал Гелван.

В начале 2020 года Гелван и его соучредители решили, что они могут повторно реализовать лог-структурированное слияние (LSM) деревья, структура данных в основе RocksDB, более эффективная, чем то, что предлагает RocksDB. Они также выяснили, что если они сделают это таким образом, чтобы сохранить совместимость с API RocksDB, они смогут обращаться к пользователям RocksDB, и все это составляет значительный рынок.

В 100 раз больше данных, в 10 раз быстрее, на 80% меньше ресурсов

Конечно, легче сказать, чем сделать, но похоже, что Speedb выполнила свой план. Примерно через 18 месяцев у Speedb есть рабочий продукт. Фактически, один был выбран для поддержки самых крупных развертываний Redis на Flash, что позволило будущей версии обеспечить в 2 раза большую пропускную способность при сокращении задержки вдвое.

Как упоминал Гельван, они искали первых последователей, а офис Redis находится в паре этажей от того места, где он работает, поэтому он начал разговор. Люди Redis сказали, что были бы счастливы попробовать Speedb, если бы он действительно был заменой RocksDB. Гелван сказал, что людям Redis потребовалось около 30 минут, чтобы запустить Speedb, запустить несколько тестов и перезвонить Speedb, чтобы поговорить о бизнесе.

История Speedb vs RocksDB имеет некоторое сходство с историей ScyllaDB vs Cassandra. Повторная реализация популярного фреймворка с открытым исходным кодом более эффективным способом при сохранении совместимости с оригиналом. Гелван отметил, что, хотя было предложено множество оптимизаций для RocksDB, они переосмыслили основы структуры данных LSM с нуля.

Speedb также подала заявку на несколько патентов по этому поводу. Утверждается, что технология Speedb позволяет передавать в 100 раз больше данных, в 10 раз быстрее и использует на 80% меньше ресурсов, чем RocksDB. Таким образом, это позволяет снизить потребление ЦП и памяти даже при масштабировании данных.

Однако, в отличие от RocksDB, Speedb не является открытым исходным кодом. Идея, похоже, заключается в том, что, поскольку RocksDB имеет такую ​​широкую базу пользователей, а Speedb предлагает такой прирост производительности, значительная часть этой базы пользователей может быть преобразована в клиентов, платящих за Speedb.

Speedb привлекла начальный раунд начального финансирования в размере 4 млн долларов от Hyperwise Ventures. Однако Гелван сказал, что они хотят привлечь больше капитала. Очевидной целью было бы расширить нынешнюю команду из 15 человек, в основном занятых исследованиями и разработками, людьми, которые могут помочь выйти на рынок.

Однако это еще не все, что Speedb готовит на будущее. Гельван также упомянул о добавлении новых функций при потенциально открытом поиске частей продукта:

«У нас есть много возможностей для размещения других функций, которые на самом деле помогут вышеуказанному приложению заглядывать внутрь данных и делать с ними более разумные вещи. И мы знаем о сообществе открытого исходного кода, и это то, что мы определенно рассматриваем. I сказал бы, следите за новостями », — сказал Гельван.

Компания также привлекает ряд клиентов и, похоже, настроена на рост.