NSDI '20 — мелкозернистые реплицированные конечные автоматы для кластерной системы хранения данных

Описание: Реплицированные машины состояний для кластерной системы хранения данных

Мин Лю и Арвинд Кришнамурти, Вашингтонский университет; Харша В. Мадхьястха, Мичиганский университет; Риши Бхардвадж, Каран Гупта, Чинмай Камат, Хуапэн Юань, Адитья Джалтаде, Роджер Ляо, Паван Конка и Ануп Джавахар, Nutanix

Мы описываем разработку и реализацию согласованного и отказоустойчивого индекса метаданных для масштабируемой блочной системы хранения данных. Блочная система хранения данных поддерживает виртуализированное выполнение устаревших приложений в корпоративных кластерах, автоматически распределяя хранимые блоки по ресурсам хранения кластера. Для обеспечения доступности и масштабируемости блочной системы хранения данных мы разрабатываем распределенный индекс, обеспечивающий реплицированную и согласованную абстракцию хранения данных типа «ключ-значение».

Ключевая идея, лежащая в основе нашей разработки, заключается в использовании мелкозернистых реплицированных конечных автоматов, в которых каждая пара «ключ-значение» в индексе рассматривается как отдельный реплицированный конечный автомат. Этот подход имеет множество преимуществ по сравнению с традиционным крупнозернистым подходом, представляющим целый фрагмент данных как конечный автомат: он позволяет эффективно использовать несколько устройств хранения и ядер, более устойчив как к краткосрочным, так и к долгосрочным перекосам в скорости доступа к ключам и может выдерживать колебания задержек доступа к ключам. Однако использование мелкозернистых реплицированных конечных автоматов порождает новые проблемы, которые мы решаем, совместно разрабатывая протокол консенсуса с хранилищем данных и оптимизируя работу реплицированных конечных автоматов по ключам. Мы демонстрируем, что мелкозернистые реплицированные конечные автоматы могут обеспечить значительный выигрыш в производительности, характеризуем производительность системы в реальных условиях и делимся нашим опытом создания и развертывания системы.

Полную программу NSDI '20 можно посмотреть по адресу https://www.usenix.org/conference/nsd...