ГИБРИДНОЕ ИСПОЛНЕНИЕ ЗАПРОСОВ К АНАЛИТИЧЕСКИМ БАЗАМ ДАННЫХ

Аннотация

Для повышения эффективности системам исполнения аналитических запросов необ- ходимо использовать все доступные ресурсы современных распределенных гетерогенных систем. Ускорители, сложная иерархия памяти и распределенность вычислений создают возможности для оптимизации производительности. В статье проводится обзор сущест- вующих подходов к реализации механизмов исполнения аналитических запросов к СУБД для данных в оперативной памяти с использованием аппаратных ускорителей, в частности, особое внимание уделено графическим ускорителям. За счет массивного параллелизма и высокой пропускной способности памяти устройства графические ускорители представ- ляют перспективную альтернативу основного устройства исполнения аналитических за- просов. Существующие методы не задействуют всех возможностей современной аппара- туры и обычно основываются на передаче данных по относительно медленной шине PCIe для исполнения ядер каждого отдельно взятого оператора. Другой проблемой существую- щих методов является явное разделение кодовой базы кодогенераторов реляционных опе- раторов для ускорителей (графических процессоров) и центрального процессора, и невоз- можность переиспользования сгенерированного кода для других устройств в системе, что существенно ограничивает возможности их совместного использования с целью повыше- ния производительности. В статье представлен метод эффективного исполнения запро- сов на примере системы из двух классов устройств (ЦПУ и графический процессор) при помощи компиляции с построением единого, независимого от устройства, промежуточно- го представления (SPIR-V) и подход к оптимизации соответствующего гибридного физи- ческого плана запроса на основе расширенного классического оператора “Exchange” с ис- пользованием гетерогенных вычислительных ресурсов и явным контролем уровня параллелизма для каждого устройства. Для поиска оптимального физического плана предложен способ построения модели затрат на основе данных о поведении основных вычислитель- ных паттернов реляционных и вспомогательных операторов. Потенциал прироста произ- водительности за счет оптимизации запросов целиком для наилучшего с точки зрения про- изводительности устройства оценивается с помощью эмпирических данных, полученных для коммерческой СУБД с открытым исходным кодом OmniSci DB. Предварительные ре- зультаты демонстрируют возможность ускорения обработки запросов в разы (3-8х) при выборе наиболее подходящего устройства исполнения.