Найти

Результаты поиска

• ГИБРИДНОЕ ИСПОЛНЕНИЕ ЗАПРОСОВ К АНАЛИТИЧЕСКИМ БАЗАМ ДАННЫХ

  П. А. Курапов

  2021-07-18

  Аннотация ▼

  Для повышения эффективности системам исполнения аналитических запросов необ-
  ходимо использовать все доступные ресурсы современных распределенных гетерогенных
  систем. Ускорители, сложная иерархия памяти и распределенность вычислений создают
  возможности для оптимизации производительности. В статье проводится обзор сущест-
  вующих подходов к реализации механизмов исполнения аналитических запросов к СУБД для
  данных в оперативной памяти с использованием аппаратных ускорителей, в частности,
  особое внимание уделено графическим ускорителям. За счет массивного параллелизма и
  высокой пропускной способности памяти устройства графические ускорители представ-
  ляют перспективную альтернативу основного устройства исполнения аналитических за-
  просов. Существующие методы не задействуют всех возможностей современной аппара-
  туры и обычно основываются на передаче данных по относительно медленной шине PCIe
  для исполнения ядер каждого отдельно взятого оператора. Другой проблемой существую-
  щих методов является явное разделение кодовой базы кодогенераторов реляционных опе-
  раторов для ускорителей (графических процессоров) и центрального процессора, и невоз-
  можность переиспользования сгенерированного кода для других устройств в системе, что
  существенно ограничивает возможности их совместного использования с целью повыше-
  ния производительности. В статье представлен метод эффективного исполнения запро-
  сов на примере системы из двух классов устройств (ЦПУ и графический процессор) при
  помощи компиляции с построением единого, независимого от устройства, промежуточно-
  го представления (SPIR-V) и подход к оптимизации соответствующего гибридного физи-
  ческого плана запроса на основе расширенного классического оператора “Exchange” с ис-
  пользованием гетерогенных вычислительных ресурсов и явным контролем уровня параллелизма для каждого устройства. Для поиска оптимального физического плана предложен
  способ построения модели затрат на основе данных о поведении основных вычислитель-
  ных паттернов реляционных и вспомогательных операторов. Потенциал прироста произ-
  водительности за счет оптимизации запросов целиком для наилучшего с точки зрения про-
  изводительности устройства оценивается с помощью эмпирических данных, полученных
  для коммерческой СУБД с открытым исходным кодом OmniSci DB. Предварительные ре-
  зультаты демонстрируют возможность ускорения обработки запросов в разы (3-8х) при
  выборе наиболее подходящего устройства исполнения.