Найти

Результаты поиска

• АРХИТЕКТУРА НЕЙРОННЫХ СЕТЕЙ НА ОСНОВЕ КОДОВ НА ГРАФАХ

  В.С. Усатюк , С.И. Егоров , А.П. Локтионов , Е. А. Титенко , И.Е. Чернецкая

  2023-12-11

  Аннотация ▼

  Одним из важных достижений теории помехоустойчивого кодирования является
  открытие кодов на графах и их важного подмножества низкоплотностных кодов
  (LDPC-кодов). Используя проверочную матрицу кода на графе, можно получить марков-
  ское случайное поле. LDPC-код может быть вложен в модель Изинга (разновидность мар-
  ковского случайного поля) путем использования топологии тора с отрицательной
  кривизной. При этом кодовые слова соответствуют седловым точкам (экстремумам) в
  модели, а треппин-сеты соответствуют локальным минимумам. Использование
  LDPC-кодов с увеличенным кодовым расстоянием позволяет максимально разнести седло-
  вые точки, и таким образом повысить устойчивость нейронной сети к шуму и мощность
  представления. При этом блочная и разряженная структура, характерная для тора отри-
  цательной кривизны, упрощает мультиплексирование и снижает число обучаемых пара-
  метров нейронной сети. Целью исследования являются снижение вычислительной сложно-
  сти и увеличение точности нейронных сетей за счёт применения априорных структурных
  (квазициклических) разряженных графов для широкого класса задач машинного обучения на
  марковских случайных полях. В работе представлен новый подход, позволяющий осуществлять синтез архитектур нейронных сетей на основе кодов на графах. Предложенный под-
  ход осуществляет эффективное представление марковских случайных полей за счёт при-
  менения разряженных блочных (квазициклических) матриц (тензоров). Предложенный под-
  ход позволяет снизить число обучаемых параметров и логарифмически снизить слож-
  ность мультиплексирования тензора. Полученная на основе предложенного подхода архи-
  тектура трансформера в задаче поиска пути (pathfinder) с конкурса трансформеров (long
  range arena) заняла пятое место по точности классификации изображений 94.95% (1.72%
  от первого места) при значительно меньшей сложности (число параметров (умножений)
  синтезированной сети меньше в более чем 5 раз). Применение предложенного подхода к
  задачам факторизации на плотных графах, сетевых задачах, поверхностных сетках, кова-
  риационных матрицах позволило увеличить точность реконструкции по метрике Фробе-
  ниуса (на отдельных задачах на 8 порядков) в сочетание с упрощением структуры мульти-
  плексора в сравнение с методами усеченного сингулярного разложения TSVD и хордовой
  разряженной факторизации.