АРХИТЕКТУРА НЕЙРОННЫХ СЕТЕЙ НА ОСНОВЕ КОДОВ НА ГРАФАХ
Ключевые слова:
Нейронные сети, коды на графах, низкоплотностные коды, модель Изинга, матричная факторизация, вложение многообразия, торическая гиперболическая топологияАннотация
Одним из важных достижений теории помехоустойчивого кодирования является
открытие кодов на графах и их важного подмножества низкоплотностных кодов
(LDPC-кодов). Используя проверочную матрицу кода на графе, можно получить марков-
ское случайное поле. LDPC-код может быть вложен в модель Изинга (разновидность мар-
ковского случайного поля) путем использования топологии тора с отрицательной
кривизной. При этом кодовые слова соответствуют седловым точкам (экстремумам) в
модели, а треппин-сеты соответствуют локальным минимумам. Использование
LDPC-кодов с увеличенным кодовым расстоянием позволяет максимально разнести седло-
вые точки, и таким образом повысить устойчивость нейронной сети к шуму и мощность
представления. При этом блочная и разряженная структура, характерная для тора отри-
цательной кривизны, упрощает мультиплексирование и снижает число обучаемых пара-
метров нейронной сети. Целью исследования являются снижение вычислительной сложно-
сти и увеличение точности нейронных сетей за счёт применения априорных структурных
(квазициклических) разряженных графов для широкого класса задач машинного обучения на
марковских случайных полях. В работе представлен новый подход, позволяющий осуществлять синтез архитектур нейронных сетей на основе кодов на графах. Предложенный под-
ход осуществляет эффективное представление марковских случайных полей за счёт при-
менения разряженных блочных (квазициклических) матриц (тензоров). Предложенный под-
ход позволяет снизить число обучаемых параметров и логарифмически снизить слож-
ность мультиплексирования тензора. Полученная на основе предложенного подхода архи-
тектура трансформера в задаче поиска пути (pathfinder) с конкурса трансформеров (long
range arena) заняла пятое место по точности классификации изображений 94.95% (1.72%
от первого места) при значительно меньшей сложности (число параметров (умножений)
синтезированной сети меньше в более чем 5 раз). Применение предложенного подхода к
задачам факторизации на плотных графах, сетевых задачах, поверхностных сетках, кова-
риационных матрицах позволило увеличить точность реконструкции по метрике Фробе-
ниуса (на отдельных задачах на 8 порядков) в сочетание с упрощением структуры мульти-
плексора в сравнение с методами усеченного сингулярного разложения TSVD и хордовой
разряженной факторизации.
