АРХИТЕКТУРА НЕЙРОННЫХ СЕТЕЙ НА ОСНОВЕ КОДОВ НА ГРАФАХ
Аннотация
Одним из важных достижений теории помехоустойчивого кодирования является открытие кодов на графах и их важного подмножества низкоплотностных кодов (LDPC-кодов). Используя проверочную матрицу кода на графе, можно получить марков- ское случайное поле. LDPC-код может быть вложен в модель Изинга (разновидность мар- ковского случайного поля) путем использования топологии тора с отрицательной кривизной. При этом кодовые слова соответствуют седловым точкам (экстремумам) в модели, а треппин-сеты соответствуют локальным минимумам. Использование LDPC-кодов с увеличенным кодовым расстоянием позволяет максимально разнести седло- вые точки, и таким образом повысить устойчивость нейронной сети к шуму и мощность представления. При этом блочная и разряженная структура, характерная для тора отри- цательной кривизны, упрощает мультиплексирование и снижает число обучаемых пара- метров нейронной сети. Целью исследования являются снижение вычислительной сложно- сти и увеличение точности нейронных сетей за счёт применения априорных структурных (квазициклических) разряженных графов для широкого класса задач машинного обучения на марковских случайных полях. В работе представлен новый подход, позволяющий осуществлять синтез архитектур нейронных сетей на основе кодов на графах. Предложенный под- ход осуществляет эффективное представление марковских случайных полей за счёт при- менения разряженных блочных (квазициклических) матриц (тензоров). Предложенный под- ход позволяет снизить число обучаемых параметров и логарифмически снизить слож- ность мультиплексирования тензора. Полученная на основе предложенного подхода архи- тектура трансформера в задаче поиска пути (pathfinder) с конкурса трансформеров (long range arena) заняла пятое место по точности классификации изображений 94.95% (1.72% от первого места) при значительно меньшей сложности (число параметров (умножений) синтезированной сети меньше в более чем 5 раз). Применение предложенного подхода к задачам факторизации на плотных графах, сетевых задачах, поверхностных сетках, кова- риационных матрицах позволило увеличить точность реконструкции по метрике Фробе- ниуса (на отдельных задачах на 8 порядков) в сочетание с упрощением структуры мульти- плексора в сравнение с методами усеченного сингулярного разложения TSVD и хордовой разряженной факторизации.
