АЛЬТЕРНАТИВНЫЕ ГИБРИДНЫЕ СТРУКТУРЫ ДЛЯ ПОВЫШЕНИЯ ВЫЧИСЛИТЕЛЬНОЙ ЭФФЕКТИВНОСТИ РЕАЛИЗАЦИИ НЕЙРОННЫХ СЕТЕЙ ГЛУБОКОГО ОБУЧЕНИЯ

Аннотация

Предлагается новый подход к организации вычислительных структур слоев и меж- слойных связей при построении искусственных нейронных сетей для решения широкого круга задач обработки многомерных данных. Основной проблемой построения сетей глубо- кого обучения является необходимость введения большого количества параметров обуче- ния сети. Имеющиеся рабочие экземпляры таких сетей содержат миллиарды параметров, что позволяет достигать высокой эффективности применения таких сетей. Обратной стороной такой широко используемой структуры сетей в виде многослойных сверточных структур являются высокие затраты на обучение сетей с большим количеством струк- турно схожих слоев свертки методом обратного распространения. Решение проблемы повышения эффективности таких многослойных структур может быть найдено в приме- нении гибридных слоев, реализующих операции гранулирования данных, которые были раз- виты в наших работах. В новых гибридных моделях вместо векторных значений парамет- ров обучения используются матричные информационные элементы, позволяющие кодиро- вать подмножества значений данных (информационные гранулы) вместо кодирования отдельных точек данных, как в классических сверточных сетях. Предложенные гибридные слои обучаются без учителя и допускают параллельную реализацию алгоритмов обучения, что принципиально отличается от последовательных алгоритмов обратного распростра- нения. В результате вычислительная эффективность применения подобных гибридныхнейросетей может быть существенно повышена. Предлагаемый в работе теоретический подход к моделированию и оптимизации структур сетей глубокого обучения может быть распространен на широкий круг задач вычислительного интеллекта.