НОВАЯ МЕТРИКА ВОСПРОИЗВОДИМОСТИ ДЛЯ СРАВНЕНИЯ КЛАССИФИКАТОРОВ ВРЕМЕННЫХ РЯДОВ
Аннотация
Воспроизводимость результатов экспериментов является критическим аспектом современного машинного обучения, однако выбор случайного инициализирующего сида существенно влияет на итоговое качество моделей, что создает проблему корректного сравнения различных архитектур и методов. Цель исследования заключалась в оценке влияния выбора случайного сида на результаты классификации временных рядов сверточными нейросетями и в разработке корректного способа сравнения моделей. Задачи включали измерение разброса метрик при множественных повторных запусках в рамках варьирующихся инициализаций, проверку нормальности распределений, введение метаметрики воспроизводимости RM и подбор ее параметра λ, а также проверку переносимости подхода на альтернативных архитектурах. Проведены эксперименты с двумя одномерными архитектурами (FCN, ResNet) сверточных нейронных сетей на семи открытых наборах данных временных рядов разной природы. Для каждой пары модель–датасет выполнено по 55 независимых запусков с фиксацией источников случайности и идентичными настройками обучения в PyTorch. Статистический анализ включал критерии Шапиро Уилка и Андерсона Дарлинга. Показано, что распределения аккуратности чаще всего не соответствуют нормальному закону, поэтому интервальные оценки, основанные на нормальности, некорректны. Варьирование сида приводит к различиям аккуратности до 12 процентных пунктов, причем величина разброса зависит от датасета и архитектуры. Предложенная метрика воспроизводимости (RM), штрафующая за дисперсию, при малом числе запусков на различных инициализирующих значениях приближает нижнюю наблюдаемую границу, при большом числе стремится к среднему. Предложенная RM позволяет сравнивать модели с учетом случайных “удачных” и “неудачных” инициализаций и ранжировать модели по устойчивости, задает стандарт отчетности, повышающий воспроизводимость экспериментов и надежность выводов. Эмпирическая проверка на архитектуре DenseNet подтвердила, что RM адекватно реагирует как на стабильные, так и на нестабильные наборы. Методика легко переносится на новые датасеты и архитектуры. Предложенная метрика может быть использована для стандартизации отчётности и повышения воспроизводимости исследований.
Список литературы
1. Glorot X., Bengio Y. Understanding the difficulty of training deep feedforward neural networks, Pro-ceedings of the thirteenth international conference on artificial intelligence and statistics: JMLR Work-shop and Conference Proceedings, 2010, pp. 249-256.
2. Fellicious C., Weissgerber T., Granitzer M. Effects of random seeds on the accuracy of convolutional neural networks, International Conference on Machine Learning, Optimization, and Data Science. Cham: Springer International Publishing, 2020, pp. 93-102.
3. Krizhevsky A. et al. Learning multiple layers of features from tiny images, 2009.
4. Hu M. Y. et al. Latent state models of training dynamics, arXiv preprint arXiv:2308.09543, 2023.
5. Picard D. Torch. manual_seed (3407) is all you need: On the influence of random seeds in deep learning architectures for computer vision, arXiv preprint arXiv:2109.08203, 2021.
6. Krizhevsky A. et al. Learning multiple layers of features from tiny images, 2009.
7. Deng J. et al. Imagenet: A large-scale hierarchical image database, 2009 IEEE conference on computer vision and pattern recognition. Ieee, 2009, pp. 248-255.
8. Touvron H. et al. Augmenting convolutional networks with attention-based aggregation, arXiv preprint arXiv:2112.13692, 2021.
9. Guo Z. et al. A grey-box attack against latent diffusion model-based image editing by posterior collapse, arXiv preprint arXiv:2408.10901, 2024.
10. Picard D. Torch. manual_seed (3407) is all you need: On the influence of random seeds in deep learning architectures for computer vision, arXiv preprint arXiv:2109.08203, 2021.
11. Singhal V. et al. BANKSY unifies cell typing and tissue domain segmentation for scalable spatial omics data analysis, Nature genetics, 2024, Vol. 56. No. 3, pp. 431-441.
12. Chen S. et al. Diffusiondet: Diffusion model for object detection, Proceedings of the IEEE/CVF interna-tional conference on computer vision, 2023, pp. 19830-19843.
13. Wightman R., Touvron H., Jégou H. Resnet strikes back: An improved training procedure in timm //arXiv preprint arXiv:2110.00476. – 2021.
14. Åkesson J., Töger J., Heiberg E. Random effects during training: Implications for deep learning-based medical image segmentation, Computers in Biology and Medicine, 2024, Vol. 180, pp. 108944.
15. Karthik S. et al. If at first you don't succeed, try, try again: Faithful diffusion-based text-to-image genera-tion by selection, arXiv preprint arXiv:2305.13308, 2023.
16. Touvron H. et al. Augmenting convolutional networks with attention-based aggregation, arXiv preprint arXiv:2112.13692, 2021.
17. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation, Proceedings of the IEEE conference on computer vision and pattern recognition, 2015, pp. 3431-3440.
18. Wang Z., Yan W., Oates T. Time series classification from scratch with deep neural networks: A strong baseline, 2017 International joint conference on neural networks (IJCNN). IEEE, 2017, pp. 1578-1585.
19. He K. et al. Deep residual learning for image recognition, Proceedings of the IEEE conference on com-puter vision and pattern recognition, 2016, pp. 770-778.
20. Huang G. et al. Densely connected convolutional networks, Proceedings of the IEEE conference on computer vision and pattern recognition, 2017, pp. 4700-4708
