Найти
Результаты поиска
Найден один результат.
1 - 1 из 1 результатов
Актуальность данной работы определяется тем, что в специализированных предметных областях и малоресурсных языках получение достаточного числа примеров «текст-реферат» для эффективного решения задачи абстрактивной суммаризации текстов оказывается дорогостоящим и практически невыполнимым, тогда как современные модели глубокого обучения требуют крупных размеченных корпусов, а большие объемы неразмеченных текстов остаются неиспользуемыми. Цель исследования заключается в разработке нового метода обучения моделей абстрактивной суммаризации для малоресурсных (10-примерных и 100-примерных) режимов, обеспечивающего рост качества за счет дообучения модели на неразмеченных данных с использованием контрастивного обучения без учителя с аугментацией входа. Из задач исследования выделяются создание новой контрастивной функции потерь и проведение сравнения полученного подхода с существующими методами малоресурсной абстрактивной суммаризации. Методы и подходы включают новую функцию потерь для дообучения трансформера, включающую в себя контрастивную генеративную компоненту дифференцируемой аппроксимации метрики ROUGE-3. Предложены два варианта метода – последовательный «DiffROUGE-seq» и метод с частичным привлечением учителя «DiffROUGE-sim». В качестве базовой модели используется BART-large, а аугментации входа генерируются моделью FLAN-T5-large в 0-примерном режиме. Произведено сравнение на популярных выборках AESLC, Gigaword, XSum и Reddit. Предложенный метод показал заметное улучшение метрик ROUGE в успешных случаях в среднем на 2,69 для 10-примерного режима и в среднем на 2,13 для 100-примерного режима. Таким образом, новый предложенный метод малоресурсной абстрактивной суммаризации, использующий как размеченные, так и неразмеченные данные, заметно более эффективен по метрике ROUGE по сравнению с существующими подходами