МЕТОД НЕЙРОСЕТЕВОГО ИЗВЛЕЧЕНИЯ ПРИЧИННО-СЛЕДСТВЕННЫХ СВЯЗЕЙ НА ОСНОВЕ СРАВНИТЕЛЬНОГО АНАЛИЗА СИНТЕТИЧЕСКИХ И ОТКРЫТЫХ КОРПУСОВ
Аннотация
Задача автоматического извлечения причинно-следственных связей (ПСС) критически важна для систем поддержки решений, но ее развитие сдерживается дефицитом размеченных корпусов. Цель исследования – сравнительный анализ эффективности трёх типов обучающих данных: открытых экспертных корпусов, реального политического корпуса с ручной разметкой и синтетических данных, генерируемых большой языковой моделью. Эксперименты выполнены на архитектуре DistilBERT с пословной разметкой по схеме BIOES. Синтетические данные генерировались LLM Llama-3 с инкапсуляцией причин и следствий в XML-маркеры и последующей детерминированной конвертацией в формат BIOES. Для сравнения использованы два экспертных корпуса (EventStoryLine, SemEval-2010 Task 8), экспертно размеченный политический корпус PolitiCAUSE и синтетическая выборка объёмом 1100 сбалансированных примеров. Модель, обученная на синтетических данных, достигла Macro F1 = 0,736, что на 6,7% выше результата модели, обученной на экспертных корпусах (0,690). Обучение на политическом корпусе PolitiCAUSE (24417 примеров) дало существенно более низкий результат - Macro F1 = 0,367. Данное расхождение обусловлено дисбалансом классов (около 15% каузальных токенов против 50% в синтетической выборке) и различием в постановке задачи: PolitiCAUSE ориентирован на бинарную классификацию наличия каузальности в предложении, тогда как в настоящей работе выполняется разметка спанов. Подтверждена гипотеза о приоритете качества и баланса аннотаций над объёмом данных. Предложенный пайплайн LLM-генерации позволяет создавать обучающие выборки, превосходящие по эффективности экспертные корпуса, при отсутствии прямых затрат на ручную аннотацию. Метод рекомендован для быстрого развёртывания систем извлечения каузальных отношений в новых предметных областях
Список литературы
1. Cheng Q., Zeng Z., Hu X. et al. A Survey of Event Causality Identification: Taxonomy, Challenges, Assessment, and Prospects, ACM Computing Surveys, 2025, Vol. 58, No. 3, Art. 59. DOI: 10.1145/3698571.
2. Tan C., De Young I., Rosenfeld A. et al. Causal Reasoning in Natural Language Processing: A Survey, Transactions of the Association for Computational Linguistics, 2023, Vol. 11, pp. 1-25. DOI: 10.1162/tacl_a_00567.
3. Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Proceedings of NAACL-HLT, 2019, pp. 4171-4186. DOI: 10.18653/v1/N19-1423.
4. Sanh V., Debut L., Chaumond J., Wolf T. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter, arXiv preprint arXiv:1910.01108, 2019. DOI: 10.48550/arXiv.1910.01108.
5. Hendrickx I., Kim S.N., Kozareva Z. et al. SemEval-2010 Task 8: Multi-Way Classification of Semantic Relations Between Pairs of Nominals, Proceedings of the 5th International Workshop on Semantic Evaluation, 2010, pp. 33-38. DOI: 10.3115/1615957.1615963.
6. Tan F.A., Hürriyetoğlu A., Caselli T. et al. The Causal News Corpus: Annotating Causal Relations in Event Sentences from News, Proceedings of LREC, 2022, pp. 2298-2310. DOI: 10.18653/v1/2022.lrec-1.246.
7. Søgaard A., Ebert S., Bastings J., Filippova K. We need to talk about random splits, Proceedings of EACL, 2021, pp. 1823-1832. DOI: 10.18653/v1/2021.eacl-main.156.
8. Josifoski M., Sakota M., Peyrard M., West R. Exploiting Asymmetry for Synthetic Training Data Gener-ation: SynthIE and the Case of Information Extraction, Proceedings of EMNLP, 2023, pp. 1555-1574. DOI: 10.18653/v1/2023.emnlp-main.96.
9. Meta AI. The Llama 3 Herd of Models, arXiv preprint arXiv:2407.21783, 2024. DOI: 10.48550/arXiv.2407.21783.
10. Lample G., Ballesteros M., Subramanian S., Kawakami K., Dyer C. Neural Architectures for Named Entity Recognition, Proceedings of NAACL-HLT, 2016, pp. 260-270. DOI: 10.18653/v1/N16-1030.
11. Wei J., Zou K. EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classifica-tion Tasks, Proceedings of EMNLP, 2019, pp. 6382-6388. DOI: 10.18653/v1/D19-1670.
12. Anaby-Tavor A., Carmeli B., Goldbraich E. et al. Do Not Have Enough Data? Deep Learning to the Rescue!, Proceedings of AAAI, 2020, Vol. 34, No. 05, pp. 7383-7390. DOI: 10.1609/aaai.v34i05.6234.
13. Lugovskoy D.V. Metody mashinnogo obucheniya dlya analiza i klassifikatsii tekstov na estestvennom yazyke: dis. ... kand. fiz.-mat. nauk [Machine learning methods for analyzing and classifying natural lan-guage texts: cand. of phys. and math. sc. diss.]: 05.13.17. Saint Petersburg, 2022, 142 p.
14. Presnyakov M.V. Metody i algoritmy avtomaticheskogo izvlecheniya faktograficheskoy informatsii iz tekstov na estestvennom yazyke: dis. ... kand. tekhn. nauk [Methods and algorithms for automatically ex-tracting factual information from natural language texts: cand. ofeng. sc. diss.]: 05.13.11. Moscow, 2021, 165 p.
15. Meng Y., Li X., Zhang Y. et al. GenRES: Rethinking Evaluation for Generative Relation Extraction in the Era of Large Language Models, arXiv preprint arXiv:2310.04742, 2023. DOI: 10.48550/arXiv.2310.04742.
16. McCoy R.T., Pavlick E., Linzen T. Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference, Proceedings of ACL, 2019, pp. 3428-3448. DOI: 10.18653/v1/P19-1334.
17. Sang E.F., De Meulder F. Introduction to the CoNLL-2003 Shared Task: Language-Independent Named Entity Recognition, Proceedings of HLT-NAACL, 2003, pp. 142-147. DOI: 10.3115/1119176.1119195.
18. Powers D.M. Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation, arXiv preprint arXiv:2010.16061, 2020. DOI: 10.48550/arXiv.2010.16061.
19. Caselli T., Vossen P. The Event StoryLine Corpus: A New Benchmark for Causal and Temporal Rela-tion Extraction, Proceedings of the Workshop on Events and Stories in the News, 2017, pp. 77-86. DOI: 10.18653/v1/W17-2711.
20. Garcia Corral P., Bechara H., Zhang R., Jankin S. PolitiCause: An Annotation Scheme and Corpus for Causality in Political Texts, Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), 2024, pp. 12836-12845. Available at: https://aclanthology.org/2024.lrec-main.1124.
