Найти

Результаты поиска

• АЛЬТЕРНАТИВНЫЕ ПОДХОДЫ К МАСШТАБИРОВАНИЮ NLP МОДЕЛЕЙ: АНАЛИЗ ПОДХОДОВ К ОПТИМИЗАЦИИ ОБЪЕМА ДАННЫХ И ВЫЧИСЛЕНИЙ ПРИ ОБУЧЕНИИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ

  К.И. Ралко , Н. Е. Сергеев

  152-172

  2026-07-07

  Аннотация ▼

  Основное внимание уделяется подходам преодоления системных ограничений парадигмы масштабирования больших языковых моделей (LLM), связанных с исчерпанием данных и экспоненциальным ростом вычислительных затрат. Обход таких ограничений позволяет разработать более эффективные подходы к созданию NLP-моделей без потери в качестве их работы. Целью данного исследования является сравнительный анализ эффективности стандартной трансформерной архитектуры (nanoGPT) и модели, оперирующей семантическими эмбеддингами (nanoSonar), для задач языкового моделирования в условиях ограниченных ресурсов. Работа с концептуальными эмбеддингами позволяет выявить более глубокие языковые закономерности и сократить объем требуемых данных для обучения, что значительно повышает эффективность моделирования. При проведении исследования использовался набор данных TinyStories, который включает короткие нарративы с четкой структурой. Перед реализацией моделей была проведена предобработка данных: для nanoGPT – токенизация методом BPE, для nanoSonar – преобразование текста в семантические эмбеддинги с помощью предобученной модели Sonar. Оценка моделей осуществлялась с использованием метрик функции потерь (loss) и перплексии (perplexity). Результаты исследования показали, что модель nanoSonar обеспечивает значительно более низкую перплексию (6,609 против 39,151 у nanoGPT), а также демонстрирует более устойчивую динамику обучения на поздних этапах. В работе представлен анализ современных подходов к оптимизации масштабирования (MoE, дистилляция, PEFT) и перспективных архитектур (LRM, SSM, RWKV), а также даны практические рекомендации по применению моделей, работающих в пространстве семантических эмбеддингов, для доменно-специфичных задач и систем с ограниченными вычислительными ресурсами. Результаты исследования могут быть полезны при разработке эффективных языковых моделей, сочетающих высокое качество генерации с экономичной архитектурой.

• МЕТОД НЕЙРОСЕТЕВОГО ИЗВЛЕЧЕНИЯ ПРИЧИННО-СЛЕДСТВЕННЫХ СВЯЗЕЙ НА ОСНОВЕ СРАВНИТЕЛЬНОГО АНАЛИЗА СИНТЕТИЧЕСКИХ И ОТКРЫТЫХ КОРПУСОВ

  А.Н. Целых , И. А. Валухов

  160-169

  2026-09-10

  Аннотация ▼

  Задача автоматического извлечения причинно-следственных связей (ПСС) критически важна для систем поддержки решений, но ее развитие сдерживается дефицитом размеченных корпусов. Цель исследования – сравнительный анализ эффективности трёх типов обучающих данных: открытых экспертных корпусов, реального политического корпуса с ручной разметкой и синтетических данных, генерируемых большой языковой моделью. Эксперименты выполнены на архитектуре DistilBERT с пословной разметкой по схеме BIOES. Синтетические данные генерировались LLM Llama-3 с инкапсуляцией причин и следствий в XML-маркеры и последующей детерминированной конвертацией в формат BIOES. Для сравнения использованы два экспертных корпуса (EventStoryLine, SemEval-2010 Task 8), экспертно размеченный политический корпус PolitiCAUSE и синтетическая выборка объёмом 1100 сбалансированных примеров. Модель, обученная на синтетических данных, достигла Macro F1 = 0,736, что на 6,7% выше результата модели, обученной на экспертных корпусах (0,690). Обучение на политическом корпусе PolitiCAUSE (24417 примеров) дало существенно более низкий результат - Macro F1 = 0,367. Данное расхождение обусловлено дисбалансом классов (около 15% каузальных токенов против 50% в синтетической выборке) и различием в постановке задачи: PolitiCAUSE ориентирован на бинарную классификацию наличия каузальности в предложении, тогда как в настоящей работе выполняется разметка спанов.  Подтверждена гипотеза о приоритете качества и баланса аннотаций над объёмом данных. Предложенный пайплайн LLM-генерации позволяет создавать обучающие выборки, превосходящие по эффективности экспертные корпуса, при отсутствии прямых затрат на ручную аннотацию. Метод рекомендован для быстрого развёртывания систем извлечения каузальных отношений в новых предметных областях

• МАЛОРЕСУРСНАЯ АБСТРАКТИВНАЯ СУММАРИЗАЦИЯ ТЕКСТОВ С ИСПОЛЬЗОВАНИЕМ КОНТРАСТИВНОГО ОБУЧЕНИЯ БЕЗ УЧИТЕЛЯ И ROUGE-ОРИЕНТИРОВАННОЙ ФУНКЦИИ ПОТЕРЬ

  И. Е. Лысенко

  91-101

  2026-09-10

  Аннотация ▼

  Актуальность данной работы определяется тем, что в специализированных предметных областях и малоресурсных языках получение достаточного числа примеров «текст-реферат» для эффективного решения задачи абстрактивной суммаризации текстов оказывается дорогостоящим и практически невыполнимым, тогда как современные модели глубокого обучения требуют крупных размеченных корпусов, а большие объемы неразмеченных текстов остаются неиспользуемыми. Цель исследования заключается в разработке нового метода обучения моделей абстрактивной суммаризации для малоресурсных (10-примерных и 100-примерных) режимов, обеспечивающего рост качества за счет дообучения модели на неразмеченных данных с использованием контрастивного обучения без учителя с аугментацией входа. Из задач исследования выделяются создание новой контрастивной функции потерь и проведение сравнения полученного подхода с существующими методами малоресурсной абстрактивной суммаризации. Методы и подходы включают новую функцию потерь для дообучения трансформера, включающую в себя контрастивную генеративную компоненту дифференцируемой аппроксимации метрики ROUGE-3. Предложены два варианта метода – последовательный «DiffROUGE-seq» и метод с частичным привлечением учителя «DiffROUGE-sim». В качестве базовой модели используется BART-large, а аугментации входа генерируются моделью FLAN-T5-large в 0-примерном режиме. Произведено сравнение на популярных выборках AESLC, Gigaword, XSum и Reddit. Предложенный метод показал заметное улучшение метрик ROUGE в успешных случаях в среднем на 2,69 для 10-примерного режима и в среднем на 2,13 для 100-примерного режима. Таким образом, новый предложенный метод малоресурсной абстрактивной суммаризации, использующий как размеченные, так и неразмеченные данные, заметно более эффективен по метрике ROUGE по сравнению с существующими подходами

• РАЗРАБОТКА МЕТОДИКИ РАСЧЕТА ТРАНСФОРМАТОРА СИСТЕМЫ БЕСКОНТАКТНОГО ЗАРЯДА АККУМУЛЯТОРНЫХ БАТАРЕЙ АНПА

  В.А. Герасимов, А. В. Комлев, А. Ю. Филоженко

  2020-07-10

  Аннотация ▼

  Способ бесконтактной подводной передачи электроэнергии на автономный необи-таемый подводный аппарат (АНПА) для заряда его аккумуляторных батарей (АБ) практи-чески не имеет альтернативы при организации подводного базирования аппарата. В по-добной системе применяется трансформатор с разделяющимися первичной и вторичной частями, которые разделены конструктивным немагнитным зазором, определяемым сум-марной толщиной стыковочных стенок. Конструктивные и электромагнитные характе-ристики трансформатора в значительной степени влияют на общую эффективность системы при выполнении главной задачи – заряд АБ за выделенное время. Наличие немаг-нитного зазора требует специальной методики расчета, для которой исходными данными должны быть, наряду с параметрами процесса заряда АБ, еще также значения ошибок позиционирования АНПА при подводном причаливании к базе. В качестве задачи исследова-ния в работе поставлено обоснование и разработка методики расчета конструктивных параметров трансформатора, удовлетворяющего заданным условиям эксплуатации. В основу исследований положено математическое моделирование электромагнитных про-цессов в трансформаторе в программном пакете ANSYS Maxwell в сочетании с натурным экспериментом. Выделены характеризующие параметры в виде коэффициента магнитной связи и относительной магнитной проницаемости обмотки и обосновано их применение для полной идентификации свойств исследуемого трансформатора. Предложена система относительных единиц, в которой характеризующие параметры имеют постоянное зна-чение для сердечников, связанных определенными геометрическими соотношениями, что позволяет легко выполнять масштабирование результатов полученных технических реше-ний при изменении требований по передаваемой электрической мощности. В результате исследований предложена методика расчета основных конструктивных параметров трансформаторов. Исходные данные в расчете принимаются в виде сочетания требуемых электрических характеристик трансформатора и его геометрических соотношений при выполнении предъявляемых ограничений по допустимой ошибке автоматического причали-вания подводного аппарата к средству подводного базирования. Полученные результаты распространяются на трансформаторы с чашечными ферритовыми сердечниками и на трансформаторы с сердечниками в виде плоских ферритовых экранов, позволяющих формировать магнитопроводы необходимых размеров и конфигураций. Результатом расчета является конструкция трансформатора с электрическими характеристиками, наилучшим образом удовлетворяющими условиям его применения. Экспериментальные натурные ис-следования убедительно подтверждают достоверность методики.