Найти

Результаты поиска

• АЛГОРИТМ ФИЛЬТРАЦИИ «ИНЪЕКЦИЙ ПОДСКАЗОК» ПРИ ИСПОЛЬЗОВАНИИ ПРОСТРАНСТВЕННОЙ ИНФОРМАЦИИ

  С.Л. Беляков , Л.А. Израилев , О.Н. Покусаев

  32-45

  2026-07-07

  Аннотация ▼

  Интеграция больших языковых моделей (LLM) в геоинформационные системы (ГИС) открывает новые возможности для пространственного анализа, однако сопровождается специфическими уязвимостями типа «инъекция подсказок» (промпт-инъекции). Такие атаки позволяют злоумышленникам обходить защитные механизмы LLM, манипулировать выдачей, получать доступ к конфиденциальной информации и нарушать целостность данных. Использование пространства позволяет обратиться к объекту не напрямую, а через его пространственные отношения с другими объектами. Существующие методы фильтрации по ключевым словам или шаблонам не обеспечивают надёжной защиты из-за постоянного появления новых сценариев атак. Это определяет актуальность разработки адаптивных, самообучающихся алгоритмов фильтрации запросов на предмет промт-инъекций к большим языковым моделям. Целью исследования является разработка алгоритма фильтрации промпт-инъекций для LLM, на основе метода прецедентного анализа (Case-Based Reasoning, CBR). В работе предлагается алгоритм сравнения запросов к LLM с базой ранее известных промт-инъекций. Проведенный эксперимент показал, что по мере накопления базы прецедентов точность выявления промпт-инъекций возрастает с 42% до 83%. При этом время обработки одного запроса увеличивается незначительно (с 0,18 до 0,19 секунд при росте базы на 23%). Также были предложены подходы к обобщению базы прецедентов и самоанализу базы прецедентов. Предложенный алгоритм позволяет повысить защищённость систем с
  LLM-интерфейсом от промпт-инъекций за счёт адаптивности и самообучения. Практическая значимость заключается в возможности внедрения разработанного фильтра в информационные системы для предотвращения утечек и манипуляций с пространственными данными. Дальнейшие исследования связаны с развитием методов автоматического обобщения прецедентов и интеграцией дополнительных контекстных анализаторов.

• МЕТОД УПРАВЛЕНИЯ МОБИЛЬНЫМ РОБОТОМ С ИСПОЛЬЗОВАНИЕМ СЕМАНТИКИ ЕСТЕСТВЕННОГО ЯЗЫКА

  Д.С. Кобзарь, В.Д. Матвеев , Я.Д. Лапкин , Р.Р. Богданов , А. С. Изюмов

  2026-04-29

  Аннотация ▼

  Реализовать управление роботами можно большим количеством различных интерфейсов – от традиционных пультов до технологий дополненной реальности. Однако у всех подобных интерфейсов существует ряд ограничений, особенно остро возникающих в сервисной робототехнике. Они связаны с длительным обучением человека-оператора, не интуитивным для человека управлением и необходимостью полного вовлечения человека. С другой стороны, сегодня появилась новое направление, связанное с большими языковыми моделями, которые способны обрабатывать естественный язык с последующим его переводом в команды управления роботом. Существует ряд работ, демонстрирующих возможность использования языковых моделей в задачах планирования действий робота. На основе анализа существующих работ предложен новый метод управления мобильным роботом, объединяющий преимущества других методов. Метод позволяет планировать сценарии для робота, получая на вход миссию от человека на естественном языке, ТОП робота и информацию с его датчиков. В статье также описана последовательность настройки системы с использованием большой языковой модели для решения данной задачи – представлено три варианта инструкции для нейронной сети, поэтапно улучшающих достижимость формируемых сценариев. После этого описаны различные миссии, которые задаются в рамках экспериментальных исследований настоящей работы – всего проверялось 100 миссий, разделенных на 4 уровня сложности в равном соотношении. Сложность миссий варьировалась от описания объектов в поле зрения робота до взаимодействия со сложно заданными миссиями, включающими синонимы объектов и неявно заданные цели. В завершении работы представлены результаты оценки алгоритма и трех вариантов инструкции. Выводом можно считать, что использование языковых моделей для задания сценариев роботам возможно, в том числе с достаточно высокой достижимостью. Модель с наиболее продвинутой инструкцией достигла 91 % правильно сформированных сценариев, что позволяет говорить о применимости разработанного метода для управления мобильным роботом на естественном язык

• ОБЗОР МЕТОДОВ УЛУЧШЕНИЯ РАССУЖДЕНИЙ В БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЯХ

  В.Б. Савинов , Н.Н. Шушарина

  2026-02-27

  Аннотация ▼

  Появление больших языковых моделей стало важным этапом в области обработки естественного языка, поскольку такие модели демонстрируют впечатляющие результаты в генерации, трансформации и анализе текстов, а также в решении широкого спектра прикладных задач. Однако, несмотря на значительные успехи успехи практического применения, большие языковые модели обладают ограниченными способностями к рассуждению. Эти ограничения проявляются в трудностях обобщения знаний за пределами обучающего распределения, проблемах переноса знаний в новые контексты, а также в снижении точности выполнения многошаговых логических и математических операций. Целью данной работы является изучение методов повышения способности больших языковых моделей к рассуждению, где под рассуждением понимается процесс формирования и оценки выводов из существующей информации. В работе рассматриваются основные типы рассуждений, релевантные для больших языковых моделей: математическое, логическое и рассуждение на основе здравого смысла. Приводится список наиболее часто используемых контрольных тестов, применяемых для оценки качества рассуждений языковых моделей. Проводится обзор методов улучшения рассуждений, применяемых в больших языковых моделях на 2025 год.
  В зависимости от этапа применения (на этапе обучения или на этапе использования языковой модели) - рассматриваются подходы к подготовке данных для обучения, изменения в архитектуре языковых моделей, процедуры обучения и дообучения моделей (в том числе с использованием специально подготовленных синтетических наборах данных), обучение с подкреплением, различные варианты построения смысловых цепочек, механизмы интеграции внешних инструментов и многоагентный подход. Также рассматриваются существующие ограничения больших языковых моделей, которые проявляются в отсутствии понимания концепций, плохой обобщающей способности вне распределения обучающих данных и снижении эффективности при росте сложности задач. Выделяются наиболее перспективные методы, направленные на повышение качества и надежности рассуждений больших языковых моделей

• РАЗРАБОТКА МЕТОДИКИ ИНТЕГРАЦИИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ В ПРОЦЕССЫ ЦЕНТРА МОНИТОРИНГА ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ

  В. А. Частикова , А. С. Бахтин , П.А. Меркулов

  57-69

  2025-10-01

  Аннотация ▼

  Показана важность интеграции больших языковых моделей (БЯМ) в процессы центров мониторинга информационной безопасности (SOC) для повышения их эффективности в условиях растущих киберугроз. Цель исследования – разработка методики интеграции БЯМ в SOC, направленной на автоматизацию процессов анализа данных и реагирования на инциденты. Задачи исследования включают теоретическое обоснование и разработку платформы для безопасного внедрения БЯМ, а также оценку существующих процессов и технической инфраструктуры SOC. В статье анализируются ключевые метрики эффективности работы SOC, такие как среднее время обнаружения инцидента и количество нерешенных инцидентов, и предлагается использование подхода GQM (Goal-Question-Metric) для разработки этих метрик. Рассматривается также необходимость оценки рисков, связанных с использованием БЯМ, с учетом уязвимостей и угроз, а также методов их минимизации, включая использование списка критических уязвимостей от OWASP. В статье предложены основные этапы разработки и внедрения системы, включая инвентаризацию существующих ресурсов, анализ сложности интеграции и развертывание системы. Рассматриваются ключевые аспекты, такие как оценка сложности интеграции, эксплуатационные и поддерживающие факторы, а также оценка рисков, связанных с внедрением новых технологий в инфраструктуру SOC. В заключение подчеркивается актуальность использования БЯМ для улучшения оперативности и качества работы SOC, что способствует повышению уровня информационной безопасности и ускорению реакции на киберугрозы. Внедрение таких технологий позволит SOC не только быстрее реагировать на инциденты, но и повысить точность анализа данных, снижая риски, связанные с человеческим фактором