АЛГОРИТМ ФИЛЬТРАЦИИ «ИНЪЕКЦИЙ ПОДСКАЗОК» ПРИ ИСПОЛЬЗОВАНИИ ПРОСТРАНСТВЕННОЙ ИНФОРМАЦИИ

Аннотация

Интеграция больших языковых моделей (LLM) в геоинформационные системы (ГИС) открывает новые возможности для пространственного анализа, однако сопровождается специфическими уязвимостями типа «инъекция подсказок» (промпт-инъекции). Такие атаки позволяют злоумышленникам обходить защитные механизмы LLM, манипулировать выдачей, получать доступ к конфиденциальной информации и нарушать целостность данных. Использование пространства позволяет обратиться к объекту не напрямую, а через его пространственные отношения с другими объектами. Существующие методы фильтрации по ключевым словам или шаблонам не обеспечивают надёжной защиты из-за постоянного появления новых сценариев атак. Это определяет актуальность разработки адаптивных, самообучающихся алгоритмов фильтрации запросов на предмет промт-инъекций к большим языковым моделям. Целью исследования является разработка алгоритма фильтрации промпт-инъекций для LLM, на основе метода прецедентного анализа (Case-Based Reasoning, CBR). В работе предлагается алгоритм сравнения запросов к LLM с базой ранее известных промт-инъекций. Проведенный эксперимент показал, что по мере накопления базы прецедентов точность выявления промпт-инъекций возрастает с 42% до 83%. При этом время обработки одного запроса увеличивается незначительно (с 0,18 до 0,19 секунд при росте базы на 23%). Также были предложены подходы к обобщению базы прецедентов и самоанализу базы прецедентов. Предложенный алгоритм позволяет повысить защищённость систем с LLM-интерфейсом от промпт-инъекций за счёт адаптивности и самообучения. Практическая значимость заключается в возможности внедрения разработанного фильтра в информационные системы для предотвращения утечек и манипуляций с пространственными данными. Дальнейшие исследования связаны с развитием методов автоматического обобщения прецедентов и интеграцией дополнительных контекстных анализаторов.