Представлена полностью обучаемая система для решения задачи сопоставления двух изображений. Все основные элементы системы являются обучаемыми, т.е. их финальный вид соответствует целевому набору данных по которому проводилось обучение. Факт обучаемости системы, методы, используемые при обучении, и архитектура системы позволяют использовать систему для решения большого числа разнообразных задач компьютерного зрения. Система состоит из сверточной нейронной сети, служащей одновременно для выделения особых точек и их дескрипторов, а также обучаемого модуля сопоставления выделенных особых точек на основе их описания и взаимного расположения в наблюдаемой сцене. Используемая сверточная нейронная сеть обрабатывает полноразмерные изображения и вычисляет как местоположение точек интереса с пиксельной точностью, так и связанные с ними дескрипторы за один полный цикл вычислений. Сопоставление особых точек – отдельный шаг и выполняется после выполнения полного цикла вычислений нейронной сети, но на основе результатов этих вычислений. В процессе обучения модели вычисления положений особых точек и их дескрипторов используется метод формирования обучающей выборки, называемый гомографическая адаптация – подход, способствующий повышению повторяемости и точности обнаружения особых точек. Процесс обучения модели выделения особых точек заключается в получении новых весов в процессе дообучения базового детектора, представляющего инициализирующие веса модели. Финальная модель выделения особых точек, обученная на универсальном наборе изображений MS-COCO с использованием гомографической адаптации, многократно превосходит исходный базовый детектор по параметрам количества, надежности и повторяемости особых точек, а также превосходит любой другой традиционный детектор уголков основанный на классических подходах
Работа посвящена экспериментам с различными методами выделения особых точек на изображениях с последующим их описанием бинарным дескриптором и сопоставлением методом полного перебора. В работе активно используется метод описания окрестно- стей особых точек, основанный на построении бинарной строки, характеризующей изме- нения яркостей пикселей в описываемой окрестности. Результирующая строка получается путем сравнения яркостей пикселей по определенному шаблону. Сегодня использование особых точек при работе с изображениями позволяет разрабатывать прикладные мето- ды в различных сферах компьютерного зрения с повышенными требованиями ко времени работы и устойчивости к резким изменениям сцен. В работе приведены результаты экс- периментов с особыми точками различных классов, классификация приводится в разделе 1. При проведении экспериментов использовались методы, реализованные в библиотеке OpenCV. В работе даны краткие описания используемых в экспериментах методов. В раз- деле 1 работы предлагается классификация современных типов особых точек изображе- ний и дается краткое описание популярных методов детектирования описываемых типов особых точек. В разделе 2 авторы дают общее описание методов работы с особыми точ- ками изображений. В разделе 3 приводится описание проводимых экспериментов с сопос- тавлением особых точек различных типов, описанных одним дескриптором, и раскрыва- ются их результаты. Проведенные эксперименты позволяют выявить сильные и слабые стороны связок различных типов особых точек при их сопоставлении.
