МЕТРИКИ ОЦЕНКИ АЛГОРИТМОВ АВТОМАТИЧЕСКОГО СОПРОВОЖДЕНИЯ
Аннотация
Работа посвящена обзору существующих метрик для оценки качества выполнения задачи сопровождения объектов на видео различными алгоритмами. При оценке алгоритмов сопро-вождения для последующего их сравнения недостаточно использовать одну метрику, а следует оценивать алгоритмы по набору различных независимых оценок. С этой целью было проведено исследование существующих метрик оценки алгоритмов, результаты которого приведены в статье. В обзоре участвует множество различных подходов к оценке алгоритмов. Например, подходы основанные на оценке определения центра объекта сопровождения, которые являют-ся одними из первых и популярных до сих пор метрик оценки алгоритмов сопровождения. К основным недостаткам таких подходов можно отнести сложность определения истинного центра объекта, а также интерпретация оценок при различных размерах объекта. Для устра-нения этих недостатков в статье вводится новая метрика: несмещенная (оконная) ошибка определения центра объекта, которая учитывает постоянную составляющую ошибки опреде-ления центра. К другим подходам можно отнести метрики, основанные на анализе коэффици-ента Жаккара. Так же в статье рассмотрены подходы, основанные на анализе сбоев сопровождения, в которых учитывается длина сопровождения и интенсивность отказов. Предложен новый метод оценки алгоритмов при потере визуального контакта с сопровождаемым объектом, учитывающий количество кадров в которых был потерян визуальный контакт с объек-том. В ходе исследования были рассмотрены подходы оценки алгоритмов одновременного сопровождения нескольких объектов. Были предложены интегральные метрики, задача которых получение комплексной оценки алгоритма сопровождения. Для формирования комплексной оценки желательно использование различных некоррелированных метрик. Комплексные оценки предоставляют возможность сравнивать алгоритмы между собой. В качестве комплексной оценки в статье предлагается использование метрики, объединяющей точность и устойчивость алгоритма. Как правило, в качестве метрики точности используется коэффициент Жаккара, однако для задач где точность сопровождения центра объекта является основопола-гающей, авторами предлагается использовать в качестве метрики точности несмещенную ошибку определения центра.
Литература
2. Godec M., Roth P., Bischof H. Hough-based tracking of nonrigid objects, ICCV. Barcelona: IEEE, 2011, pp. 81-88.
3. Wang D., Lu H., Yang M. Online object tracking with sparse prototypes, IEEE Image Procesing Conference, 2013, Vol. 22, No. 1, pp. 314-325.
4. Wu Y., Lim J., Yang M.-h. Online Object Tracking: A Benchmark, CVPR, 2013.
5. Everingham M., Gool L., Williams I., Winn J., Zisserman A. The Pascal Visual Object Classes (VOC) Challenge, IJCV, 2009, Vol. 88, No. 2, pp. 303-338.
6. Kristan M., Kovaˇciˇc S., Leonardis A., Pers J. A two-stage dynamic model for visual tracking, Transactions Systems Man Cybernetic Part B, 2010, Vol. 40, No. 6, pp. 1505-1520.
7. Khan Z., Balch T., Dellaert F MCMC-based particle filtering for tracking a variable number of interacting targets, IEEE Transactions Pattern Analysis, 2005, Vol. 27, pp. 1805-1819.
8. Kasturi R., Goldgof D., Soundararajan P., Manohar V., Garofolo J., Bowers R., Boonstra M., Korzhova V., Zhang J. Framework for performance evaluation of face, text, and vehicle detection and tracking in video: data, metrics, and protocol, TPAMI, 2009, Vol. 31, No. 2, pp. 319-326.
9. Ventsel' E.S., Ovcharov L.A. Teoriya veroyatnosti i ee inzhenernye prilozheniya: ucheb. posobie dlya vuzov [Probability theory and its engineering applications: a textbook for univer-sities]. 2nd ed. Moscow: Vyssh. shk., 2000, 480 p. 10. Yang M., Wu Y., Hua G. Context–aware visual tracking, IEEE transactions on pattern analysis and machine intelligence, 2006, No. 31, pp. 1195-1209. 11. Stauffer C., Grimson W. Learning patterns of activity using real–time tracking // IEEE Trans-actions on Pattern Analysis and Machine Intelligence. – 2000. – P. 747-757. 12. Sundaresan A., Chellappa R. Multi–camera tracking of articulated human motion using shape and motion cues, IEEE Transactions on Image Processing, 2009, pp. 2114-2126. 13. Smeulders A. M., Chu D., Cucchiara, S. Calderara, A., Shah M. Visual Tracking: an Experi-mental Survey, TPAMI, 2013, Vol. 21, No. 3, pp. 152-168. 14. Henriques F., Caseiro R., Martins P., Batista J. High-Speed Tracking with Kernelized Corre-lation Filters, TPAMI, 2014, Vol. 42, No. 5, pp. 345-362.
15. Frey J. Dueck D. Clustering by Passing Messages Between Data Points, Science Today, 2007, Vol. 315, pp. 972-976.
16. Smith K., Gatica-Perez D., Odobez J. Evaluating Multi-Object Tracking, CVPR Work, 2005, Vol. 3, IEEE, pp. 32-36.
17. Black J., Ellis T., Rosin P. A novel method for video tracking performance evaluation, VS-PETS, 2003, pp. 125-132.
18. Kao E., Daggett M., Hurley M. An information theoretic approach for tracker performance evaluation, CVPR, 2009, pp. 1523-1529.
19. Bashir F. Porikli F. Performance Evaluation of Object Detection and Tracking Systems, PETS, 2006, pp. 190-203. 20. Checka N., Wilson K., Rangarajan V., Darrell T. A probabilistic framework for multi-modal multi-person tracking, Proceedings of the IEEE Workshop on Multi-Object Tracking (WOMOT ’03), 2003, pp. 203-212.
20. Checka N., Wilson K., Rangarajan V., Darrell T. A probabilistic framework for multi-modal multi-person tracking, Proceedings of the IEEE Workshop on Multi-Object Tracking (WOMOT ’03), 2003, pp. 203-212.