ДВУХЭТАПНЫЙ БУСТИНГ БИНАРНОЙ КЛАССИФИКАЦИИ НА ОСНОВЕ ПРИМЕНЕНИЯ БИОИНСПИРИРОВАННЫХ АЛГОРИТМОВ

  • Д. В. Балабанов Южный Федеральный Университет
  • А. В. Ковтун Южный Федеральный Университет
  • Ю. А. Кравченко Южный Федеральный Университет
Ключевые слова: Классификация, бинарная классификация, биоинспирированные методы, метод опорных векторов, бустинг, алгоритм роя частиц

Аннотация

В процессе решения широкого круга прикладных задач возникает необходимость де-
композиции объектов. Как следствие, проблема классификации является актуальной про-
блемой в современных системах интеллектуального анализа данных. Бинарная классифи-
кация является одной из важнейших задач, и имеет целый ряд нерешенных проблем. Одной
из таких проблем является эффективность автоматизированной классификации. В зада-
чах автоматизированной классификации, актуально применение алгоритмического аппа-
рата эволюционных вычислений. Таким образом целесообразно применение генетических и
биоинспирированных алгоритмов, в задаче поиска оптимальных значений параметров
классификатора. Для решения данной задачи предлагается применить алгоритм роя час-
тиц(PSO). Данный алгоритм в контексте задачи поиска субоптимальных значений пара-
метров классификатора способен обеспечить высокое качество классификации. Модифи-
кацией алгоритма является динамическое изменение значений координат, которые отве-
чают за тип функции ядра. Данная доработка позволяет значительно снизить затрачи-
ваемое время разработки классификатора. Для повышения эффективности классификации
целесообразно применять ансамбли алгоритмов. В работе приведена структура двухуров-
невого классификатора. На первом уровне данного классификатора, формируется ан-
самбль простых классификаторов которые формируют учебную выборку, которая, в даль-
нейшем используется алгоритмом роя частиц на втором этапе. Такой подход позволяет
значительно уменьшить временные затраты, а также повысить качество получаемых
решений. Алгоритм роя частиц(PSO), в контексте задачи поиска субоптимальных значе-
ний параметров классификатора способен обеспечить высокое качество классификации.
Предложенный двухуровневый алгоритм был экспериментально протестирован. Произве-
дено сравнение с аналогами, приведены сравнительные диаграммы. Описанные исследова-
ния показывают, что работа имеет высокую теоретическую значимость, а проведенные
экспериментальные исследования доказывают высокую практическую значимость.

Литература

1. Vorontsov, K.V. Obzor sovremennykh issledovaniy po probleme kachestva obucheniya
algoritmov [Review of modern research on the problem of the quality of learning algorithms],
Tavricheskiy vestnik informatiki i matematiki [Tauride Bulletin of Informatics and mathematics],
2004, No. 1, pp. 5-24.
2. Kureychik V.M., Kureychik V.V., Rodzin S.I., Gladkov L.A. Osnovy teorii evolyutsionnykh
vychisleniy [Fundamentals of the theory of evolutionary computing]. Rostov-on-Don: YuFU, 2010.
3. Karpenko A.P. Populyarnye algoritmy global'noy poiskovoy optimizatsii. Obzor novykh i
maloizvestnykh algoritmov [Popular algorithms for global search engine optimization. Review
of new and little-known algorithms], Informatsionnye tekhnologii [Information technologies],
2012, No. 7 (Appendix), pp. 1-32.
4. Rodzin S.I., Kureychik V.V. Sostoyanie, problemy i perspektivy razvitiya bioevristik [State, problems
and prospects for the development of bioheuristics], Programmnye sistemy i vychislitel'nye
metody [Software systems and computational methods], 2016, No. 2, pp. 158-172.
5. Kureychik V.M., Zaporozhets D.Yu. Roevoy algoritm v zadachakh optimizatsii [Swarm algorithm
in optimization problems], Izvestiya YuFU. Tekhnicheskie nauki [Izvestiya SFedU. Engineering
Sciences], 2010, No. 7 (108), pp. 28-32.
6. Gladkov L.A., Kureychik V.V., Kureychik V.M. Geneticheskie algoritmy [Genetic algorithms].
Moscow: Fizmatlit, 2010, 368 p.
7. Karpenko A.P. Sovremennye algoritmy poiskovoy optimizatsii. Algoritmy, vdokhnovlennye
prirodoy: ucheb. posobie [Modern search optimization algorithms. Algorithms inspired by nature:
tutorial]. Moscow: Izd-vo MGTU im. N.E. Baumana, 2014, 446 p.
8. Clarke, B., Fokoue E., Zhang H.H. Principles and Theory for Data Mining and Machine
Learning. Springer Science, LLC, 2009, 781 p.
9. Graf H.P., Cosatto E., Bottou L., Durdanovic I., Vapnik V. Parallel Support Vector Machines:
The Cascade SVM, Advances in Neural Information Processing Systems, 2004, Vol. 17,
pp. 521-528.
10. Priyadarshini A., Agarwal S. A Map Reduce based Support Vector Machine for Big Data
Classification, International Journal of Database Theory and Application, 2015, Vol. 8, No. 5,
pp. 77-98.
11. Demidova L., Sokolova Yu. A Novel SVM-kNN Technique for Data Classification, 6-th Mediterranean
Conference on Embedded Computing (MECO’ 2017), 2017, pp. 459-462.
12. Zhang H., Berg A.C., Maire M., Malik J. SVM-KNN: Discriminative Nearest Neighbor Classification
for Visual Category Recognition, Proceedings, 2006 IEEE Computer Society Conference
on Computer Vision and Pattern Recognition, 2016, Vol. 2, pp. 2126-2136.
13. Vorontsov K.V. Kombinatornye otsenki kachestva obucheniya po pretsedentam [Combinatorial
evaluations of the quality of training based on precedents], Dokl. RAN [Reports of the Russian
Academy of Sciences], 2004, Vol. 394, No. 2, pp. 175-178.
14. D'yakonov A.G. Analiz dannykh, obuchenie po pretsedentam, logicheskie igry, sistemy
WEKA, RapidMiner i MatLab (Praktikum na EVM kafedry matematicheskikh metodov
prognozirovaniya): ucheb. posobie [Data analysis, case studies, logic games, WEKA,
RapidMiner and MatLab systems (computer Workshop of the Department of mathematical
forecasting methods): textbook]. Moscow: Izdatel'skiy otdel fakul'teta VMK MGU im.
M.V. Lomonosova, 2010, 278 p.
15. Lean Yu, Shouyang Wang, Kin Keung Lai, Ligang Zhou. Bio-Inspired Credit Risk Analysis.
Computational Intelligence with Support Vector Machines. Springer-Verlag Berlin Heidelberg,
2008, 244 p.
16. V'yugin V.V. Matematicheskie metody teorii mashinnogo obucheniya i prognozirovaniya:
ucheb. posobie [Mathematical methods of the theory of machine learning and forecasting:
textbook]. Moscow: MFTI, 2013, 379 p.
17. Demidova L.A., Sokolova Yu.S. Aspekty primeneniya algoritma roya chastits v zadache
razrabotki SVM-klassifikatora [Aspects of applying the particle swarm algorithm to the problem
of developing an SVM classifier], Vestnik Ryazanskogo gosudarstvennogo
radiotekhnicheskogo universiteta [Bulletin of the Ryazan state radio engineering University],
2015, No. 3 (53), pp. 84-92.
18. Duggal P.S., Paul S., Tiwari P. Analytics for the Quality of Fertility Data using Particle
Swarm Optimization, International Journal of Bio-Science and Bio-Technology, 2015, Vol. 7,
No. 1, pp. 39-50.
19. Kureychik V.V., Kureychik V.M., Sorokoletov P.V. Analiz i obzor modeley evolyutsii [Analysis
and review of evolution models], Izvestiya Rossiyskoy akademii nauk. Teoriya i sistemy
upravleniya [Proceedings of the Russian Academy of Sciences. Theory and control systems],
2007, No. 5, pp. 114-126.
20. Chapelle O., Vapnik V., Bousquet O., Mukherjee S. Choosing Multiple Parameters for Support
Vector Machine, Machine Learning, 2002, Vol. 46, pp. 131-159.
Опубликован
2020-10-11
Выпуск
Раздел
РАЗДЕЛ III. МАШИННОЕ ОБУЧЕНИЕ И НЕЙРОННЫЕ СЕТИ