Найти

Результаты поиска

• О ТОЧНОСТИ И ТРУДОЕМКОСТИ МНОГОЭТАПНОГО МЕТОДА КОРРЕКЦИИ ИСКАЖЕННЫХ ТЕКСТОВ В ЗАВИСИМОСТИ ОТ СТЕПЕНИ ИСКАЖЕНИЯ

  Д.В. Вахлаков , В. А. Пересыпкин , А.В. Германович , С.Ю. Мельников , Н.Н. Цопкало

  130-142

  2021-10-05

  Аннотация ▼

  Одним из основных факторов, существенно затрудняющих понимание, перевод и
  анализ текстов, полученных при автоматическом распознавании речи или изображений
  текстов, являются содержащиеся в них искажения в виде ошибочных символов, слов и
  словосочетаний. До недавнего времени не существовало эффективных программных
  средств коррекции текстов со значительными искажениями, хотя эта задача является
  актуальной как для русского, так и для других распространенных языков в условиях актив-
  ного использования систем распознавания в перспективных системах дополненной реаль-
  ности. Авторами был предложен новый многоэтапный метод коррекции искаженных тек-
  стов, значимо повышающий точность коррекции (количество правильно скорректирован-
  ных слов в тексте) и основанный на последовательном определении ошибок и их исправле-
  нии. В настоящей работе оцениваются точность и трудоемкость предложенного метода
  коррекции искаженных текстов при различных уровнях искажений, определяется его ме-
  сто среди других современных подходов к коррекции. Наиболее характерными ошибками
  систем распознавания являются: – замена слова на похожее по звучанию или графическому
  написанию; – замена нескольких слов на одно; – замена одного слова несколькими; – про-
  пуск слов; – вставка или удаление коротких слов (в т.ч. предлогов и союзов). В результате
  распознавания получается текст, имеющий искажения и состоящий, в основном, из сло-
  варных слов, в том числе и в местах искажений. При большом количестве искажений тек-
  сты становятся практически нечитаемыми. В связи с тем, что подобрать в необходимом
  количестве тексты с широким диапазоном уровней искажений по результатам реального
  машинного распознавания речи и изображений текстов представляется проблематичным,
  использовалось программное моделирование искажений. Предложена и программно реали-
  зована методика искажений текста, моделирующая результаты работы систем распо-
  знавания в широком диапазоне искажений, в необходимом количестве подготовлены иска-
  женные тексты. При работе предложенного многоэтапного метода коррекции искажен-
  ными считаются несловарные словоформы и словоформы, вероятность появления кото-
  рых в тексте в соответствии с выбранной вероятностной моделью текста меньше за-
  данного порога. Для них строится список возможных вариантов слов, в который попада-
  ют только те словоформы из словаря, которые находятся от исследуемого слова на опре-
  деленном расстоянии Левенштейна. Скорректированный текст из вариантов слов получа-
  ется в результате поиска наиболее вероятной цепочки словоформ. Метод коррекции со-
  стоит из нескольких этапов, на каждом этапе корректируются лишь те фрагменты тек-
  ста, которые остались искаженными после предыдущего этапа коррекции. По результа-
  там проведенных экспериментов по коррекции искаженных текстов сделан вывод, что
  предложенный метод коррекции показал хорошие результаты со средним значением
  1 F -меры >50 % в диапазоне искажений от 0 до 75 %. Эксперты-лингвисты подтвердили
  плодотворность предложенного подхода к коррекции и его предпочтительность по срав-
  нению с другими современными подходами, зафиксировав, что при количестве искажений <50 % скорректированный текст читается с гораздо меньшими усилиями, чем искаженный, а при количестве искажений до 70% слов скорректированный текст еще позволяет выделить полезную информацию о содержании текста