Определение достоверности результатов распознавания символа в системе Cognitive Forms

Практическая реализация и исследование поведения различных правил определения достоверности Предложенные критерии были реализованы и исследованы в системе ввода структурированных документов Cognitive Forms. Для исследования эффективности критериев использовалась специально набранная из реальных документов размеченная база изображений рукопечатных символов цифр от 0 до 9, пример на рис 1 . Для вычисления использовалась база с равномерным распределением образов по классам в количестве 15000 изображений, контрольная база составляла 15000 изображений, при этом базы содержали как правильно распознанные символы, так и неверно распознанные символы, часть из которых относилось не к ошибкам распознавания, а к ошибкам других систем, например системы сегментации или сборки символа. Сначала проводилось обучение на обучающей выборке, после чего строилась ER кривая для каждого случая, при этом качество распознавания оставалось неизменным. Каждая ER кривая представляет в графическом виде зависимость числа (в процентах), от допустимого процента ошибок в системе Cognitive Forms, для каждого правила. Необходимо отметить, что замеренная ошибка ввода бланка квалифицированным оператором в системе без распознавания составляет 1% и более в зависимости от характера вводимой информации. Рис 1. Пример рукопечатных символов цифр от 0 до 9. Cначала замерим ER кривую для тривиального случая критерия «первой» альтернативы - , где пороговое значение – одно для всех классов, а каждая точка ER - это процент ошибок первого и второго рода при фиксированном пороге (см. рис. 2). Из графика видно, что правило обеспечивает приемлемый уровень ошибок первого рода (<5%) только начиная с 1.1% ошибок второго рода, и его эффективное применение ограничено системами, в которых допустимая погрешность ввода больше 1,1%. К таким системам относятся системы ввода статистической и регистрационной информации, для банковских, страховых и других систем, требующих высококачественной информации, это правило применимо, но низкоэффективно. Рис 2. Кривая ER для правила первой альтернативы. Теперь рассмотрим простейшее улучшение правила «первой» альтернативы, а именно зададим порог для каждого класса, т.е. , где . Теперь нам надо в 10-мерном пространстве порогов найти точки, обеспечивающие заданное качество ввода и обеспечивающие минимальное количество ошибок первого рода. Для этого необходимо решить следующую задачу: пусть имеется – мерное целочисленное пространство порогов и всюду определенные в этом пространстве функции – процент ошибок второго рода и – процент ошибок первого рода, , а – число классов. Теперь можно поставить задачу нахождения порогов в виде: , где процент ошибок. , где . , где , . Таким образом, мы свели задачу нахождения комбинации порогов к стандартной задаче условной оптимизации, решая которую для различных , мы получим соответствующие ER кривые порогов для каждого класса цифр. Для системы Cognitive Forms эта задача была решена комбинацией метода штрафных функций и метода сопряженных градиентов. Реальное число ошибок распознавания рукописных цифр колеблется от 0.2% на обучающей базе до 5% на искусственно сильно загрязненной базе, так что в качестве взяты точки интервала с шагом 0.1. На рис. 3а показаны кривые для каждого класса и видно, что они существенно различны для разных классов, а на рис 3б показана ER сводная кривая «первой» альтернативы и ER кривая «первой» альтернативы с единым порогом для сравнения. Из графика видно, что подход с поклассовым порогом обеспечивает более качественное и эффективное решение проблемы на интервале от 0.5 до 2 процентов, который, как уже упоминалось выше, является основным. Наиболее эффективный критерий в группе будет использоваться как отправная точка для сравнительного анализа эффективности других критериев, далее ER этого правила будем называть базовой кривой правила «первой» альтернативы. Рис. 3а. ER – кривые для отдельных классов по правилу «первой» альтернативы. Рис. 3. ER – кривые единого и поклассового порога правилу «первой» альтернативы. Перейдем к практическому построению и исследованию различных правил двух альтернатив, начав с тривиального случая и последовательно усложняя правила. На рис. 4, показано сравнительное поведение базовой ER кривой правила «первой» альтернативы и правила двух альтернатив для случая , . Из рисунка видно, что даже в простейшем случае правило двух альтернатив на разных интервалах дает различный результат, так на интервалах (0.5; 0.65) и (1.1; 1,85) базовое правило «первой» альтернативы эффективней, на интервале (0.65; 1.1) лучше тривиальное правило двух альтернатив, на интервале (1.85; 3.6) они дают одинаковый результат (с точностью до погрешности эксперимента). Таким образом, это правило двух альтернатив эффективней правил «первой» альтернативы в системах с качеством распознавания в интервале (0.9; 1.1), т.е. в части банковских, страховых и других системах требующих быстрого и эффективного ввода информации с высоким качеством информации, примерами таких систем могут служить системы ввода платежных документов, системы ввода документов Пенсионного фонда России и система ввода бланков заявлений обязательного страхования автогражданской ответственности. Перейдем к рассмотрению следующего правила «двух» альтернатив – «дельта» правила, его ER кривая также представлена на рис 4. Из графика видно, что «дельта» правило даёт худшие результаты, чем правило «первой» альтернативы в области, где требуется высокая надежность и может быть рекомендовано только в системах, не предъявляющих высоких требований к качеству информации. Этот пример показывает, что более сложные правила, использующие дополнительную информацию из «общих соображений», могут и не давать ожидаемого результата на некоторых классификаторах. Теперь перейдем к исследованию порогового правила двух альтернатив с порогами, выбираемыми для каждого класса в отдельности, т.е. , где и , где . Теперь, аналогично правилу первой альтернативы, нам надо в 20–мерном пространстве порогов найти для каждого точку, обеспечивающую заданное качество ввода и минимальное количество ошибок первого рода. Для этого необходимо решить следующую задачу: пусть имеется – мерное целочисленное пространство порогов и всюду определенные в этом пространстве функции - процент ошибок второго рода и - процент ошибок первого рода, , а – удвоенное число классов. Теперь можно поставить задачу нахождения порогов в виде: , где процент ошибок. , где , где , . Решение этой задачи аналогично задачи решению задачи для правила первой альтернативы. ER кривая результата показана на рис. 4. из которого видно, что на рабочем интервале системы это правило показывает лучший результат. Теперь перейдем к рассмотрению комплексных правил определения достоверности, построив такую схему принятия решения, которая позволит получить возможность формулировать внешние параметры для классификатора. Особенность схемы заключается в том, что сначала распознаются все символы, потом вычисляются значения внешних признаков (состав и природа этих признаков описаны ниже) для поля, а уже потом принимается решение о достоверности распознанных символов. Схема представлена на рис. 5. Такая модификация позволяет более точно вычислить цену ошибки ввода поля и более точно отрегулировать классифицирующий механизм. Рис. 5. Схема принятия решения о достоверности с учетом внешних параметров поля. Теперь перейдем к выбору параметров для построения признакового пространства , в котором будет решаться задача классификации. Определим перечень априорных параметров системы: – соответствующий элемент матрицы межклассовых отношений для распознающей схемы, – соответствующий элемент матрицы межклассовой близости, – качество распознавания класса, замеренное для распознающей схемы. Перейдем к характеристикам вектора альтернатив: – оценка «победившего» на этапе распознавания класса, – оценка второй альтернативы, – число альтернатив, , взвешенная оценка первой альтернативы, , взвешенная оценка второй альтернативы, – индекс «победившего» на этапе распознавания класса, – индекс класса второй альтернативы. Определив априорные параметры и характеристики вектора альтернатив, займемся описанием внешних параметров. Заметим, что для каждого поля формы список внешних параметров будет разный. Поэтому внесение внешних параметров в саму модель вызывает необходимость переобучать метод распознавания для любой новой формы. С другой стороны, модель должна быть такова, чтобы введение новых параметров не вызывало необходимости в перепрограммировании системы обучения и использования. Механизм этого принципа состоял в том, что было реализовано некоторое количество «абстрактных» параметров, причем те из них, которые не используются, просто заполняются нулями. Параметры разбиты на две группы: «непрерывные», нормированные на интервал [0,1] (например, цена ошибки в этом поле) и дискретные (булевские, например, превышает ли сумма платежа 25000 руб.). При таком подходе, мы получаем возможность создавать различные схемы определения достоверности, опираясь на общую модель. Для обучения и построения решающего правила отбраковки в системе Cognitive Forms была разработана трехслойная нейронная сеть (типа многоуровневого персептрона далее – MLP) с четырнадцатью вышеперечисленными входами и двумя выходами в виде оценки вероятности достоверности и недостоверности, в качестве сжимающей функции на выходном слое была использована функция SoftMax. Сначала для обучения была использована та же база, что и для обучения других критериев, но исследования показали, что она недостаточна для обучения сети, и для обучения использована специально набранная из реальных документов база рукопечатных символов, состоящая из 100000 образцов, в том числе и 5% ошибок, которая включала и ту базу, которая использовалась для других критериев. После проведения обучения были замерены значения ошибок первого и второго рода для различных порогов, в соответствии с вышеизложенной теорией и была получена ER кривая, которая показана на рис. 6. Для сравнения на рис. 6 показана лучшая из кривых для правил первой и второй альтернатив.

Похожие:

	Cognitive Forms cистема массового ввода структурированных документов Приводится обзор системы массового ввода форм документов Cognitive Forms. Рассматриваются основные этапы технологии ввода структурированных...		О. А. Славин Работа посвящена распознаванию печатных и рукопечатных... Рассматриваются алгоритмы комбинирования нескольких методов распознавания, оптимизированные к различным деформациям образов символов....
	15 Обеспечение качества результатов испытаний Целью данной процедуры является обеспечение достоверности результатов проводимых в ил испытаний и подтверждение их соответствия установленным...		2. Перечень проверяемых образовательных результатов Цель работы: определение уровня сформированности предметных результатов при переходе обучающихся в следующий класс
	Отчет результатов самообследования деятельности мбдоу «Детский сад №111» Оценка результатов деятельности коллектива работников мдоу №111 «Сказка» за 2015-2016 учебный год, разработка целей и перспектив...		Система оценки достижения планируемых результатов освоения основной... Федеральный государственный образовательный стандарт содержит чёткие требования к системе оценки достижения планируемых результатов...
	Graphics and Drawing in Windows Forms 10 Работа с растровыми и векторными изображениями с использованием классов Image, Bitmap и Metafile 35		Об утверждении Административного регламента Российской Федерации государственной услуги по проведению государственной экспертизы проектной документации, результатов инженерных...
	Об утверждении Административного регламента Российской Федерации государственной услуги по проведению государственной экспертизы проектной документации, результатов инженерных...		Готовимся к диагностической работе в системе СтатГрад Основные правила заполнения бланков егэ В случае отсутствия у участника егэ указанных ручек и использования, вопреки настоящим правилам, шариковой ручки, контур каждого...