Глава 33.

Как обучить FineReader

Распознавание с обучением

• В программе ABBYY FineReader тексты хорошего и среднего качества, а также шрифты обычного начертания распознаются без предварительного обучения. Поэтому OCR-система может работать в режиме Распознавание с обучением, который позволяет вводить тексты разного качества, набранные практически любыми шрифтами. В режиме Распознавание с обучением вы можете: распознавания текстов, использующих декоративные шрифты; распознавания текстов, в котором встречаются специальные символы (например, отдельные математические символы); распознавания большого объема (более 100 страниц) текста плохого качества.

В других случаях Распознавание с обучением использовать не рекомендуется, так как затраты на обучение будут больше, чем полученный выигрыш в качестве распознавания.

Обучение проводится при распознавании одной-двух страниц текста в специальном режиме. В результате создается эталон букв, встречающихся в тексте. Этот эталон в дальнейшем используется при распознавании основного объема текста. Некоторые пары или тройки символов в тексте могут склеиваться. В случае, если при обучении вам не удается переместить описывающий прямоугольник так, чтобы он заключал в себя один целый символ и не содержал при этом части соседних, то вы имеете возможность обучить программу сочетанию символов, которые невозможно «расклеить». Такие неразделяемые сочетания двух или трех символов называются лигатурами.

Важно: Созданный эталон можно использовать только для распознавания текстов, использующих тот же шрифт и размер шрифта и отсканированных с тем же разрешением, как и документ, на котором данный эталон создавался.

В процессе удаления пакета эталон также удаляется.

Вы имеете возможность сохранить созданный эталон для работы с другими пакетами. Для этого сохраните настройки пакета в формате шаблона пакета (*.fbt).

В процессе перехода к распознаванию текстов, набранных другим шрифтом, не забудьте отключить эталон (Сервис к Опции к Распознавание) активизируйте переключатель Не использовать пользовательский эталон.

Как начать распознавать с обучением

Установите режим Распознавание с обучением (на закладке Распознавание, меню Сервис к Опции в разделе Распознавание с обучением активизируйте переключатель Распознавание с обучением). В строке состояния появится название эталона (по умолчанию default).

Нажмите на кнопку 2-Распознать.

Обучите эталон, распознав одну-две страницы в режиме распознавание с обучением.

Обучаемые символы заносятся в эталон, создаваемый системой по умолчанию. По окончании обучения OCR-система сохранит созданный эталон (default.ptn) в папке, где хранится пакет.

Отредактируйте эталон.

Отмените режим Распознавание с обучением (на закладке Распознавание в разделе Обучение установите переключатель Распознавание с пользовательским эталоном).

Запустите распознавание основного текста, нажав на кнопку 2-Распознать.

Важно: Для того, чтобы создать несколько эталонов на один пакет, воспользуйтесь диалогом Редактор эталонов (доступ:Сервис к Редактор эталонов). Создайте новый эталон (нажмите в диалоговом окне на кнопку Новый) и выберите его для работы (нажмите на кнопку Выбрать). Далее работа с созданным эталоном происходит так же, как и работа с default-эталоном.

В случае, если в процессе обучения было создано несколько эталонов, то подключается последний созданный эталон. Название подключенного эталона пишется в строке состояния.

Для того, чтобы подключить другой эталон для распознавания, в диалоговом окне Редактор эталонов (доступ: Сервис к Редактор эталонов) в списке эталонов выберите эталон и просто нажмите на кнопку Выбрать. На закладке

Распознавание в разделе Обучение активизируйте переключатель Распознавание с пользовательским эталоном.

В случае, если на закладке Распознавание активизирована опция Использовать встроенные эталоны, то в режиме Распознавание с обучением программа предложит вам обучить только неуверенно распознанные символы.

В случае, если вы обучаете программу декоративным или нестандартным шрифтам и при этом используете встроенные эталоны, то OCR-система может распознать часть символов неправильно, не предложив их обучить. В этом случае дезактивируйте опцию Использовать встроенные эталоны.

Как обучить эталон

Перед обучением обратитесь к закладке Распознавание (доступ: Сервис к Опции) и в разделе Распознавание с обучением активизируйте опцию Распознавание с обучением.

Нажмите на кнопку 2-Распознать. Программа начнет распознавание. Как только встретится символ, подлежащий обучению, откроется диалоговое окно Ручное обучение эталона с изображением этого символа.

Как обучить символ

Описывающий прямоугольник в верхней части диалогового окна должен содержать один целый символ. В случае, если он содержит часть буквы или более одной буквы, то посредством мыши или кнопок и прямоугольник можно передвинуть так с тем, чтобы он охватывал одну целую букву.

Далее введите нужный символ и просто нажмите на кнопку Обучить.

Важно: Обучать можно только символам, входящим в алфавит языка.

В случае, если вы обучаете программу символам, которые нельзя ввести с клавиатуры, то для их обозначения можно использовать комбинацию из двух символов или вы имеете возможность скопировать требуемый символ из Таблицы символов (открывается при нажатии в диалоговом окне Ручное обучение эталона кнопки).

В случае, если в обучаемом тексте встречаются слова, набранные курсивом или полужирным, и вам важно сохранить гарнитуру шрифта в распознанном тексте, то при обучении таким символам в диалоговом окне Ручное обучение эталона активизируйте опции Курсив или Полужирный.

В процессе обучения следите за тем с тем, чтобы изображениям заглавных букв соответствовали заглавные буквы, а изображениям строчных букв — строчные.

В случае, если при обучении вы ошиблись, то можно нажать кнопку Вернуться, и охватывающий прямоугольник вернется на предыдущую позицию, а последняя обученная пара «изображение — символ» будет удалена из эталона. Кнопка Вернуться действует в пределах одного слова.

Обучение лигатурам

Лигатуры — это сочетания двух или трех символов, которые из-за особенностей их начертания невозможно разделить при обучении и которые поэтому сразу обучаются как комбинация символов. Обучение лигатурам происходит так же, как и обучение отдельным символам.

В строке для ввода символа введите необходимое сочетание символов и просто нажмите на кнопку Обучить.

Описывающий прямоугольник в верхней части диалогового окна должен содержать сочетание целиком. Передвинуть прямоугольник можно посредством мыши.

В одном эталоне может содержаться до 1000 новых символов. Кроме этого помните, что, не следует создавать слишком много лигатур, так как это может отрицательно сказаться на качестве распознавания.

В процессе обучения необходимо учитывать следующие ограничения:

• Изображения некоторых символов не различаются системой распознавания и сопоставляются с каким-то одним символом. К примеру, прямой ('), левый (') и правый (') апострофы хранятся в эталоне как изображение прямого апострофа. Таким образом, в результате распознавания в тексте никогда не появится правый или левый апостроф, хотя при обучении вы указывали именно эти символы.

• Для некоторых изображений решение относительно того, какому символу в распознанном тексте его сопоставить, принимается на основе общего анализа распознанного текста. Так, например, решение относительно того, является ли символ, обозначаемый «кружком», буквой "о" или цифрой ноль, OCR-система принимает в зависимости от того, находятся ли рядом другие цифры или буквы.

Редактирование эталона

Прежде чем запускать распознавание с только что созданным эталоном, рекомендуется просмотреть эталон и, если потребуется, скорректировать. Этим вы сведете к минимуму ошибки распознавания, которые могут возникнуть из-за неправильно обученного эталона.

Эталон должен содержать только целые символы или лигатуры. Символы, обрезанные с краев, и символы с неправильными подписями следует удалить из эталона.

Как скорректировать эталон

Из меню Сервис выберите команду Редактор эталонов.

В раскрывшемся диалоговом окне Редактор эталонов выберите нужный эталон и просто нажмите на кнопку Редактировать. Перед вами откроется диалоговое окно Символы пользовательского эталона.

Выбрав символ, просто нажмите на кнопку Свойства с тем, чтобы скорректировать подпись и указать правильное начертание: курсив, полужирный, верхний или нижний индексы, или просто нажмите на кнопку Удалить с тем, чтобы удалить неправильно обученные символы.

Пользовательские языки и группы языков (возможно в версии FineReaderOffice)

Вы имеете возможность использовать не только предопределенные языки и группы, но и создать новый язык или объединить существующие языки в новую группу и при распознавании подключить именно их.

Когда необходимо создавать новый язык?

Для подключения пользовательского словаря

К примеру, необходимо распознать русский текст, содержащий аббревиатуры. Вы имеете возможность создать словарь аббревиатур и подключить его к пользовательскому языку. На основе русского языка с подключенным системным словарем и языка, созданного вами с подключенным словарем аббревиатур, вы имеете возможность создать группу для дальнейшего ее использования при распознавании ваших текстов.

Для распознавания документов специального вида

Например, страница содержит перечень артикулов, состоящий из цифр и нескольких букв. Вы имеете возможность создать новый язык, включив в него минимально необходимый набор символов, и использовать его для распознавания данного типа документов.

Документ использует только заглавные буквы английского языка

В этом случае для повышения качества распознавания следует исключить из распознавания символы, которые заведомо не могут встретиться в тексте, в данном случае — все строчные буквы.

Когда необходимо создавать группу языков? В случае, если вы часто используете какую-нибудь комбинацию языков.

Создать язык или группу языков можно из диалогового окна Редактор языков (доступ: Сервис к Редактор языков).

Создание нового языка

Из меню Сервис выберите команду Редактор языков…

Нажмите на кнопку Новый. В раскрывшемся диалоговом окне активизируйте переключатель Создать копию языка и выберите язык, на основе которого вы создаете новый.

Перед вами откроется диалоговое окно Свойства языка.

В процессе создания нового языка необходимо задать следующие параметры (все параметры задаются в диалоговом окне Свойства языка):

• Имя нового языка.

• В поле Алфавит языка указан алфавит языка, на основе которого вы создаете новый язык. В случае, если требуется, отредактируйте алфавит.

• Словарь, который будет использоваться системой при распознавании и проверке распознанного текста. Возможны следующие варианты:

• Нет (не подключать словарь к языку).

• Встроенный словарь (используется словарь, поставляемый с программой).

• Пользовательский словарь.

Для того, чтобы наполнить словарь или подключить старый пользовательский словарь или текстовый файл в Windows-кодировке (слова должны быть разделены пробелами или другими символам, не включенными в алфавит), просто нажмите на кнопку Редактировать.

Важно: Словарные слова пользовательского языка считаются правильными, если в тексте они встретились с той капитализацией, в которой они заданы в словаре, а также в каком-либо стандартном виде: всеми маленькими, всеми большими буквами или с большой буквы.

• Вид слова в словаре. Допустимые варианты написания слова в тексте:

• abc abc, Abe, ABC

• Abc abc, Abc, ABC

• ABC abc, Abc, ABC

• aBc aBc, abc, Abc, ABC

• Регулярное выражение (задается грамматика нового языка).

Важно: Нажав в диалоговом окне Свойства языков на кнопку Дополнительно, вы имеете возможность указать дополнительные свойства нового языка, например, игнорируемые внутри слова символы или исключенные из распознавания символы.

Как создать новую группу языка

Важно: Эта возможность имеется только в версии FineReader Office.

В случае, если при распознавании текстов вы часто используете некоторое сочетание языков, то вы имеете возможность создать группу, в которую объединены эти языки. Созданная группа появится в списке языков на панели Стандартная.

Важно: Вы имеете возможность указать комбинацию языков непосредственно в списке языков на панели Стандартная. Для этого выберите в списке строку Выбор нескольких языков. В раскрывшемся диалоговом окне Язык распознаваемого текста активизируйте необходимые языки.

Как создать группу языков для распознавания

Из меню Сервис выберите команду Редактор языков и просто нажмите на кнопку Новый. В раскрывшемся диалоговом окне выберите команду Создать новую группу.

Перед вами откроется диалоговое окно Свойства группы языков. Здесь вам необходимо задать для новой группы языков (все параметры устанавливаются в диалоговом окне Свойства группы) Имя группы и Подключенные языки.

Важно: Вы имеете возможность указать символы, которые заведомо не встречаются в распознаваемом документе. Указание таких символов может существенно увеличить скорость и надежность распознавания. Для этого в диалоговом окне Свойства группы языков просто нажмите на кнопку Дополнительно и в диалоговом окне Дополнительные свойства новой группы активизируйте соответствующие символы.

Глава 34.

Как проверить и отредактировать распознанный текст

После завершения распознавания результат появляется в диалоговом окне Текст. Диалоговое окно Текст — это встроенный редактор программы FineReader; в нем вы имеете возможность проверить результаты распознавания и скорректировать распознанный текст.

Одна из возможностей текстового редактора FineReader — это встроенная проверка орфографии.

Система встроенной проверки орфографии дает возможность:

• Находить неуверенно распознанные слова (слова, в которых имеется неуверенно распознанные символы).

• Находить орфографические ошибки (неправильно написанные слова).

• Добавлять неизвестные системе FineReader слова в словарь для того, чтобы они распознавались уверенно.

Неуверенно распознанные символы и слова, которые отсутствуют в словаре, выделяются различными цветами. По умолчанию для выделения неуверенно распознанных символов используется голубой, для несловарных слов — розовый. Для того, чтобы изменить цвета на закладке Вид (доступ: Сервис к Опции) в поле Объект выберите команду Неуверенно распознанный символ (Несловарное слово) и в поле Цвет — цвет подсветки.

Как проверить результаты распознавания

Нажмите на кнопку З-Проверить на панели Scan amp;Read (или выберите командуПроверка из меню Сервис).

Проверка дает возможность найти в тексте слова, содержащие неуверенно распознанные символы, несловарные слова, а также слова с орфографическими ошибками (клавиатурный эквивалент: F7).

Откроется диалоговое окно Проверка.

В диалоговом окне Проверка имеется три окна. Верхнее диалоговое окно — аналог окна Крупный план, в котором отображено изображение слова с возможной ошибкой. Среднее диалоговое окно показывает само слово с возможной ошибкой, в строке над этим диалоговым окном выводится название типа ошибки. В нижнем диалоговом окне Варианты предлагаются варианты замены данного слова, для которых используется словарь, активизированный вами в списке Язык словаря.

Важно: Для удобства проверки и редактирования текста диалоговое окно Проверка может быть увеличено. Для этого достаточно поместить указатель мыши на границу диалогового окна (указатель превратится в двустороннюю стрелку). Перетаскивая границу, увеличьте или уменьшите размеры диалогового окна.

У вас имеется следующие возможности:

• Нажмите на кнопку Пропустить с тем, чтобы оставить слово, как есть.

• Нажмите кнопку Пропустить все с тем, чтобы оставить все такие слова в распознанном тексте, как есть.

Выберите вариант для замены и просто нажмите на кнопку Заменить или Заменить все с тем, чтобы заменить текущее слово или все такие слова в тексте. В случае, если в диалоговом окне Варианты отсутствует правильный вариант для замены слова, скорректируйте его в среднем диалоговом окне и для того с тем, чтобы заменить текущее слово просто нажмите на кнопку Подтвердить.

Нажмите на кнопку Добавить, для того чтобы добавить слово в словарь. В этом случае при дальнейшей проверке орфографии, если это слово (или одна из его форм) встретится в тексте, оно не будет считаться ошибочным.

Нажмите на кнопку Опции с тем, чтобы установить опции проверки распознанного текста.

Нажмите Закрыть с тем, чтобы закрыть диалоговое окно.

Опции проверки и редактирования текста

Устанавливаются на закладке Проверка (доступ: Сервис к Опции).

Уровень выделения ошибок

В списке Уровень выделения ошибок возможно выбрать следующие значения:

• Нет — ошибки распознавания не выделяются.

• Стандартный — цветом выделяются нераспознанные и неуверенно распознанные символы.

• Максимальный — помимо нераспознанных и неуверенно распознанных символов, цветом выделяются слова, которые отсутствуют в словаре языка распознавания.

Важно: Количество отображаемых в диалоговом окне Текст ошибок будет изменено после повторного распознавания документа.

• Останавливаться на неуверенно распознанных словах — система при проверке орфографии останавливается на словах, в которых были неуверенно распознаны какие-либо буквы.

• Останавливаться на несловарных словах — эта опция позволит вам проверить слова, которые отсутствуют в словаре и которые могли быть неверно распознаны системой.

• Останавливаться на сложных словах — в процессе проверки орфографии OCR-система останавливается на словах, которые отсутствуют в словаре, но которые могут быть построены по имеющимся морфологическим моделям или которые могут быть составлены из имеющихся в словаре слов.

• Игнорировать слова с цифрами и другими неалфавитными символами — в процессе проверки орфографии слова, внутри которых встречаются цифры или какие-либо другие символы, не входящие в алфавит языка распознавания, не считаются ошибочными, если эти слова не содержат неуверенно распознанные символы.

• Корректировать пробелы до и после знаков препинания — в случае, если эта опция активизирована, то ocr-система не будет останавливаться на тех фрагментах, где неверно расставлены пробелы до и после знаков препинания, а исправит их автоматически.

Добавление слова в пользовательский словарь

Добавление слов в словарь — один из способов повышения качества распознавания, так как при распознавании OCR-система проверяет слова по словарю. В словарь имеет смысл добавлять часто встречающиеся слова (например, термины, сокращения, названия). В тот момент, когда происходит добавление слова OCR-система строит его так называемую парадигму (совокупность всех форм данного слова). Это означает, что OCR-система может уверенно распознавать не только ту форму, которая уже однажды встретилась в тексте и была добавлена в словарь, но и все формы добавленного слова.

Как добавить слово в словарь во время проверки орфографии

Нажмите на кнопку Добавить в диалоговом окне Проверка.

В диалоговом окне Начальная форма вы должны установить следующие параметры:

• Часть речи (Существительное, Прилагательное, Глагол, Неизменяемое слово).

• В случае, если слово всегда пишется с большой буквы, активизируйте опцию Имя собственное.