Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » ScanKromsator | СканКромсатор (Часть 4)

Модерирует : gyra, Maz

Maz (14-09-2023 21:57): ScanKromsator | СканКромсатор (Часть 5)  Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200

   

gyra

Moderator
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Предыдущие темы: 1 часть | 2 часть | 3 часть

ScanKromsator

Знаменитый Кромсатор для обработки получаемых при сканировании изображений страниц.  
Автор: bolega
ScanKromsator в Википедии: http://ru.wikipedia.org/wiki/ScanKromsator
 
Обсуждение создания e-книг: Электронные книги: скан, обработка, сборка  
 
Текущая версия программы : ScanKromsator v6.97 | ScanKromsator v6.91 |
 ScanKromsator v6.8 | ScanKromsator v6.75
Добавки и замечания от bolega:  
к v6.91 |к v6.8 | к v6.75
Туториалы по ScanKromsator v6.72 и выше
Не используйте в версии 6.75 опцию Overwrite original scans after rotate!  
Это приведет к повреждению исходных сканов, если они не в формате jpg и их dpi>300.

Предыдущая версия программы: ScanKromsator v6.71  
Подключаемые утилиты и их настройка.
Предыдущая стабильная версия: ScanKromsator 6.00.5  
Устаревшие версии:
Подробнее...
 

Новое в 6-й версии
Изменения в версии (5.92) + описание нового порядка обработки (с "финализацией" файлов)
Учебный пример от bolega по использованию зон
Хелп v1.0 для Кромсатора. Есть в PDF (368 КБ)
 
Подборка ответов bolega про работу ScanKromsator (версия 1.0.2 с закладками и сносками), 2016 г.
ScanKromsator. Хрестоматия 2.1. (версия от 25.12.2018)    Включённые в т.ч. материалы: Подробнее...
 

Работа с автоглифами
Как подключить: шаги
Парсер    версия 2.3.1 из ветки утилит NME
Видео bolega про работу с автоглифами  (третья из четырех частей про  версию 6.72) https://disk.yandex.ru/i/AbTv4koTmCGogw.  
 

Как вставить OCR в PDF
Подробнее... | Иллюстрация алгоритма
 
 

Видеоуроки про ScanKromsator
 
Видео от bolega:
  Обработка зон. Часть 1. Версия с таймлайнами на youtube
    Как правильно обрабатывать зоны с фоном (чистка фона страниц в иллюстрациях).

  Обработка зон. Часть 2. Версия с таймлайнами на youtube
    Раскрашенные зоны, переобработка зон, габариты страниц, ребинаризация, удаление спеклов, малоцветные зоны и создание djvu.
 

Видеоролики других авторов: Подробнее...


ВАЖНО!


Перед тем, как задать вопрос, читаем внимательно файл sk.N.N.whats.new.txt



Выкладывайте субтаск своего задания, когда задаёте вопрос о работе SK.
Инструкция по созданию субтаска в следующей строке!

Что делать, если ScanKromsator не делает то, что хотелось бы...
И ещё bolega о том же самом...  
и, наконец, от него же ОКОНЧАТЕЛЬНОЕ РЕШЕНИЕ.

Всего записей: 7932 | Зарегистр. 18-02-2006 | Отправлено: 10:34 14-11-2018 | Исправлено: mvk2006, 21:12 04-08-2023
TelecomUral

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
искажения прорисовки букв в, н, и, п, м.

200дпи, 16 цветов. Явно джипег поучаствовал, т.к. квадратики россыпью вокруг линий. Ну-ну.
Сканировать надо нормально.  
Это подробно обсуждалось ещё лет пятнадцать назад, что не стоит использовать СК на принципиально неприемлемых сканах, хорошего всё равно ничего не получится. Если уж глаз читает букву с трудом, то и компьютер ничем не поможет. Отсюда вытекли минимальные требования к сканировочному процессу для текста: 300дпи, 256 оттенков, честный тифф. Для кегля менее 8пт - не ниже 600дпи.
 
оффтоп
попробуйте поднять вдвое-втрое дпи через гигапиксель и скормить результат файнридеру. Может помочь, вполне вероятно.

Всего записей: 3058 | Зарегистр. 15-07-2010 | Отправлено: 07:50 04-01-2023
daa2013

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Самый лучший способ что-то освоить - начать это преподавать
 
Осваивайте, делайте для себя заметки, может быть, позже они выльются в статью. А когда-нибудь потом я включу этот материал в Хрестоматию.
 
Если вы какую-то инфу в Хрестоматии искали и не нашли - разберитесь и запишите.
 
 
Добавлено:
Через гигапиксель лучше всего в 4 раза поднимать.  Он тогда пропуски как бы восстанавливает. А в 2 раза - обычный апскейл с усилением резкости получается.

Всего записей: 1017 | Зарегистр. 13-06-2013 | Отправлено: 09:25 04-01-2023
asku



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Добрый день. Подскажите, пожалуйста.
Вот здесь же есть смысл все буквы (и строчные и прописные) добавить?

 
Просто подумал, раз этого не сделано по умолчанию, а нужно вводить их посимвольно, то может есть какие-то подводные камни.

Всего записей: 535 | Зарегистр. 04-05-2016 | Отправлено: 09:36 04-01-2023
TelecomUral

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
asku
по памяти, добавление сюда буквы исключает также и анализ спеклов в её поле. Итог: мусора больше.
 
Добавлено:

Цитата:
daa2013
Самый лучший способ что-то освоить - начать это преподавать

вот, кстати, да! Поражает, что тот кто просит инструкцию и её не получает, не начинает писать её сам. Ну нет чего-то, не существует ещё, так возьми и сделай. Тебе же самому это уже нужно. Что блокирует, загадка. Видимо, свинячье отношение к людям. Хапнуть и не поделиться.

Всего записей: 3058 | Зарегистр. 15-07-2010 | Отправлено: 09:39 04-01-2023
asku



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
TelecomUral
Может тогда имеет смысл помимо посимвольного внесения в список, иметь возможность внесения всех символов разом (напр. кнопкой).

Всего записей: 535 | Зарегистр. 04-05-2016 | Отправлено: 12:45 04-01-2023
TelecomUral

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
asku
всего набора UTF-8 ?

Всего записей: 3058 | Зарегистр. 15-07-2010 | Отправлено: 12:53 04-01-2023
asku



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
TelecomUral
Мне хватило бы кириллицы +- несколько букв)

Всего записей: 535 | Зарегистр. 04-05-2016 | Отправлено: 13:00 04-01-2023
TelecomUral

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
asku
зачем такие обходные пути. Надо исключить алфавит - есть язык страницы и её ocr.

Всего записей: 3058 | Зарегистр. 15-07-2010 | Отправлено: 13:19 04-01-2023
bolega

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
asku
Включите просто режим подсветки outside letters в КМ кнопки с фонариком

Всего записей: 4441 | Зарегистр. 09-09-2002 | Отправлено: 13:36 04-01-2023
daa2013

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Хотел бы обратить внимание, что Simonthe пишет про следующий функционал:
 

Цитата:
2. оценить яркость зоны (?гисторгамма)
2.1 среднюю  
2.2 расхождение между медианами (1/2 .. 1/3) светлого и темного
3. диапазон разницы медиан предоставить пользователю/алгоритму на получение макс. ясного контура.  
4. установить цвет - границу разделения контраста  

 
его в СК вроде как сейчас нет. Но помнится я в 2018 г. предлагал к пикчурзонам прикрутить гистограмму и приводил пример интерфейса уровней из программе Capture One (входные и выходные точки ползают по верхней и нижней сторонам окошка, также даётся разблюдовка по каналам):
 

Всего записей: 1017 | Зарегистр. 13-06-2013 | Отправлено: 17:41 04-01-2023
Simonthe

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
TelecomUral, вы писали:  

Цитата:
200дпи, 16 цветов. Явно джипег поучаствовал, т.к. квадратики россыпью вокруг линий. Ну-ну.
Сканировать надо нормально.  

- оригинал книги не доступен - только две версии в PDF. и таких других книг - десятки...
- сам давно фотографирую на 8..10mpx - тогда распознавание почти точное.
 

Цитата:
попробуйте поднять вдвое-втрое дпи через гигапиксель и скормить результат файнридеру.

Гигапиксель - платная(199USD). Такой возможности не имею, и варез сильно не нравится... собстно потому большая признательность за SK.
Есть ли другие возможности, программы?  
 
Есть ли где-то история изменения (добавл, изменение, удаление) функционала в версиях SK?
С какой версии легче начинать?  
В каких версиях был уникальный функционал?
 
daa2013, вы писали:

Цитата:
Осваивайте, делайте для себя заметки, может быть, позже они выльются в статью. А когда-нибудь потом я включу этот материал в Хрестоматию.

В текущем периоде перегнал вашу (?) хрестоматию 2.1 в *.odt - изучаю матчасть.
Однако объемчик-с...  
 
 
Добавлено:
Альтернативы Гигапискеля (free)
waifu2x
Upscayl  
 
 
 
Добавлено:
по направлению Гигапиксель собрано вот такое ( всё free / freemium )
 
a_sharper_scaling_1_2_((NetCF3.5.zip -> a-sharper-scaling.com/download/a_sharper_scaling_1_2.zip
a_sharper_scaling_1_2_setup ((.NETCF 3.5.exe
bigjpg-win-x64.zip  -> bigjpg.com/en
chaiNNer-0.16.1-x64-linux-debian.deb // github...
chaiNNer-0.16.1-x64-windows-setup.exe
chaiNNer-linux-x64-0.16.1.zip
chaiNNer-windows-x64-0.16.1.zip
Cupscale.1.39.0f1.zip
reshade-install.exe  ->reshade.net/
ScapixSetup.exe  -> github.com/Specy/Scapix/releases/tag/v2.0.0
Update-W2xEX-v3.98.01-FROM-v3.97.01.7z
upscayl-2.0.1-linux.AppImage  
upscayl-2.0.1-win.exe -> github.com/upscayl/upscayl/releases/tag/v2.0.1  
waifu2x-caffe.zip -> github.com/lltcggie/waifu2x-caffe/releases/tag/1.2.0.4
Waifu2x-Extension-GUI-v3.5BWsMieN.98.01-Win64.7z
Waifu2x-Extension-GUI-v3.98.01-Win64.7z
 
Пробовать начну естесстно с портативных *.zip
 
дальше проверенные ссылки.
QualityScaler (Платно (5$), OSS - если кто - скомпилирует...?) не знаю как с Win7
Upscale.media Free • Proprietary
github.com/cszn/BSRGAN
github.com/Djdefrag/QualityScaler :: https://jangystudio.itch.io/qualityscaler
 
Добавлено:
a_sharper_scaling_1_2_.zip.
Обработка по-одной, ограничение 8 бит.
 
 
Добавлено:
Пока-что, waifu2x-caffe - самая перспективная, но как-то не сработала:  
Portable,
input: png-jpg-jpeg-tif-tiff-bmp-tga  
output: png-bmp-jpg-jp2-tif-hdr-exr-ppm-webp-tga  
Denise + Magnify, CPU/CUDA(cuDNN)
 
ScapixSetup(uses waifu2x+RealEsrgan) - по сути - портативная, два движка (waifu2x и )  
на вход: video-gif-webp.ехе
Сглаживание ровное, про вытягивание слабой печати не ясно.
 
reshade (Pro) - медленно (на 27 стр - от 8 до 18 часов[i7-3520M-16 GbRam-ramdisk]).  
не плохо, но не так чтобы ахнуть,
Но: удобная превьюшка, настройки движками, удобно прикидывать настройки.
тени плохой печати - почти вытягивает. возможно разработчикам стоит посмотреть.
 
 
 
 
 
 
Добавлено:
ПРО ФУНКЦИОНАЛ:
есть ли такой алгоритм для области букв: "оценка формы тени"?
Напр. при слабой печати соединения в буквах в/н/и/п, с/е/о, з/э/3, м...
алгоритм  
1. оценивает форму/контур/размер глифа по отношению к эталону (авто/пользователь)
2. оценивает контур тени(-ей) внутри/вокруг глифа  
3. вместо выравнивания по цвету/яркости/контрасту - строит "вектор тени" - вытянутость т.е. пробует найти направленнность потенциально размазанного отрезка.
4. Пробует проверить степень совпадения с различными вариантами: (будет запрос проработаю детальнее)
--- для и/н похоже их только 2: - /
--- п - обязательное соединение сверху
--- и - диагонально удлиненная тень или диагональное просветление
--- н - если есть горизонтальная тень - точно н.
--- если есть нижнее соединение - чаще всего н  
5. сравнивает наличие признаков: закрытие сверху, снизу, наличие*наклон соедниняющей черточки.  
6. проводит по какому-то алгоритму пробную оптическую обработку: контраст/яркость/бинаризация.
7. итого:  
--- гипотеза оценки направленности тени(-ей),  
--- набор "матриц" оптической обработки(из этапов итерации)
--- совокупный набор признаков начертания букв:
8. по максимальному совпадению,  
--- если (совпадение > х) {подставить черточку или глиф и пометить подсветкой для проверки}  
 
Если изобрел велосипед, простите...
 
 
 
 
 
Добавлено:
## Перепробовал многое. "сдаюсь"
Уважаемые форумчане,  
Если будут прямые подсказки по распознаванию книги, буду очень радъ.  
 
Добавлено:
Книга
 
Добавлено:
И вот примерно таких на очереди десятки.

Всего записей: 45 | Зарегистр. 17-12-2009 | Отправлено: 23:37 04-01-2023
daa2013

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Есть ли где-то история изменения (добавл, изменение, удаление) функционала в версиях SK?

Смотри в конце в файле "Подборка ответов bolega про работу ScanKromsator"

Всего записей: 1017 | Зарегистр. 13-06-2013 | Отправлено: 05:19 05-01-2023
Simonthe

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Так что подсказкамъ по-обработкѣ буду весьма радъ.
Вероятнее всего - в пределах СК.
Надо повысить читаемость глифов.
Наиболее переспективным кажется функция автоглиф... aaw16, aaw17,  и в хрестоматии есть, но... сложновато пока.
Нашел трюк в пределах FR12:  
1. уменьшить освещенность - фон становится серым, а тени - черными.  
2. изменить уровни в осветление - и черное остается черным и сколько-то истончается.  
Проблема, что в общем ужирнение контуров.  
Кажется, если бы в СК такое сделать и применить автоглифы - было-б привлекательно.
Но... настройки куда и что "тыц"?

Всего записей: 45 | Зарегистр. 17-12-2009 | Отправлено: 05:23 05-01-2023
daa2013

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А чего вы именно в издание 1867 года уперлись ? Распознайте 2 том из 1878-го. Оно лучше отсканировано, переводчик вроде тот же.
 
Добавлено:
"функция автоглиф"  базируется на OCR, поэтому для улучшения OCR её задействовать не получится
 
Добавлено:
http%3A%2F%2Fdlib.rsl.ru%2Frsl01004000000%2Frsl01004902000%2Frsl01004902807%2Frsl01004902807.pdf

Всего записей: 1017 | Зарегистр. 13-06-2013 | Отправлено: 05:28 05-01-2023
TelecomUral

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
сильный оффтоп для Simonthe
Подробнее...

Всего записей: 3058 | Зарегистр. 15-07-2010 | Отправлено: 06:34 05-01-2023
Simonthe

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
TelecomUral,
Очень признателен за поставленный эксперимент...
ФР12 -это сильно старый? ФР15  намного лучше? Как посчитан процент?
По результату распознавания этого сказать не могу.
Чего ищу? Распознавания на уровне 1..2 знака ошибки на страницу и не на каждой странице.
Пусть комп поработает ночь-другую, но вычитка занимает время только на просмотр - до 30 сек/страницу. Судя по улучшению контуров применением UpScaling - это возможно.
 
Итого - искомая обработка - алгоритм  с применением  СК и какой-то "UpScale" программы с фриварной лицензией.
И ещё вопрос: поскольку исходники движков AI -доступны на Гитхабе...  
Мобуть к СК такое прикрутят? это... так мечтания...
 

Всего записей: 45 | Зарегистр. 17-12-2009 | Отправлено: 12:02 05-01-2023
TelecomUral

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Simonthe
прямым текстом говорю третий раз: оффтопите. Есть общая ветка про эл.книги
http://forum.ru-board.com/topic.cgi?forum=93&topic=3514&&glp#lt

Всего записей: 3058 | Зарегистр. 15-07-2010 | Отправлено: 12:15 05-01-2023
Simonthe

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Спасибо, прямой принял
 
идея функционала СК: восстановление начертания букв:
в распознавании букв - три основных вар-та проблемы:
-- элемент потерян  
-- элемент ужирнен - слияние
-- искажение/нестандартность начертания
С точки зрения различимости - важнее всего само наличие элемента, его выделимость.
в сером/цветном:  
-- слияние элементов обычно - не полное, а с просветлением на месте бывшего отступа контуров.  
-- потеря элемента обычно не полная а с высветлением в сторону фона
-- искажение - это нерегулярность, редкость - погоду не меняет
-- нестандартность - для этого применимо обучение.
 
Итого: надо: затемненный просвет осветлить, осветленный контур затемнить, если есть направленность - учесть направленность (т.е. моду/регрессию относительного затемнения)
1. выделить предполагаемую строку -> слово -> букву  
2. оценить контур буквы: габарит, форму
3. построить "карту" расположения центров зон просветов и линий -> гипотеза(ы)
4. найти расположение и вытянутость зон затемнения и осветления
5. сличить их расположение и форму с зонами эталонных глифов  
Построить вывод о превоначальной букве и соотв. пометить.
В зависимости от степени совпадения - вероятности гипотезы
А. только пометить
Б. (!) в соотв. с гипотезой слегка скорректировать цвет/яркость пикселей :  
     почти темное - осветлить, почти светлое - затемнить
В. подставить глиф.
 
В частности - ищу в "хрестоматии" есть ли уже возможность выполнить пункт Б. без распознавания, в автоматическом режиме.
 

Всего записей: 45 | Зарегистр. 17-12-2009 | Отправлено: 19:28 05-01-2023
Simonthe

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1. стоит ли, куда выложить перерабатываемую для себя "Хрестоматию 2.1"? И на каком  
этапе?
2. планирую добавить в "Хрестоматию" содержание ответов ув. Bolega из ссылки https://yadi.sk/i/Pqo1GMfC39xHKr.
3. будет ли офф-топ обсудить здесь и добавить в "Хрестоматию" ->  "SK Руководство" спец-раздел по улучшению OCR? Например шаги по получению оптимизированных картинок с разрешением в 300dpi, поскольку по указанию ув. niccolo:

Цитата:
 
Поскольку когда FR делали еще люди понимающие, преобладающим разрешением было 300 DPI, то на обычном тексте такое разрешение дает лучший результат...  
Увеличение до 600 DPI при отсутствии дефектов текста не меняет картины....  
Но если работаете с хим. формулами и текстом с большим количеством включений мелким шрифтом - 600 DPI может быть получше.....
Чего точно не любит FR и начинает чудить - всякие некруглые разрешения, часто присущие фотографиям..... Когда-то экспериментировал с одним текстом меняя DPI - на 299 DPI начали появляться совсем непонятные ошибки....
 

 
 
Добавлено:
ПО ФУНКЦИОНАЛУ:

Всего записей: 45 | Зарегистр. 17-12-2009 | Отправлено: 01:50 06-01-2023 | Исправлено: Simonthe, 02:49 06-01-2023
kamenkapenza



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Simonthe, редактирование Хрестоматии хотелось бы поручить её автору.  
 
Господа! Как через Кромсатор внести изменение в страницы на стадии обработки или на стадии завершения, добавить, например надпись через текст или создать какое то изображение такого рода: Скан - Иванов Петя, Обработка  - Васечкин Коля

Всего записей: 666 | Зарегистр. 23-05-2021 | Отправлено: 14:51 07-01-2023
   

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200

Компьютерный форум Ru.Board » Компьютеры » Программы » ScanKromsator | СканКромсатор (Часть 4)
Maz (14-09-2023 21:57): ScanKromsator | СканКромсатор (Часть 5)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru