Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Scan Tailor

Модерирует : gyra, Maz

Widok (17-02-2010 12:17): Лимит страниц. Продолжаем здесь.  Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107

   

Tulon

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Scan Tailor

 
Скриншот:

В разработке находится новая альтернатива СканКромсатору. Разработчик - ваш покорный слуга.
Задача программы - пост-обработка сырых сканов с целью их последующей сборки в PDF или DJVU.
 
Уже есть на что посмотреть, и возможно присоединиться к проекту. Проект с открытыми исходниками и кросс-платформенный (Windows + Linux).
 
По сравнению со СканКромсатором планируется большее удобство использования, большая интерактивность, но при этом не меньшая автоматизация процесса.
 
Сайт проекта: http://scantailor.sf.net     Скриншоты
 
Топик программы на форуме Натахаус       Англоязычный топик по ScanTailor

Документация
 
Документация (Wiki)              Зоны картинок в ScanTailor
 
Статья: Scan Tailor. Программа для обработки отсканированных книг
 
Видеоурок: Создание DjVu с помощью Scan Tailor (зеркало)
 
Методика использования STA совместно с Djvu Imager

Дистрибутивы
 
Версия СТ с функцией выпрямления искривленных строк (dewarp от Rob)
 
Патч от anagnost96 Вариант ScanTailor с этим патчем (STA)  Зеркало
 
ScanTailor для Mac
 
Последние изменения в дереве исходников - для сильно любопытных и владеющих английским.
Там же можно подписаться на rss/atom - для нетерпеливых.
 

Дополнительно
 
ST GreyText v1.0 Программа для генерации вывода как бы "Только текст (в режиме серого)" - для Scan Tailor от anagnost96.
 
LayerTailor Программа для разделения сканов (после "Смешанный режим) на foreground и background слои с целью последующего раздельного кодирования в djvu. Принцип работы: Все черные пиксели (яркость==0) переносятся в foreground, остальное - в background. Функция layer принимает на входе 3 параметра: исходное имя файла TIFF, имя файла для foreground и имя файла background. Автор: U235.
 
Предложения к anagnost96 по поводу улучшения его модификации СТ
Сравнение выпрямления искривленных строк в СТ и в BR

Статья О возможности альтернативы СканКромсатору     Полезные ссылки по теме топика
ArtScan - ещё одна программа для сканобработки.

Всего записей: 718 | Зарегистр. 07-05-2008 | Отправлено: 21:37 15-06-2008 | Исправлено: ndch, 22:37 12-02-2010
monday2000

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Tulon
Желаю Вам успехов в этом крайне полезном начинании!
 
Добавлено:
Я написал трём мне известным программистам, которые ранее проявляли интерес к этой тематике. Может быть, хоть кто-то откликнется.

Всего записей: 2841 | Зарегистр. 13-01-2005 | Отправлено: 12:08 27-06-2008
ghosty



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Tulon
У меня явно дежавю Года два назад видел opensource программу с подобным набором функций и дизайном - особенно хорошо запомнилось, как выглядит функция Deskew (этакая окружность с перекрестьем).  
Вы продолжаете какой-то проект, или это просто совпадение? Или у меня действительно крыша едет?

Всего записей: 6780 | Зарегистр. 21-09-2002 | Отправлено: 19:56 27-06-2008
Tulon

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Нет, я разрабатываю его с нуля.  Может вы его видели не пару лет а пару месяцев назад?  Примерно тогда я и выпустил первую публичную версию.

Всего записей: 718 | Зарегистр. 07-05-2008 | Отправлено: 20:03 27-06-2008
ghosty



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Tulon

Цитата:
Примерно тогда я и выпустил первую публичную версию.
А назывался он тогда так же?
 
Запустил Batch Processing, но в папку Out так ничего и не поступило (есть только папка Cache c thumbnail'ами). Что я делаю не так?

Всего записей: 6780 | Зарегистр. 21-09-2002 | Отправлено: 20:20 27-06-2008 | Исправлено: ghosty, 20:21 27-06-2008
Tulon

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Назывался всегда так.
 
Вывод еще не реализован, поэтому я и говорю, что к использованию программа пока не готова.  До вывода будет еще одна стадия - добавление полей / выравнивание размеров / центрирование / и т.д.  Сейчас как раз этим и занимаюсь.

Всего записей: 718 | Зарегистр. 07-05-2008 | Отправлено: 20:35 27-06-2008
are



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
да, интересное начинание, между прочим. А будет пакетное выполнение, т.е. без GUI? Тогда получится альтернатива и кромсатору, и конвейеру сразу. Большое спасибо!
 
было бы идеально ещё приделать сюда вызов minidjvu или другие свободные djvu-кодировщики как внешние программы. Впрочем это конечно необязательно - можно потом скрипт запускать с вызовом внешних программ. Однако проблема с minidjvu в том, что там не очень доделана оболочка, запускать неудобно. Зато можно линковать  minidjvu как библиотеку. Но это так, мысли вслух.

Всего записей: 552 | Зарегистр. 06-03-2005 | Отправлено: 00:08 28-06-2008 | Исправлено: are, 00:11 28-06-2008
Tulon

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Не вижу смысла делать неинтерактивный режим.  Во первых, хотя бы одна страница из книги наверняка будет обработана неправильно.  Во вторых, мне сложно представить, кто и зачем такой режим будет использовать.
 
Что касается встроенного экспорта в djvu, то пока я такого не планирую.  Разве с экспортом есть какие-то проблемы?  От программы экспорта и удобств-то особых не нужно.  Указание набора файлов, выставление параметров, и сам экспорт.

Всего записей: 718 | Зарегистр. 07-05-2008 | Отправлено: 09:37 28-06-2008
monday2000

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Tulon
Можно ИМХО попробовать поискать программистов по работе с растровой графикой на форуме CuneiForm: http://openocr.org/forum/

Всего записей: 2841 | Зарегистр. 13-01-2005 | Отправлено: 07:38 29-06-2008
monday2000

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Tulon
Ещё ИМХО есть смысл Вам создать топик на форуме http://www.djvu.org/forum/phpbb/viewforum.php?f=1 и там рассказать о своей программе.
 
Также возьмите программу DjView с http://djvu.sourceforge.net/djview4.html - она тоже написана на Qt и имеет открытые исходники - т.е. не исключено, что там может найтись что-то полезное.

Всего записей: 2841 | Зарегистр. 13-01-2005 | Отправлено: 17:31 29-06-2008
Tulon

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Запостил анонс на Planet DJVU.  На форумы CuneiForm и djview4 решил не писать - все-таки не совсем та аудитория.  Если и найдуться еще программисты, то они будут скорее всего из тех, кто сам сканирует книги, или хотя-бы пытался это делать.  С CuneiForm кстати та же проблема - код выпустили, а привлечь сторонних программистов не смогли.  Впрочем там есть свои заморочки, которых нет в моем проекте.
 
Может кто знает англоязычные форумы по тематеке книго-сканирования?

Всего записей: 718 | Зарегистр. 07-05-2008 | Отправлено: 21:32 29-06-2008
monday2000

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Tulon

Цитата:
и djview4 решил не писать  

Я имел в виду - возьмите исходники этой программы - т.к. они, во-первых, написаны на Qt, а во-вторых, эта программа - в сущности по работе с растровой графикой - т.е. эти исходники могут пригодиться.
 
Добавлено:

Цитата:
Может кто знает англоязычные форумы по тематеке книго-сканирования?

Насколько я знаю, там этим не занимаются - в смысле, силами единичных энтузиастов. Это видно хотя бы из того факта, что на Западе о формате DjVu почти не знают. Просто у них иная психология - с точки зрения рядового западника сканирование книги и публикация её в Интернете - есть преступление. А с точки зрения постсоветского человека - это хорошо и правильно. (Это ИМХО главная причина популярности DjVu в Рунете и т.п.).
 
ИМХО имеет смысл искать на Западе просто Open-Source программы по работе с растровой графикой и программы из смежных областей (Pattern Recognition, Computer Vision, Artificial Intelligence). Можно поискать по запросу "image processing library" и т.п.
 
Кстати, в топике http://forum.ru-board.com/topic.cgi?forum=93&topic=1102&glp можно найти DjVu-скан-книги по этим тематикам. Например, с _http://lib.homelinux.org/ можно скачать порядка 600-700 МБ DjVu-книг по этой тематике - возьмите всё отсюда:
 
_http://lib.homelinux.org/_djvu/_catalog/index_19.html
 
и тут немало интересного: _http://lib.homelinux.org/_djvu/_catalog/index_10.html
 
Например, интересен 5-томник Graphic Gems - он есть там полностью. К нему имеются все исходные коды (из всех 5 томов) - вот тут: http://www.graphicsgems.org/
 
Есть там и 2-3 книжки с алгоритмами и исходниками на Си.
 
Большинство этих книг были отсканированы либо лично bolega, либо по его просьбе - в целях развития СканКромсатора.
 
Этих книг там до полусотни - и они представляют значительный интерес в плане теории по этим вопросам.
 
Ещё можно поискать в Рунете материалы по Pattern Recognition, Computer Vision, Artificial Intelligence - этого добра просто валом ИМХО.
 
Добавлено:
Посмотрите ещё раз раздел http://www.djvu-soft.narod.ru/bookscanlib/ на моём сайте - там есть всякие полезные ссылки по этой тематике.
 
Добавлено:
Ещё у bolega есть в ассортименте статьи в формате Pdf с сайта IEEE.org и т.п. (материалы конференций по AI и PR, и просто новости науки в этих областях) - но, вроде бы, для него проблема их выложить (некуда и нет времени и т.п.)

Всего записей: 2841 | Зарегистр. 13-01-2005 | Отправлено: 16:18 30-06-2008 | Исправлено: monday2000, 16:48 30-06-2008
Tulon

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да, материала много, мне надолго хватит
Впрочем, большая часть материала расчитана на математиков, а не на программистов, а с математикой у меня как раз туго.  Универ я бросил еще на первом курсе, и ни разу не жалел об этом, пока за этот проект не взялся.
 
Впрочем, на данном этапе проблема вовсе не в алгоритмах.  Проблема в том, что я один, а работы много.  Что касается использования существующего кода, то это практически никогда невозможно.  Даже если я нашел где-то реализацию нужного мне алгоритма, то он наверняка работает со своими собственными структурами данных.  Эта проблема весьма характерна для C/C++.  Стандартные библиотеки там очень бедны, так что каждый изобретает свой собственный набор колес.
Изначально я хотел использовать код leptonica (leptonlib).  Но выяснилось, что он паршиво написан.  О потоковой безопасности авторы похоже не слышали, проблемы переносимости, и т.д.
 
Кстати вот еще одна либа, которая не указана на сайте monday2000: http://opencvlibrary.sourceforge.net/
Это библиотека компьютерного зрения от Intel.  Похоже заброшена, но там много вкусностей, в том числе таких, которых я больше нигде не встречал.

Всего записей: 718 | Зарегистр. 07-05-2008 | Отправлено: 21:43 30-06-2008
monday2000

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Tulon
Вот мне ещё Илья Межиров (автор minidjvu) прислал письмо:

Цитата:
Спасибо за ссылку. Интересный проект, но у меня нету времени на это.
Могу, впрочем, сказать, чем наш ocropus может пригодиться. Во-первых, у него все-таки не настолько сумасшедшие структуры данных. Недавно от ocropus'а откололся отдельный проект очередной CV-библиотеки - iulib (вопросы типа "на фига козе баян" не ко мне). Потом - что у нас есть... ну deskew какой-никакой. Еще, надеюсь, выложим Page Frame Detection - если в скан попали ошметки соседней страницы, PFD их вырежет. Все это под лицензией Apache, которая совместима с GPL3 ScanTailor'а, так что интересующиеся товарищи могут в нашем коде ковыряться.
 
Приятно, что minidjvu еще кто-то помнит
 
А кстати, CuneiForm живет и побеждает - Юсси Пакканен недавно CuneiForm for Linux выпустил, правда, сырую еще.
 
Всего хорошего!
Илья

(Илья сейчас занимается разработкой ocropus).

Всего записей: 2841 | Зарегистр. 13-01-2005 | Отправлено: 18:34 01-07-2008
monday2000

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Tulon

Цитата:
Что касается использования существующего кода, то это практически никогда невозможно.  Даже если я нашел где-то реализацию нужного мне алгоритма, то он наверняка работает со своими собственными структурами данных.

ИМХО это зависит от уровня сложности. Не так уж редко вполне возможно "перебить" нужный алгоритм под свою программу. А структуры данных можно подменить на свои.

Цитата:
Изначально я хотел использовать код leptonica (leptonlib).  Но выяснилось, что он паршиво написан.

А мне понравилось. Ведь это же учебный проект, о чём его автор специально написал там. То есть да, оптимальность кода там зачастую невысока - зато очень наглядна работа того или иного алгоритма. А оптимизировать можно самому попробовать.
 
Кстати, один рубордовец тоже применил leptonlib для аналогичной программы - см. http://akakii.net/post.html . Вот только программой он не захотел поделиться.

Всего записей: 2841 | Зарегистр. 13-01-2005 | Отправлено: 21:58 02-07-2008
bolega

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Для тестирования (сканы в djvu)
http://www.mediafire.com/?jxmnmxyxns2
Select content сработал не очень хорошо
 
Добавлено:
monday2000

Цитата:
зато очень наглядна работа того или иного алгоритма

Да, при ковырянии в чужих исходниках это главное

Всего записей: 3710 | Зарегистр. 09-09-2002 | Отправлено: 10:40 03-07-2008
Tulon

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Для тестирования (сканы в djvu)
http://www.mediafire.com/?jxmnmxyxns2
Select content сработал не очень хорошо

С бинарным мусором Select Content действительно плохо справляется.  А в вашем примере есть действительно тяжелые случаи, а именно мусор в виде dithering'а и кольца от переплета.
Впрочем я бы не отказался получить пару советов по вычищению мусора от мэтра
 
Что касается leptonlib - да, она написана в обучающих целях, и поэтому они не стремились к production quality.  А жаль.  Использовав ее, можно было бы много времени съэкономить.
 

Всего записей: 718 | Зарегистр. 07-05-2008 | Отправлено: 15:53 03-07-2008
monday2000

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Tulon

Цитата:
Использовав ее, можно было бы много времени съэкономить.

На мой взгляд, задавшись желанием сделать альтернативу СканКромсатору, не обязательно сразу пытаться сделать эту самую альтернативу "как можно быстрей".
 
Мне представляется, что сначала следует сделать хотя бы качественный вьювер (просмотрщик) графических файлов популярных форматов (TIF, BMP, ...). Я вот так и не встретил до сих пор ни одной такой программы, которая была бы написана на C++, имела бы полностью открытые исходники, свободную лицензию, была бы пристойного качества и не использовала бы GDI+. Есть лишь множество коммерческих программ такого рода. Или же, в лучшем случае, для Delphi какие-то жалкие крохи - вроде вот этого: http://melander.dk/delphi/resampler . К сожалению, эта тематика вообще крайне неразвита ИМХО у программистов.
 
Я думаю, что не грех потратить 1-2 года на то, чтобы сделать подобный вьювер (это дело явно не быстрое) - а задачу создания альтернативы СК отложить на будущее - до тех времён, когда подобный вьювер будет готов. Можно назвать его по-другому - "графический движок".
 
На мой взгляд, бессмысленно, скажем, пытаться сейчас создать алгоритм автосегментации текста (или т.п. вещи, составляющих суть СК) - не имея на руках хороший графический движок в виде вьювера.
 
У СканКромсатора 5.6А очень пристойный графический движок (не говоря уже о СК 5.91, где применяется MMX). Надо суметь (для начала) хотя бы повторить его (графический движок). Я думаю, что даже будь у СК открытые исходники, это (практически) не помогло бы Вам создать тот вьювер, о котором я говорю - разница в языках довольно ощутима. (СканКромсатор написан на Delphi с применением коммерческой платной графической библиотеки ImageLib Delphi Corporate Suite v.6 http://skylinetools.com/imagelib/index.html - эта библиотека нашлась и у меня на покупном диске с Delphi-компонентами - только у меня она с пиратским серийником, который вводится при инсталляции библиотеки).
 
Создать хороший графический движок - как бы не сложнее, чем создать всё остальное, относящееся к понятию "альтернатива СК". Этот вьювер нам всем нужен как воздух - ибо на его базе прочие добровольцы могли бы создать десяток иных программ, нужных для книгосканирования. Это позволило бы в перспективе освободиться почти полностью от вареза в нашем деле. Ведь такой движок позволил бы реализовать и просмотр DjVu-файлов - разница с точки зрения программиста невелика - надо лишь прикрутить исходники DjVuLibre. А потребность в программном просмотре файлов формата Bmp, Tif, DjVu, Gif, Jpg и т.п. есть в каждой второй самодельной книгосканировочной программе - если не в первой.
 
В идеале, это должен быть как бы некий отлаженный и хорошо документированный программный модуль (+ простейшая демо-программа), в котором могли бы разобраться другие программисты и применить его в своих программах - ну это уже так, мечты.

Всего записей: 2841 | Зарегистр. 13-01-2005 | Отправлено: 22:53 05-07-2008 | Исправлено: monday2000, 23:19 05-07-2008
Tulon

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А чем вам не нравится тот вьювер, который уже реализован в СТ?  Я надо сказать весьма удивлен тем, что вы приводите в пример СК.  Не уверен, что пробовал версию 5.91, но в предыдущих версиях все было весьма печально в плане отображения и интерактивного манипулирования изображениями.  По моему в СТ все значительно лучше в этом аспекте.
 
Что касается движка вывода изображений, то я использую то, что есть в Qt, а есть там более чем достаточно.

Всего записей: 718 | Зарегистр. 07-05-2008 | Отправлено: 23:15 05-07-2008
monday2000

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Tulon

Цитата:
А чем вам не нравится тот вьювер, который уже реализован в СТ?

Навскидку:
1. Нет сглаживающего фильтра (или его действие практически незаметно).
2. Нет скроллбаров при увеличенном изображении.

Всего записей: 2841 | Зарегистр. 13-01-2005 | Отправлено: 23:21 05-07-2008 | Исправлено: monday2000, 23:24 05-07-2008
   

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107

Компьютерный форум Ru.Board » Компьютеры » Программы » Scan Tailor
Widok (17-02-2010 12:17): Лимит страниц. Продолжаем здесь.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2018

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru