Перейти из форума на сайт.

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?
Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » ScanKromsator | СканКромсатор (Часть 5)

Модерирует : gyra, Maz

 Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51

Открыть новую тему     Написать ответ в эту тему

Maz



Дед Мазай		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Предыдущие темы: 1 часть | 2 часть | 3 часть | 4 часть

ScanKromsator
Знаменитый Кромсатор для обработки получаемых при сканировании изображений страниц.  
Автор: bolega
ScanKromsator в Википедии: http://ru.wikipedia.org/wiki/ScanKromsator
 
Обсуждение создания e-книг: Электронные книги: скан, обработка, сборка  
 
Текущая версия программы : ScanKromsator v6.99 | ScanKromsator v6.97 | ScanKromsator v6.91 |
 ScanKromsator v6.8 | ScanKromsator v6.75
Добавки и замечания от bolega:  
к v6.91 |к v6.8 | к v6.75
Туториалы по ScanKromsator v6.72 и выше
Не используйте в версии 6.75 опцию Overwrite original scans after rotate!  
Это приведет к повреждению исходных сканов, если они не в формате jpg и их dpi>300.

Предыдущая версия программы: ScanKromsator v6.71  
Подключаемые утилиты и их настройка.
Предыдущая стабильная версия: ScanKromsator 6.00.5  
Устаревшие версии: Подробнее...
 
Новое в 6-й версии
Изменения в версии (5.92) + описание нового порядка обработки (с "финализацией" файлов)
Учебный пример от bolega по использованию зон
Хелп v1.0 для Кромсатора. Есть в PDF (368 КБ)
 
Подборка ответов bolega про работу ScanKromsator (версия 1.0.2 с закладками и сносками), 2016 г.
 
Работа с автоглифами
Как подключить: шаги
Парсер    версия 2.3.1 из ветки утилит NME
Видео bolega про работу с автоглифами  (третья из четырех частей про  версию 6.72) https://disk.yandex.ru/i/AbTv4koTmCGogw.  
 
Как вставить OCR в PDF
Подробнее... | Иллюстрация алгоритма
 
 
Видеоуроки про ScanKromsator
 
Видео от bolega:
  Обработка зон. Часть 1. Версия с таймлайнами на youtube
    Как правильно обрабатывать зоны с фоном (чистка фона страниц в иллюстрациях).

  Обработка зон. Часть 2. Версия с таймлайнами на youtube
    Раскрашенные зоны, переобработка зон, габариты страниц, ребинаризация, удаление спеклов, малоцветные зоны и создание djvu.
 

Видеоролики других авторов: Подробнее...

ВАЖНО!

Перед тем, как задать вопрос, читаем внимательно файл sk.N.N.whats.new.txt


Выкладывайте субтаск своего задания, когда задаёте вопрос о работе SK.
Инструкция по созданию субтаска в следующей строке!
Что делать, если ScanKromsator не делает то, что хотелось бы...
И ещё bolega о том же самом...  
и, наконец, от него же ОКОНЧАТЕЛЬНОЕ РЕШЕНИЕ.
Всего записей: 39035 | Зарегистр. 26-02-2002 | Отправлено: 21:56 14-09-2023 | Исправлено: daa2013, 16:41 19-05-2024
MZN

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
TelecomUral
Так и у меня, и у Вас в самом начале долго думает. Вы дождались, я нет.
Всего записей: 1797 | Зарегистр. 23-10-2004 | Отправлено: 13:16 05-06-2024
bolega

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Т.е. проблема именно в начальном старте?  
Кстати, то, что на первом файле процент выполнения как будто замирает, еще не значит, что там все висит. На самом деле файлы в остальных потоках уже могут во всю обрабатываться, просто обновление инфы об этом задерживается в первую минуту старта.  
Попробую изменить код, чтобы старт потоков растянуть по времени.
И наверно, не стоит запускать много потоков если у вас обычный hdd-диск. Если к нему за 600-dpi сканами одновременно ломанутся сразу 10-20 сессий СК, тут никакой многоядерный проц не спасет, т.к. hdd-контроллер станет узким горлышком всего процесса.
Всего записей: 4533 | Зарегистр. 09-09-2002 | Отправлено: 08:16 06-06-2024
TelecomUral

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
bolega

Цитата:
чтобы старт потоков растянуть по времени

? ради отчетности??
 
по мне так критичнее драфт тоже распараллелить.
Всего записей: 3277 | Зарегистр. 15-07-2010 | Отправлено: 08:31 06-06-2024
MZN

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
bolega

Цитата:
Т.е. проблема именно в начальном старте?

скорее всего, да

Цитата:
Если к нему за 600-dpi сканами одновременно ломанутся сразу 10-20 сессий СК, тут никакой многоядерный проц не спасет, т.к. hdd-контроллер станет узким горлышком всего процесса.
 

Может стоит искусственно ограничить число ядер. Хотя у меня чтение шло с NVME-диска, скорость которого порядка 7 Гб/сек.
 
И очень облегчит участь авторасстановка зон с картинками как в СТ...
Всего записей: 1797 | Зарегистр. 23-10-2004 | Отправлено: 12:58 06-06-2024
TelecomUral

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
И очень облегчит участь авторасстановка зон с картинками как в СТ...

есть режим импорта данных о зонах из СТ в СК. Если не вру.
Всего записей: 3277 | Зарегистр. 15-07-2010 | Отправлено: 13:02 06-06-2024
MZN

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
TelecomUral
 

Цитата:
есть режим импорта данных о зонах из СТ в СК. Если не вру

Не очень-то удобно, но покажите
Всего записей: 1797 | Зарегистр. 23-10-2004 | Отправлено: 15:12 06-06-2024
TelecomUral

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
MZN
но покажите

не умею. читал где-то. вроде кто-то про шахматные диаграммы так попросил исходно.
Всего записей: 3277 | Зарегистр. 15-07-2010 | Отправлено: 15:37 06-06-2024
bolega

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
TelecomUral

Цитата:
? ради отчетности??

ну если это раздражает, почему бы и нет.
 
MZN

Цитата:
Может стоит искусственно ограничить число ядер

по какому критерию?  
Всего записей: 4533 | Зарегистр. 09-09-2002 | Отправлено: 18:04 06-06-2024
shch_vg

Gold Member		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
bolega
А чем не критерий Use CPU kernels?
Каждый может один раз установить под свое железо.
Многоядерность это для счетной программы, каковой СК не является.
Основное время его работы это обмен с внешними дисками, поэтому надо подстраивать число ядер именно под возможности конкретных дисков.
Всего записей: 7076 | Зарегистр. 14-01-2005 | Отправлено: 18:25 06-06-2024 | Исправлено: shch_vg, 18:37 06-06-2024
MZN

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
bolega

Цитата:
[по какому критерию?

не более 8-10
 
хотя стоит посмотреть, там ли происходит распараллеливание, ведь можно распараллеливать не с самого начала, а там, где много работы для одного CPU
Всего записей: 1797 | Зарегистр. 23-10-2004 | Отправлено: 20:52 06-06-2024 | Исправлено: MZN, 20:58 06-06-2024
TelecomUral

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
MZN
не более 8-10

чё-то бред какой-то.  
Есть параметр - число задействуемых ядер. Просто и понятно.  
Сначала вы говорите, что многопоточность плохая, говоря о нерабочем числе 22 ядра. Нынче - что она вообще не нужна свыше 10. Цель и смысл всего происходящего под вопросом.
Всего записей: 3277 | Зарегистр. 15-07-2010 | Отправлено: 21:02 06-06-2024
MZN

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
TelecomUral

Цитата:
Цель и смысл всего происходящего под вопросом.

Вы просто не поняли. Потому что у меня при количестве ядер более 12 происходит резкое торможение, не связанное с ВВ. К тому, же Вы даже не прочли до конца. Более того Вы вроде не правите код СК, поэтому особого смысла мои объяснения для Вас не имеют.
Всего записей: 1797 | Зарегистр. 23-10-2004 | Отправлено: 21:44 06-06-2024
TelecomUral

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
MZN
Более того Вы вроде не правите код СК, поэтому ...

...как раз имеют: во-первых, достаточные ядра есть и на моей машине, во-вторых, у меня не тормозит, в-третьих, логика работы программы должна быть понятна и юзеру тоже. Я не понял, да, и попросил объяснений.
Всего записей: 3277 | Зарегистр. 15-07-2010 | Отправлено: 04:15 07-06-2024
MZN

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
TelecomUral
Ладно меня, Вы же еще и себя не слышите! Впрочем, если 9 мин драфта (да и любого процесса обработки) 200 стр это не тормозит (на 32 ядрах-то!), то, да, Вы правы.  
 

Цитата:
логика работы программы

это не про СК - незачет - раз, и здесь логика, нужная юзеру, не обсуждается - два.
Всего записей: 1797 | Зарегистр. 23-10-2004 | Отправлено: 06:41 07-06-2024 | Исправлено: MZN, 06:44 07-06-2024
TelecomUral

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
MZN
Впрочем, если 9 мин драфта (да и любого процесса обработки) 200 стр это не тормозит (на 32 ядрах-то!)

насколько я помню объяснения автора СК, драфт это а) отдельный процесс обработки пачки первичных сканов (не надо смешивать с обработкой отмеченных зелеными галками сканов по кнопке "Process!") и б) никогда и не распараллеливался.
 

Цитата:
здесь логика, нужная юзеру, не обсуждается

Да бог с вами, в конце концов И чего я, действительно. Пять частей про программу, и всё "не для юзеров".
Всего записей: 3277 | Зарегистр. 15-07-2010 | Отправлено: 07:02 07-06-2024
bolega

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
MZN
не надо смешивать все в одну кучу. Обработка распараллеливается, драфт -нет.  
Если у одного (пока одного! другие молчат) пользователя где-то тормозит на 12 ядрах, то это не значит, что я должен кидаться чего-то там ограничивать. Всякое бывает, может у вас антивирус все открываемые одновременно 10 файлов начинает проверять. Да мало ли что там у вас еще может влиять. В платных программах разработчики сами тестируют свои программы на разном железе, у меня такой возможности нет, и вместо помощи с поиском причин, пользователи чаще всего предъявляют претензии ("фу, какие тормоза, у меня сто пятьсот гб памяти, а программа как неживая" и т.п.), в общем, как говорится, меряются ядрами.
Всего записей: 4533 | Зарегистр. 09-09-2002 | Отправлено: 08:04 07-06-2024
MZN

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
bolega

Цитата:
Обработка распараллеливается, драфт -нет.

Ну, если 9 мин на драфт - это норма, тогда хорошо. Но, может, проблема в другом? Знаю, как Вам это неприятно, но СТ не создает новых процессов. У меня при использовании мультипроцессорности на моих задачах, они тоже не создаются. А молчат... так люди в массе всегда молчат.
А потом я не настаиваю на исправлении - у меня и на одном ядре речь о 9 мин не идет
Всего записей: 1797 | Зарегистр. 23-10-2004 | Отправлено: 08:21 07-06-2024 | Исправлено: MZN, 08:28 07-06-2024
anatol1950

BANNED		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору




Оскорбления, 14 суток
Всего записей: 46 | Зарегистр. 22-04-2017 | Отправлено: 10:05 07-06-2024 | Исправлено: Maz, 10:50 07-06-2024
bolega

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Вам это неприятно, но СТ не создает новых процессов

)))
мне это безразлично, СК никогда не ориентировался на то, как сделано в других программах (кстати, за годы было много претензий на этот счет). Просто потому, что я обработчик, и делал СК для себя, и параллельно делился с другими.  
И поделитесь, что плохого в создании процессов.  
Впрочем, адепты СТ всегда тут бесновались, я привык )
Всего записей: 4533 | Зарегистр. 09-09-2002 | Отправлено: 10:10 07-06-2024 | Исправлено: bolega, 16:53 07-06-2024
esys

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
СК никогда не ориентировался на то, как сделано в других программах

Тут видно, что это не так.
Всего записей: 441 | Зарегистр. 22-06-2016 | Отправлено: 10:29 07-06-2024 | Исправлено: esys, 10:30 07-06-2024
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51

Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » ScanKromsator | СканКромсатор (Часть 5)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru