Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » Web-программирование » Написание скрипта для каталогизации e-book'ов в Варезнике

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10

Открыть новую тему     Написать ответ в эту тему

LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
За первый общепригодный результат благодарим vladgangan
 

IsbnExtractor v1.2 Executable:
http://dl.downloadhosting.com/download/vladgangan/IsbnExtractor_v1.2.exe
 
IsbnExtractor v1.2 Source:
http://dl.downloadhosting.com/download/vladgangan/IsbnExtractor_Source_v1.2.exe

 
Утилита написана под .NET
 
Вытаскивает номера ISBN из локальной коллекции ебуков, располагает их в XML-дескрипторах папок (для удобства перемещения папок с книгами между носителями).
 
 
Процесс рождения утилиты описан на 1-6 страницах темы, там же - более подробная документация.  
 
Теперь, наконец, можно начинать Web-программирование
 
 
А пока срочно ищется человек, который откомпилит под винды один из серверных скриптов для проверки варез-релизов. Или иным образом перенесет их логику на винды, с целью не только выявления битых релизов, но и вытаскивания всего, что вытаскивается, во временный каталог.
 
Вторая полезная утилита:

Цитата:
Написал скрипт AutoIT3 для извлечения ISBN из коллекции DJVU книг. Необходим FR и  Djvudecode. В скрипте также выполняется проверка ISBN по 10-ой контрольной цифре.  
http://www.mytempdir.com/2026301  
(c)U235
 
Alfa Ebooks Manager-0.4.5.0 2008-01-17
Готовая утилита для работы с PDF с множеством встроенных функций, таких как распаковка архивов, поиск информации в Интернете и экспорт в локальную базу данных Microsoft Access (JET Engine .mdb)
 
 
 
Первоначальная шапка темы





Исправил название. — Svarga.

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 23:46 28-06-2004 | Исправлено: 174bpm, 14:38 24-02-2008
yojik



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Боялся что моя идея придется не к месту. Рад что вы готовы обсудить и не веб ориентированные варианты. Веб это класно но с ленью бороться помоему придется exe-шниками. Задачу помоему следует решать поэтапно.
 
1) Методом соцопроса посетителей ru-board выяснить в каком формате храняться их коллекции книг. Я предполагаю 3 варианта - а) в какой либо читалке (bookseer hxxp://msolt.chat.ru/, Book Reader, ToM Reader, Textreader Bookshelf) б) структурированны по каталогам/именам файлов (author/title/file.txt или author.tiltle.txt) в) свалка
 
2) В зависимости от наиболее распространенного варианта  
 а) Если читалки то большинство хранит базу данных книг в которой минимум содержится автор, название, путь и имя файла (на примере буксира: книга, автор, тема, размер, путь и имя файла а также имя файла в архиве если путь к архиву, а также служебные поля) достаточно написать перекодировщик этой базы в универсальный формат (для буксира можно даже попросить автора добавить эту функцию (freeware).
 б) Если структурированы по файлам каталогам тогда програмка которая будет сканировать каталоги на наличие книг и по заданному принципу заносить их в базу (принцип придется запросить у пользователя например для файлов "введите маску имен файлов по автору названию типа @.#.* или @-#.* , где @ - автор, # - название, . или - разделители * - любое расширение)
 в) Ну со свалкой разбираться бесполезно если уж сам хозяин не может упорядочить собственные файлы...
 
3) В универсальном формате базы предусмотреть поле для координат пользователя т.е. для каждой книги вписывается кроме названи, автора ... еще и координаты пользователя владельца естественно на данном этапе в локальной базе пользователя для всех книг это одно и то же значение
 
4) Отправка получившейся базы книг пользователя в универсальном формате на "сервер" для построения по базам книг пользователей единой базы книг (я считаю что исходя из требований децентрализованности это можно реализовать мулом, а именно человек-"сервер" поиском мула исчет все файлы напимер base.zzz и скачивает их себе потом на каталог с ними натравливает програмку которая и создает единую базу книг хотя это уже следующий этап)
 
5) Построение единой базы книг
 
6) Распространение единой базы книг (например путем публикации ed2k ссылок на форуме или ссылок на webfile)
 
7) Как собственно обеспечить передачу непосредственно книг. Один из вариантов это расшаривать каталоги книг и в пользовательскую базу на этапе ее генерации добавлять ed2k ссылку на книгу у пользователя хотя с механизмом генерации ed2k я не знаком поэтому не знаю как это осушествить на практике

Всего записей: 29 | Зарегистр. 13-05-2003 | Отправлено: 16:52 13-01-2005
vladgangan



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Che-to ya ne poymu, na chem voobshe zastryali? ISBN iz pdf i chm nashli kak vydiraty hotya by? Pri nalichii ISBN-a zadacha oblegchaetsya. Ya k primeru mogu vzyatysya napisaty na C# biblioteku, kotoraya budet vydiraty ISBN iz pdf-ov i chm-ov. Rezulitaty mojno sohranyaty na vinte v vide xml fayla. Takim obrazom user mojet sozdaty u sebya nabor ISBN-ov imeyushihsya knig i potom skormity vsyakim tam "buxiram" (ili drugim progam). Eto kak odin variant. Nu a vtoroy variant - esli etot xml pustity dalishe dlya razrabotki "nashego" ru-board-ovskogo katalogizatora po HTA, predlojenny LevT.
 
Добавлено
Raven377
Ty vrode kak tam chego-to nalabal uje? I beta-versiyu vrode kak pokazyvaty sobiralsya. No ya na nee link tak i ne uvidel . Mojet propustil chego?

Всего записей: 761 | Зарегистр. 12-09-2002 | Отправлено: 17:16 13-01-2005
Raven377



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
vladgangan
Что-то имеется. Могу выложить если интересно, но то что сейчас готово, похоже на небольшой поисковик по Амазону, т.к у них там веб-сервис имеется, которым я и воспользовался. Вот.

Всего записей: 93 | Зарегистр. 28-11-2002 | Отправлено: 17:25 13-01-2005
vladgangan



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Raven377
Interesno, vyloji esli ne slojno. Esty vopros. Eto web-based proga ili plug-in k IE?

Всего записей: 761 | Зарегистр. 12-09-2002 | Отправлено: 17:59 13-01-2005
c0r0ner



злобный доктор
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ИМХО, сперва стоит запустить сам каталог. Понемногу люди начнут обменивется/добавлять книги в "базу". Если реализовать фичу: у кого есть данная книга. Я имю ввиду, что лучьше создать базу книжек(общую), которые релизились, а потом "присоединять" к книге людей, которые владеют этой книгой. Если человек хранит книгу например в виде Addison Wesley - SQL Performance Tuning.chm или в нескольких вариациях, можно скормить эти имена файлов скрипту, который их добавит, где-то с 70% точность. Я в свое время писал похожий(более простой) скрипт для буржуев, который тож работал через Амазон. То что не нашло, можно потом ручками довести. Просто, опять-таки ИМХО, выкладывать свои списки и потом их индексировать не слишком удобно. Из моей коллекции, на стадии тестирования не нашло около 20 книг, из 437 скормленых

Всего записей: 742 | Зарегистр. 09-12-2001 | Отправлено: 18:59 13-01-2005 | Исправлено: c0r0ner, 19:01 13-01-2005
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
vladgangan
 

Цитата:
Ya k primeru mogu vzyatysya napisaty na C# biblioteku, kotoraya budet vydiraty ISBN iz pdf-ov i chm-ov.  

 
Бью челом. Почтительно приседаю и делаю многократное "ку". Думаю, многие и многие присоединятся.
 
ПОЖАЛУЙСТА, возьмись и напиши!
 
 
yojik
 
Кажись, ты прав, по крайней мере с первыми шагами последовательности. Если бы я сейчас планировал это дело с чистого листа - предложил бы что-то очень похожее. То есть сначала локальнаую интеграци. каталогов типа "файловая система", затем их интеграция между разными пользователями, и только затем - привязка у Амазону.
 
Недостаток этого подхода - отсутствие однозначного идентификатора книги, отсюда неизбежный мусор и размножающиеся дубли (особенно на втором этапе, после того, когда хотя бы десяток пользователей слили бы свои каталоги в один).
 
 
Но в данный момент уже имеется несколько реализаций клиентов Амазона, которые строят каталоги типа "конфетка" с ключом-ISBN. И теперь уже неправильно было бы не использовать этот готовый инструментарий.
 
 
Связать его с твоими этапами интеграции каталогов поможет предложение vladgangan. Это ровно то, чего недостает для связывания двух типов локальных каталогов.
 
Соответственно, в твою схему надо добавить перед отправкой локального каталога  на "сервер" обязательную привязку всего его содержимиого к ISBN и крайне желательную ручную чистку - перевод в каталог типа "конфетка".
 
 
Raven377
 
Павел, не подкачай, дружище!

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 19:00 13-01-2005 | Исправлено: LevT, 19:03 13-01-2005
c0r0ner



злобный доктор
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Недостаток этого подхода - отсутствие однозначного идентификатора книги, отсюда неизбежный мусор и размножающиеся дубли (особенно на втором этапе, после того, когда хотя бы десяток пользователей слили бы свои каталоги в один).

Я обьясню свою идею: основной работой по разборке коллекции занимается не пользователь, а сервер. Создавая общую базу книг, мы избегаем дублей. Путем указания пользователем, что у него есть эта книга, создаются личные списки. Если книга уже есть в базе, пользователь просто добавляется как один из владельцев. Вся инфа хранится локально, но завязано на Амазоне(поиск и добавление первый раз)

Всего записей: 742 | Зарегистр. 09-12-2001 | Отправлено: 19:10 13-01-2005
Raven377



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
vladgangan
Прошу прощения за неоперативность, чего-то почта плоховато ходит, с какими-то непонятными запозданиями. Хм... Я думал что в форуме можно файл к сообщению приаттачивать, ан нет... Давай тогда я тебе на почту скину архивчик. Это НТА, то есть как веб-аппликация, только прав у нее побольше.
 
LevT
Не подкачаю!! А с чем если не секрет?

Всего записей: 93 | Зарегистр. 28-11-2002 | Отправлено: 19:18 13-01-2005
vladgangan



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Raven377
vladgangan (sobak) pochtamt.ru
 
Esty kakie-nibudy guidelines dlya ustanovki (deployment-a) ili mojno prosto raspakovaty i zapustity?

Всего записей: 761 | Зарегистр. 12-09-2002 | Отправлено: 19:23 13-01-2005
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

c0r0ner
 

Цитата:
 Я имю ввиду, что лучьше создать базу книжек(общую), которые релизились,

 
Проблематично пока что создать даже частную базу релизнутых книжек, а ты об общей...
 
На самом деле, ключевой недостающий элемент для всех "локальных" или "распределенных" направлений развития проекта, вроде бы, взялся сделать vladgangan.  
 
 

Цитата:
Из моей коллекции, на стадии тестирования не нашло около 20 книг, из 437 скормленых

 
Стрёмно как-то экстраполировать этот результат на объединение неопределенного множества коллекционеров.
 
 
Если уж выделять для проекта сервер - лучше всего начать с переноса на сервер клиентских скриптов Raven377. А потом постепенно добавлять интерфейсы для скармливания этим скриптам разного типа пакетных обновлений базы. С обязательной ручной чисткой результатов каждого обновления.

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 19:34 13-01-2005
c0r0ner



злобный доктор
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Проблематично пока что создать даже частную базу релизнутых книжек, а ты об общей...

Я имил ввиду что сперва не создавать пользовательские списки а потом их соединять, а наоборот

Всего записей: 742 | Зарегистр. 09-12-2001 | Отправлено: 19:38 13-01-2005
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Raven377
 
Не теряй интенсивного контакта с vladgangan. Снабжай его требованиями, которые ты,  после наших обсуждений мылом, сейчас должен представлять себе лучше всех. Оперативно тестируй его библиотеку, а пока она не закончена, параллельно готовь клиентский код для встраивания ее в свой каталогизатор или BookCollection - реши сам, куда, и как именно сделать лучше.
 
 
 
Добавлено
 
c0r0ner
 
Да я понял. Сужу по себе: я лично не сочту свою contribution полезной, пока не оприходую ВСЕ свои книги. Даже и не начну заниматься этим, пока не будет инструмента, позволяющего в разумный срок начать и завершить это дело до конца. ("Двадцать" своих книг я могу вручную разобрать, а вот кто гарантирует разбор двухсот неразобранных автоматом книг от десятка пользователей? А двух тысяч от сотни?)
 
Возможно, люди с другим психотипом поведут себя иначе. Не знаю...

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 19:41 13-01-2005 | Исправлено: LevT, 19:53 13-01-2005
Raven377



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
vladgangan
Есть кое-какие guidelines, но они там в хелпе есть. Архив ушел к тебе на мыло, распакуешь - там файлик shelf.hta, его и нужно запускать. Есть одно НО, если ось спросит чем его открывать - выбери IE.
 
LevT
Буду стараться, попробую еще разок разобрать приватные и паблик требования чтобы попробовать накидать картину.  
 
all
Насчет C# библиотеки, а то что клиентам нужно будет ставить .NET Framework это никого не смущает? Или я что-то путаю?

Всего записей: 93 | Зарегистр. 28-11-2002 | Отправлено: 19:51 13-01-2005
vladgangan



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Raven377
Net, ne putaesh ... No po drugomu sdelaty ne mogu ... Zainteresovannym litsam samim pridetsya reshaty - stavity li .NET Framework i polizovatysya "blagami tsivilizatsii" ili delaty vse po-starinke vruchnuyu ...

Всего записей: 761 | Зарегистр. 12-09-2002 | Отправлено: 19:57 13-01-2005
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Библиотека пускай будет на чем угодно. Ради столь уникальной вещи можно поставить все.  
 
Или потом портировать ее куда-то, по желанию и возможностям.  

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 19:57 13-01-2005
Raven377



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
LevT
vladgangan
 
Хм... Товарищи, так а чего мы тогда мучаемся??? Давайте тогда на C# сделаем аппликацию, с соответствующим функционалом. Что скажете? Я весь свой функционал(НТА) за пару дней портирую на .NET, раз уж такая пьянка пошла. Что скажете? У меня неплохой опыт девелопмента под .NET. Может еще добровольцы появяться, все-таки заманчиво поучаствовать в таком проекте, да еще и людям помочь, да еще и с новой платформой поработать.

Всего записей: 93 | Зарегистр. 28-11-2002 | Отправлено: 20:21 13-01-2005
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

А смысл переписывать то, что и так работает? Ну захостишь это потом внутри WebBrowser от NET 2.0, если будет сильно зудеть
 
На самом деле, психологически предварительное требование поставить .NET - довольно сильное. Лучше его выдвигать не в лоб, а исподволь: вот такая-то функциональность у нас только на .NET: хотите - пользуйтесь, хотите портируйте сами. А софтинку-то попробуйте, попробуйте, она .NET не требует. Правда вот без .NET придется ручками доставать ISBN из файлов... Ну а если хотите автоматом - то у нас есть готовое решение. Правда, .NET поставить придется.
 
Нам ведь надо набрать критическую массу пользователей: об их количестве можно будет перестать заботиться не ранее, чем сама эта набранная масса будет серьезным стимулом присоединиться. А пока важен минимализм твоего нынешнего решения.

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 22:15 13-01-2005
vladgangan



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LevT
Совершенно верно сказал. Разделение функциональностей - это правильный подход. Часть на одной технологии, часть на другой. Одна часть вытаскивает инфу, а другая ее процессит.

Всего записей: 761 | Зарегистр. 12-09-2002 | Отправлено: 23:06 13-01-2005
vladgangan



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Raven377
LevT
Kak narod smotrit na warez v proekte?
Posovetovalsya s collegami po rabote na nashu temu. Kak opornuyu tochku reshili kopaty v storonu formata PDF. Predlojili ne izobretaty koleso, a vospolizovatysya progoy "PDF2TXT" (http://www.verypdf.com/). Ona tipa mnogo chego umeet: extractity text s opredelennyh stranits, zapuskatysya iz konsoli, silent-mode, rabotaet s kuchey filitrov i t.d.. V obshem ideya takaya chto progu dlya kajdogo fayla zapuskaty iz komponenta, ona vidiraet pervye ego 10-20 stranits, sohranyaet v fayl, nu a my potom etot textovyy fayl RegEx-im na nujnyy nam pattern (ISBN). Crack-i na progu v inete esty. Ee mojno ne installity, a "postavliaty" vmeste s komponentom, pravda pri pervom ee zapuske nado budet vvesti serial number. Eto kak variant naimenishego soprotivleniya . Inache pridetsya po ushi zalezty v spetsifikatsii PDF ot Adobe ... Che skajet obshestvennosty?

Всего записей: 761 | Зарегистр. 12-09-2002 | Отправлено: 10:35 14-01-2005
Cheery



.:МордератоР:.
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
vladgangan

Цитата:
Crack-i na progu v inete esty

никаких "crackов" тут... да и есть бесплатная утилита для командной строки.
http://www.foolabs.com/xpdf/download.html

----------
Away/DND

Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 10:38 14-01-2005
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10

Компьютерный форум Ru.Board » Интернет » Web-программирование » Написание скрипта для каталогизации e-book'ов в Варезнике


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2025

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru