Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » Web-программирование » Написание скрипта для каталогизации e-book'ов в Варезнике

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10

Открыть новую тему     Написать ответ в эту тему

LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
За первый общепригодный результат благодарим vladgangan
 

IsbnExtractor v1.2 Executable:
http://dl.downloadhosting.com/download/vladgangan/IsbnExtractor_v1.2.exe
 
IsbnExtractor v1.2 Source:
http://dl.downloadhosting.com/download/vladgangan/IsbnExtractor_Source_v1.2.exe

 
Утилита написана под .NET
 
Вытаскивает номера ISBN из локальной коллекции ебуков, располагает их в XML-дескрипторах папок (для удобства перемещения папок с книгами между носителями).
 
 
Процесс рождения утилиты описан на 1-6 страницах темы, там же - более подробная документация.  
 
Теперь, наконец, можно начинать Web-программирование
 
 
А пока срочно ищется человек, который откомпилит под винды один из серверных скриптов для проверки варез-релизов. Или иным образом перенесет их логику на винды, с целью не только выявления битых релизов, но и вытаскивания всего, что вытаскивается, во временный каталог.
 
Вторая полезная утилита:

Цитата:
Написал скрипт AutoIT3 для извлечения ISBN из коллекции DJVU книг. Необходим FR и  Djvudecode. В скрипте также выполняется проверка ISBN по 10-ой контрольной цифре.  
http://www.mytempdir.com/2026301  
(c)U235
 
Alfa Ebooks Manager-0.4.5.0 2008-01-17
Готовая утилита для работы с PDF с множеством встроенных функций, таких как распаковка архивов, поиск информации в Интернете и экспорт в локальную базу данных Microsoft Access (JET Engine .mdb)
 
 
 
Первоначальная шапка темы





Исправил название. — Svarga.

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 23:46 28-06-2004 | Исправлено: 174bpm, 14:38 24-02-2008
Svarga

Moderator
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LevT

Цитата:
Средства: страничка dhtml + javascript, в одном из фреймов отображается сайт Amazon, в другом - пользовательский интерфейс, позволяющий:  

dhtml не существует в природе (по крайней мере как язык программирования)
 
В javascript запрещён доступ к фрейму, содержимое которого загружено с другого хоста.
 
Без серверных языков невозможно... Если и напишет такое кто-то, сервер кто-нибудь для общего пользования скриптом предоставит?
 

Цитата:
 во избежании реферреров и проблем с хЫтрой IE security

... а точнее с полным отсутствием таковой
 
Идея может быть даже и интересная, но из области сказок.
 
Касательно желающих — есть некие подозрения, но не выскажу
 
 

Цитата:
Координация работы с готовой программой будет осуществляться в варезнике, в топике о ебуках.

А тут тогда тема по какому поводу?

----------
away.

Всего записей: 4161 | Зарегистр. 25-06-2002 | Отправлено: 00:08 29-06-2004 | Исправлено: Svarga, 00:33 29-06-2004
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LevT
 
Основая идея понятна - в некоторой степени упростить и облегчить работу по информированности народа eбуками.
 

Цитата:
Задача: каталогизация имеющихся у народа eBook, обмен каталогами, адресные реквесты  

 
Так?
 
Но это обще очень, а вот тех. задание сформулировано не понятно.
 
Что нужно.
 
Напиши модель - как вы в варезнике видите то, что просите. Как оно должно работать, какие должны быть функции. А вот _на чем писать_ - вот это не надо думать, хорошо? Напишите точно-точно, что нужно.

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 00:27 29-06-2004
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Svarga
 

Цитата:
В javascript запрещён доступ к фрейму, содержимое которого загружено с другого хоста.  

 
Жалко: я думал, что эта фича (из области той самой security) не применима к локальным файлам. Тем не менее, по моим представлениям, она все же обходится в mshta (HTML Application). Насколько помню, там задействован атрибут у фрейма, отменяющий защиту.
 
Второй вариант: два отдельных окна MSIE. Отдельным инстансом MSIE точно можно рулить из скрипта (например из-под wsh)
 
 

Цитата:
Без серверных языков невозможно... Если и напишет такое кто-то, сервер кто-нибудь для общего пользования скриптом предоставит?  

 
Очень желательно обойтись без сервера. Хотя в принципе он есть и у меня  Доступность, правда, у моего сервера будет хуже, чем если захостить сервис на том же руборде.
 
 

Цитата:
А тут тогда тема по какому поводу?

 
Тема по поводу проектирования/программирования. Если выгорит - в варезнике-ебуках будет осуществляться координация использования. Так посоветовал Nep.
 
 
 
lynx
 

Цитата:
 Основая идея понятна - в некоторой степени упростить и облегчить работу по информированности народа eбуками.  

 
 
Есть общедоступная для веб-клиентов база книг с уникальными id, поиском и исчерпывающими описаниями. Это Amazon. Основная идея: дополнить эту базу (распределенной) частной информацией - в основном состоящей из галочек да признаков оригинал/ перевод, chm/pdf/djvu... - и организовать обмен дополнениями:
 
в первую очередь - обмен информацией о том, что у людей есть,  
во вторую - списками того, что им требуется.  
В третью - автоматизировать поиск тех списков имеющегося в наличии, в которых содержится требуемое.  
В четвертую - также и коммуникацию участников (т. е. пересылку списков и адресных запросов).  
 
 

Цитата:
Напишите точно-точно, что нужно.

 
Напишу завтра, после прочтения вновь поступивших комментариев.

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 01:21 29-06-2004 | Исправлено: LevT, 01:54 29-06-2004
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору


Цитата:
А вот _на чем писать_ - вот это не надо думать, хорошо?

 
Хорошо, тогда могу поделиться соображениями.  
 
Во-первых, как я уже писал, очень желательно обойтись без сервера, чисто клиентским софтом. Во-вторых, успех предприятия зависит от полноты охвата аудитории. Условие установки любого откомпилированного софта может кого-то напрячь - вдруг вирусы, трояны и т. д.  Самая ненапрягающая в этом смысле вещь - броузер, который у всех уже установлен, и незашифрованный скрипт.
 

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 08:13 29-06-2004
Cheery



.:МордератоР:.
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LevT

Цитата:
и незашифрованный скрипт.  

на чем?? JS не пойдет.. Perl? не у всех есть.. да и обработка будет в консольном окне..  и то, если у юзверя все правильно настроено.. VB или ActiveX? браузер будет ругаться и некоторые антивирусы..


----------
Away/DND

Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 08:16 29-06-2004 | Исправлено: Cheery, 08:17 29-06-2004
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Requirements, v.0.3
 
 
Есть общедоступная для веб-клиентов база книг с уникальными id, поиском и исчерпывающими описаниями. Это Amazon. Основная идея: дополнить эту базу (распределенной) частной информацией, в основном состоящей из галочек да признаков оригинал/ перевод, chm/pdf/djvu... Для ее пополнения и обработки требуется написать оболочку, обеспечивающую:  
 
 
A. Получение информации о книгах, которыми располагают остальные участники.
(включает A' Формирование списка участников, располагающих требуемыми книгами)
 
1. Добавить отображаемую книгу в личный список наличного.
Если списка нет - создать или загрузить его сохраненную копию.
 
2. Просмотреть сводный список наличного (у других):
    2.1 Отобразить сводный список наличного с возможностью сортировки и фильтрации.  
Если список не загружен - загрузить из указанного места множество чужих личных списков наличного и построить сводный список наличного.
    2.2 Просматривать Amazon-описания отдельных книг из текущего списка.
Включить сценарий A': Формирование списка участников, располагающих требуемыми книгами
 
 

Цитата:
A' Формирование списка участников, располагающих требуемыми книгами
 
    2.1 Добавить просматриваемую книгу к (личному) сводному списку исходящих реквестов.
Если сводный список исходящих реквестов не создан - создать пустой список.
    2.2 Сохранить сводный список исходящих реквестов  

 


 
B. Получение информации об участниках, располагающих нужными книгами.  
(включает B'. [b]Формирование личного списка разыскиваемых книг.
)
(включает A' Формирование списка участников, располагающих требуемыми книгами)
 
1. Добавить отображаемую книгу в личный список требуемого
Если списка нет - создать или загрузить его сохраненную копию.
 
2. Просматривать личный список требуемого и сверять со сводным списком наличного (у других)
    2.1 Отобразить личный список требуемого с возможностью сортировки и фильтрации.  
    2.2 Просматривать Amazon-описания отдельных книг из текущего списка.
Включить сценарий B' (Формирование личного списка разыскиваемых книг).
Включить сценарий A': Формирование списка участников, располагающих требуемыми книгами
 
 

Цитата:
B' Формирование личного списка разыскиваемых книг/
 
    1 Найти просматриваемую книгу в сводном спиское наличного (у других).
Если книга не найдена - добавить ее в (личный) список разыскиваемого.
    2 Сохранить список разыскиваемого.

 
 


 
С. Поиск имеющихся в наличии источников требуемого
 
1. Поиск личных списков наличного (у коллег), включающих элементы личного списка требуемого
 
    1.1 Локальный поиск.
    Если сводный список имеющегося не построен - построить его из (присланных и скачанных) личных списков наличного.
 
    1.2 (Если существует возможность формировать и хранить (общий для всех) сводный список наличного на сервере.) Глобальный поиск.
Если сводный список наличного на сервере не обновлен - загрузить на сервер личный список наличного  
 
       1.2.1. Клиентский поиск
       Если сводный список наличного не получен с сервера - получить его.
 
       1.2.2. Серверный поиск
              1.2.2.1. Получить с сервера сводный список исходящих реквестов.
 


 
 
D. Адресная пересылка личных списков. Адресная пересылка личных реквестов.
 
1. Серверный вариант (предпочтительнее, в целях анонимности)
2. Клиентский вариант.
 
 
 




 
 
Глоссарий
 
 
1. Сообщения обмена (persistent списки для публикации и последующего объединения):
 
Личный список наличного - состоит из имеющихся у участника книг, которыми он готов поделиться.
 
Личный список разыскиваемого - состоит из нужных книг, не найденных в доступных личных списках наличного.
 
 
 
2. Текущий список - временный (существующий в пределах сеанса) набор отсортированных и отфильтрованных ссылок для просмотра их Amazon-описаний:
 
Сводный список наличного - компиляция из доступных личных списков наличного.
 
Личный список требуемого - список для пакетного поиска среди сводного списка наличного, формирования личного списка разыскиваемого и сводного списка исходящих реквестов.
 
 
3. Список реквестов выглядит примерно так:
 
- имеет Вася Пупкин (email@mail.ru) - ISBN12345 - "Основы опупения" - CHM - ищет Хрюн Моржов (hrun@mail.ru)
- имеет petyagadyukin (руборд ПМ) - ISBN67890 - "Опупение для чайников" - CHM - ищет Хрюн Моржов (hrun@mail.ru)
- имеет petyagadyukin (руборд ПМ) - ISBN12345 - "Основы опупения" - PDF, русский пер.  - ищет Хрюн Моржов (hrun@mail.ru)
- имеет Вася Пупкин (email@mail.ru) - ISBN23456 - "Профессионалу. Опупение" - PDF - ищет Хрюн Моржов (hrun@mail.ru)
 
Сортировка, фильтрация и отправка запросов по нему осуществляются для начала вручную вне системы.
 
Хотя... Может, сразу рассматривать его в качестве третьего типа системного сообщения и формировать его автоматически точно так же, как формируются оба вышеупомянутых типа списков-сообщений?
 

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 08:47 29-06-2004 | Исправлено: LevT, 14:40 29-06-2004
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Актуальнейший и очень подробный документ по поводу MSIE-шной секьюрити, ее влияния и легальных способов ее использования/обхода:
 
_http://www.microsoft.com/technet/prodtechnol/winxppro/maintain/sp2brows.mspx
 
 
 
Добавлено
 
 
Люди, ну что ж вы испугались?  
 
Requirements, v.3 - это развернутая очень дальняя перспектива. Вполне работоспособное и очень полезное начало получится, если реализовать только пункт A (v.2 которого я вынес в шапку).
 

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 19:21 30-06-2004 | Исправлено: LevT, 19:25 30-06-2004
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

 

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 03:13 01-07-2004
Vladroman



Full Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Постановка задачи крайне мутная. В принципе, это вообще не постановка задачи, это Use Case упрощенный. Если ты пытаешь действовать в соответствии с технологией разработки ПО (иначе зачем ты делал Use Case), то где описание применения или постановка проблемы? Принципы работы системы? Внешние функции? Требования? Даже кодеры по одному Use Case не работают, а им деньги платят. Из того, что ты тут написал, совершенно не понятно, что предлагается делать (кроме общей идеи, и то частично), зачем и в расчете на что.

Всего записей: 413 | Зарегистр. 23-09-2003 | Отправлено: 10:29 01-07-2004
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Vladroman
 
Я же писал, что у меня нет достаточного количества (времени*квалификации/денег) для того, чтобы сделать все самому. Потому и предлагаю поучаствовать всем, кто заинтересован в конечном результате.  
 
 

Цитата:
Задача: каталогизация имеющихся у народа eBook, обмен каталогами, адресные реквесты  
 
Средства: страничка html + javascript, в одном из фреймов отображается сайт Amazon, в другом - пользовательский интерфейс, позволяющий:  
 
(см. упрощенный UseCase)  
 

 
 
По поводу инструментов я, разумеется, не настаиваю ни на чем. Просто максимальное количество пользователей будет у такого средства, которое не нужно инсталлировать, и код которого наличествует и незашифрован. Тогда, кстати, можно ожидать стихийного развития: желающие сами добавят нужные функции и прорекламируют их.
 
 
 
Хочется что-то вроде вот этого (набросок UI)
 
 

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 10:51 01-07-2004 | Исправлено: LevT, 14:32 01-07-2004
hyphen

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LevT
 
     нужна каталогизация книг по темам иначе это будет большая мусорная корзина.  
Может это можно сделать через ISBN.
Люди имеют личные каталоги по 20-40Гб. И наименований десятки тысяч, а может уже и сотни.

Всего записей: 101 | Зарегистр. 22-04-2002 | Отправлено: 16:37 03-07-2004
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
нужна каталогизация книг по темам иначе это будет большая мусорная корзина.  

 
Каталогизация по темам - это отдельная большая работа, причем ее невозможно делать децентрализованно. Ну представьте себе требование каталогизировать... варезник по типам софта: за это никто не возьмется.
 
Потому мне видится достаточной возможность фильтрации (как это сделано на руборде) и, возможно, сортировки.
 
 

Цитата:
Может это можно сделать через ISBN.  

 
Вот чтобы вручную не искать и не вводить ISBN, и чтобы не дублировать эту работу многкратно - я и придумал опираться на сайт Амазона.
 
 

Цитата:
Люди имеют личные каталоги по 20-40Гб. И наименований десятки тысяч, а может уже и сотни.

 
Это ж хренова уйма дублированного мартышкина труда! Нужно средство обмена каталогами,
 
 1) легкодоступное, т. е. не требующее освоения  
 2) позволяющее сразу увидеть Amazon-описание каждой книги и скопировать нужную информацию прямо оттуда, не вбивая ее руками.  
 
 3) полезное даже с неполными каталогами: едва ли кто сможет целенаправленно, не получая за это зарплаты, оприходовать сразу все, что имеет. Зато каждый может надеяться на то, что вскоре большинство популярных книг будет охвачено совокупными усилиями коллег.

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 21:59 03-07-2004 | Исправлено: LevT, 22:10 03-07-2004
hyphen

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LevT
 
1. Повторю вопрос в другой форме:
Есть ли какая-то связь между ISBN и содержимым текста в книге?
Если есть, то это уже какая-то классификация, которую можно использовать.
 
2. Большинство книг хранится в каталогах в файлах c форматами chm, pdf, zip, rar и т.д.
Если найдется добчел, который нам напишет windows прогу, которая просматривает файлы в каталоге, заходя и в архивы ессно, ищет там сочетание ISBN  и вытаскивает десять заветных цифр после него, создавая в результате список: номер-имя файла, то всем нам очень бы повезло. Обработав такой прогой каталоги мы получили бы нужный нам общий знаменатель, которым следовало бы и обмениваться. Все остальное, ясно, крепится с Amazona.
Обмениватся просто списком файлов в каталоге нет смысла, обрабатывать их вручную тоже. Это как раз и будет мартышкин труд.
 
3. А хорошо бы тоже, что бы была такая прога которая перепаковывала указанные единицы хранения в один стандартный формат  для обмена: zip или rar, а то жалуются люди на упаковку.

Всего записей: 101 | Зарегистр. 22-04-2002 | Отправлено: 23:46 03-07-2004 | Исправлено: hyphen, 00:01 04-07-2004
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

 

Цитата:
Есть ли какая-то связь между ISBN и содержимым текста в книге?  

 
Никакой связи, кроме реляционной: ISBN - искусственно-"естественный" уникальный ключ к базе буков. То есть к любой мыслимой инфе о книге. В том числе - и к ее содержанию.
 
А из самого ISBN можно добыть разве что издательство. Но это проще сделать единообразно, из Амазона. Для тех, кто не знает: амазонские УРЛы содержат именно ISBN.  
 
 

Цитата:
Если найдется добчел, который нам напишет windows прогу, которая просматривает файлы в каталоге, заходя и в архивы ессно, ищет там сочетание ISBN  и вытаскивает десять заветных цифр после него, создавая в результате список

 
Дело не в доброте человека, а в квалификации. Лазить внутрь CHM и PDF само по себе весьма непросто. Проще всего искать строку ISBN, а затем числа, расположенные поблизости. Вторая заковыка в этом "поблизости"...
 
Другую же инфу, даже названия, доставать автоматом из книг и вовсе нереально. Так что умение работать с Амазон.document - это первое требование для любой проги, призванной облегчить обмен ебуками.
 
А наличие вышеобозначенной мною проги, основанной на незашифрованных скриптах, явится дополнительным стимулом и к той дополнительной автоматизации, о которой вы написали.

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 00:59 04-07-2004 | Исправлено: LevT, 01:19 04-07-2004
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

 
Using a WSH script to control Internet Explorer and generate custom web pages  
 
http://www.computergripes.com/ttdir/WSHandIE.txt
 

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 14:03 07-07-2004
yrtimd



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А вот эти eBook'и (chm/pdf/djvu), для которых нужно сделать систему учета - они все варезные?

Всего записей: 35 | Зарегистр. 13-04-2002 | Отправлено: 17:52 21-07-2004
bukaa



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
hi
сам пользуюсь bookseer  ( hттp:/www.msolt.chat.ru/) в каталоге порядка 7600 книг возможность зделать export *.xml, excel, html
 
для распределённых нужд как понял нужен xml only.
 
придётся держать в нете серваки с распределённой базой в которую данные будут кидать в виде *.xml + контрольные суммы файла и названия книги (ISBN в идеале)
 
такую щтуку на java писать надо ....
1. кодировка utf-8 (всё остальное -- решать перекодировками)
2. данные в виде *.xml
3. выбрать несколько стандартных алгоритмов контрольных сум и вносить его xml
4. возможность автоматической передачи данных по рассписанию
4.1 через jdbc в базу
4.2 через web
4.3 складывать в файл
4.4 высылать на email
5. возможность работы p2p, коннект в сереверу отдача списка, (сами файлы в этом случае можно хостить через emule, edonkey )
6. вариант работы через e-mail (считаю оптимальным ): вибирается нужная книга, и заявка идёт по мылу, клиент по pop3, imap, web отслежывает запросы, и высылает ответ,(нужна поддержка аноним http proxy), поиск также по мылу, использовать ящики freemail
 
 
p.s. может за такой проэкт M$  возмётся .... )

Всего записей: 97 | Зарегистр. 12-04-2003 | Отправлено: 13:40 04-08-2004
LevT



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

bukaa
 
См. прототип интерфейса. Для первой очереди - вполне достаточно этого.
 

Всего записей: 18151 | Зарегистр. 14-10-2001 | Отправлено: 22:43 05-08-2004
martyanov



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Задача все же, имхо (!), требует серверного скрипта. Если честно, не знаю, почему инициатор идеи так уж против выделенного сервера - думаю, его не так уж сложно найти, да и нагрузка на сервер не будет такой уж большой - сервер же не будет сам отсылать книги, только реквесты, а это, в принципе, немного.
Если условия будут изменены в сторону серверного скрипта - могу попробовать его реализовать.

Всего записей: 291 | Зарегистр. 02-06-2003 | Отправлено: 08:02 19-08-2004
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10

Компьютерный форум Ru.Board » Интернет » Web-программирование » Написание скрипта для каталогизации e-book'ов в Варезнике


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2025

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru