Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » Web-программирование » LWP::Parallel и PHP

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки

Открыть новую тему     Написать ответ в эту тему

webxtor



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Привет.
Все вы знаете новостные грабберы и грабберы поисковых сайтов.
Есть так же такие грабберы объем скачиваемой информации очень большой, соответсвенно количество страниц с которых ведется граб велико, и поочередным считыванием их далеко не уедешь (очень долго).
 
То есть суть проблемы: Как сделать одновременный граб с нескольких страниц?
 
Говорят на перде есть модуль спецовый, LWP::Parallel, но не могу понять как его юзать..
 
Я все скрипту пишу на PHP и хотел бы знать можно ли как-то это на PHP осуществить? Может всемогущий Curl может помочь или Snoopy (в чем я очень сомневаюсь).
 
Сенкс!

Всего записей: 56 | Зарегистр. 09-04-2003 | Отправлено: 16:28 29-06-2003
Cheery



.:МордератоР:.
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
webxtor
Запускаешь несколько скриптов сразу.. и все.. ед, что нужно сделать - осуществить взаимосвязь между ними, чтобы не повторять запросы. (для этого даже не нужно запускать их через браузер - просто из коммандной строки).

----------
Away/DND

Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 17:59 29-06-2003
webxtor



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Это конечно выход... но громоздко и неудобно. Если скажем канал 20мбит и хочется одновременно 100 страниц грузить, то не запускать же 100 разных скриптов

Всего записей: 56 | Зарегистр. 09-04-2003 | Отправлено: 18:08 29-06-2003
Cheery



.:МордератоР:.
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
webxtor
Тады вот.. но все равно, решение только запускать самому из командной строки (тут работают уже с исполняемым curl)
http://curl.haxx.se/mail/curlphp-2003-06/0009.html
Иначе, на PHP, не думаю, что можно что то сделать..

----------
Away/DND

Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 18:15 29-06-2003
KiRyX



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
webxtor
На perl есть такая штука как fork>>
http://search.cpan.org/~jhi/perl-5.8.0/pod/perlfork.pod

Всего записей: 199 | Зарегистр. 17-11-2003 | Отправлено: 04:42 11-01-2004
webxtor



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
KiRyX
На перле ой как много чего есть... но мне то нужно на пхп..

Всего записей: 56 | Зарегистр. 09-04-2003 | Отправлено: 14:18 11-01-2004
Открыть новую тему     Написать ответ в эту тему

Компьютерный форум Ru.Board » Интернет » Web-программирование » LWP::Parallel и PHP


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2025

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru