lwz Full Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Cheery спасибо.   Добавлено: С обработкой ответа я вроде как разобралсяно, но как симитировать сам запрос через мою форму и получить ответ? ---------- Моё :) Всего записей: 498 | Зарегистр. 29-04-2002 | Отправлено: 18:27 08-02-2005

lucky Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору lwz http://forum.ru-board.com/topic.cgi?forum=31&topic=3108#1 только там: 1) PHP 2) про курсы валют, но это легко поправимо ---------- я буйный, но прикидываюсь тихим ага.... и фигачу свой старый проектег Лунная База Всего записей: 679 | Зарегистр. 10-04-2002 | Отправлено: 16:31 21-02-2005

exMIB Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору tedo Цитата: Здраствуйте!   У меня такая же почти проблема. У меня есть програмка которая крутит бегущую строку на большой экран телевизора через комп. Прокручиваемую инфу он берет из любого текстового файла...... Всю инфу из интернета надо вбивать вручную((((((((( Ребята!!!!Нужен скрипт который бы дергал контент с сайта www.livescore.com Там нужны поля КОМАНДЫ ВРЕМЯ ИГРЫ и СЧЕТ   Можно ли такое сделать.....       С уважением Тедо Программу в обмен на способ выдергивания. Всего записей: 3337 | Зарегистр. 27-09-2001 | Отправлено: 18:47 01-06-2005

exMIB Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Вот нашел код в теме http://forum.ru-board.com/topic.cgi?forum=28&topic=0655#1 Цитата: $content= fread(fopen("http://www.url.here", "r"), 100000);   if ($content)   {   $start= strpos($content, "откуда режем - уникальный хтмл-код!");   $finish= strpos($content, "докуда режем - уникальный хтмл-код!");   $length= $finish-$start;   $code=Substr($content, $start, $length);   }   echo $code;       Не проверял ещё. Мне нужно это ещё в файл загнать, а потом через SSI вставить. Как в файл HTML загнать ? Всего записей: 3337 | Зарегистр. 27-09-2001 | Отправлено: 00:36 25-11-2005 | Исправлено: exMIB, 00:37 25-11-2005

exMIB Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору phpcoder Цитата: Написал скрипт на PHP который грабит страницы с другого сайта.   Скрипт работает с браузера.   Алгоритм работы таков: В базе держу урлы страниц, беру урлы по одному, граблю, выставляю в базу флаг что урл сграблен, хедером посылаю в броузер рефреш. Далее беру урл у которого флага нет и по кругу.   Теперь я хочу изобразить нечто такое, чтобы это работало с CRONTAB.   В цикл загонять урлы и грабить их не хочется.   И ещё интересна возможность грабить одновременно несколько урлов.   А кодом поделишься ? Всего записей: 3337 | Зарегистр. 27-09-2001 | Отправлено: 21:49 26-11-2005

exMIB Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору phpcoder А понял, а формат таблицы какой, но как с веб загнать адреса в базу ? Всего записей: 3337 | Зарегистр. 27-09-2001 | Отправлено: 17:04 27-11-2005 | Исправлено: exMIB, 17:11 27-11-2005

exMIB Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору phpcoder Цитата: Например, грабим урл hxxp://domain.com, который содержит урлы страниц которые нам надо  в дальнейшем сграбить, эти урлы пихаем в базу. Структура таблицы примерно такая   ID int,   URL text,   FLAG int.   Что дальше я уже писал.   Понятно, т.е. у тебя база сама пополнется из HTML страницы со списком ссылок.   Добавлено: Цитата: P.S. И все же было бы интересно, есть ли ответ на мой вопрос, или какое-нибудь решение, я просто даже не знаю в какую сторону смотреть. Чем смогу помогу:   Использование CRON и команды crontab http://www.codenet.ru/webmast/php/cron.php   http://lafox.net/support/index.php?showtopic=6677   Добавлено: Кто к нам с хотлинком придет ...   http://www.rusawm.com/articles.php?id=86 Всего записей: 3337 | Зарегистр. 27-09-2001 | Отправлено: 23:35 28-11-2005

Delphi6 BANNED Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору phpcoder Я уже решал данную проблему на заказ. Только в моем случае я определял с кем треидит данный сидж. У вас возникнут проблемы с перегрузкой сервера и с timout-ом вашего скрипта, по этой причине рекомендую вам разобрать следующие веши: 1) Crontab без него никуда, это типа шедула только под никсы. 2) Симуляция работы скрипта в много потоковом режиме. 3) Для реализации выше сказанного вам понадобиться разобраться как запускать внешние скрипты из вашего скрипта (*nix command line + exec()) Не уверен что у меня остались все исходники, но если возникнуть вопросы пишите на мыло administrator@gesoft.org, чем могу помогу П.С. В моем случае мне каждую ссылку приходилось проверять до 100 раз, так как каждый раз редирект происходил на разные сайты. Всего записей: 2631 | Зарегистр. 06-07-2004 | Отправлено: 04:19 29-11-2005

Delphi6 BANNED Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору phpcoder Цитата: Интересна тема симуляции в многопотоковом режиме. В PHP это вообще возможно? Реально Для примера можно взять последний проект proxy-list.org так каждые 10 минут проверяются 590 прокси, проверять все из одно скрипта невозможно, так как таим аут у каждого прокси 30 секунд, ну вод и подсчитайте сколько времени нужно на все это? Вот и запускаю каждые 10 минут 590 потоков (скриптов одновременно), конечно сервер подвисает, доступ к сайту в это время на 30 секунд прерывается, так как это типа локальной ддос атаки Вот пример как из командной строки запускать: Код:             for ($i=0; $i<590; $i++) {                 $command = "/usr/bin/php ${_SERVER['SCRIPT_FILENAME']} op=myoperation id=$variable 2>/dev/null >&- <&- >/dev/null &";                 exec($command);             } Что в конце "2>/dev/null >&- <&- >/dev/null &" даже не спрашивай Долго объяснять (на форуме год назад или пол обсуждал эту тему ) в подробностях, но это для того что бы результат работы не возвращался, другими словами работа в саилент режиме. Результат работы каждого "потока" (скрипта) записывается в базу, и потом обрабатывается Можно конечно уже обработанную информацию загонять в базу Всего записей: 2631 | Зарегистр. 06-07-2004 | Отправлено: 02:42 02-12-2005 | Исправлено: Delphi6, 02:42 02-12-2005

Brodyaga Silver Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору INI fopen_wrappers   Добавлено: Тем более редирект идет на hххp://www1.soccerstand.com/ ---------- Damn Metal Всего записей: 2713 | Зарегистр. 07-01-2006 | Отправлено: 10:42 07-03-2006

v7r Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Господа! Очень интересная тема! Мне бы хотелось знать, может ли описанная здесь конструкция на _Perl_: - отправлять данные методом post; - поддерживать cookie;   Насчет первого я почти не сомневаюсь, остальное... Объясню, зачем надо: зайти на сайт, набрать логин/пароль, принять cookie и скачать оттуда контент. Пример: так работают большинство почтовых ящиков через web.   И еще: как устроены сессии? В смысле, когда заходишь на сайт, логинишься, выдают session id - длинное hex число, - я так понял, оно уникально. Сессия держится определенное время. Зная sid можно зайти на сайт без пары логин/пароль (если сайт не поддерживает cookie). Если что-то не так, поправьте. Всего записей: 148 | Зарегистр. 24-11-2004 | Отправлено: 18:42 07-03-2006

Brodyaga Silver Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата:   И еще: как устроены сессии? В смысле, когда заходишь на сайт, логинишься, выдают session id - длинное hex число, - я так понял, оно уникально. Сессия держится определенное время. Зная sid можно зайти на сайт без пары логин/пароль (если сайт не поддерживает cookie). Если что-то не так, поправьте.   Определенное время-чаще всего 14 минут после неактивности. Это не hex число, это хеш, 32 битный. Зная сид можно зайти только в том случае, если скрипт использует сессии и сессия настоящего пользователя ещё не истекла. Это серверная часть.   Добавлено: Цитата: - отправлять данные методом post;   - поддерживать cookie;   Достатчно поискать на search.cpan.org по слову LWP и вывалится модуль, предоставляющий отличные возможности для этого и многого другого. ---------- Damn Metal Всего записей: 2713 | Зарегистр. 07-01-2006 | Отправлено: 18:56 07-03-2006

Страницы: 1 2 3 4 5 6

Компьютерный форум Ru.Board » Интернет » Web-программирование » Граббер страницы с другого сайта

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование