Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Операционные системы » UNIX » Скачивание определённых страниц по расписанию

Модерирует : ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки

Открыть новую тему     Написать ответ в эту тему

gruslava

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ищу возможность скриптом c моего сайта раз в сутки скачивать с нескольких сайтов их главную страницу и сохранять куда-то на диск вместе со всеми картинками так, чтобы рядом могли лежать без проблем версии одной и той же страницы за разные даты.
Обычные windows программы не подходят по причине того, что компьютер включен не каждый день.  
Кто-то встречал такое?
Нашёл только PHP WebCopier от 2003 года, но заставить его работать не получилось.

Всего записей: 52 | Зарегистр. 19-10-2004 | Отправлено: 19:39 04-10-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
gruslava
Так что на сервере исполнять-то можно? И доступ по SSH есть ли?

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 19:52 04-10-2011
gruslava

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
На сервере можно выполнять perl, php скрипты, доступ по ssh есть, но не рутовый. Настравить cron тоже можно.

Всего записей: 52 | Зарегистр. 19-10-2004 | Отправлено: 20:09 04-10-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
gruslava
> доступ по ssh есть
Отлично. Так может быть и wget есть?
$ wget -pEk http://example.org

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 09:23 05-10-2011
gruslava

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да, работает, спасибо!
Я добавил опцию -P <dir> для сохранения в определённый каталог. Но я в линуксовом синтаксе не силён, можете подсказать, как после скачивания заархивировать полученную папку и файлу архива дать имя типа site_YYYYMMDD (то есть год, месяц и день)?

Всего записей: 52 | Зарегистр. 19-10-2004 | Отправлено: 21:36 05-10-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
gruslava
$ tar -cf "site_$(date +%Y%m%d).tar" "$DIR/"
 
можете еще и сжать, если хотите:
$ tar -cjf "site_$(date +%Y%m%d).tar.bz2" "$DIR/"
 

Цитата:
Cheery (05-10-2011 21:54): Перемещено в форум "UNIX"

Ну вот! Раз уж тов. Чири нас выгнал сюда, сообщу, что есть замечательная тема «UNIX Shell: sh, bash, zsh; Coreutils и ко.; sed, awk, perl;». Если будут еще подобные вопросы, прошу туда.
 
> я в линуксовом синтаксе не силён
Каким боком тут Линукс?

 
P.S. Будете оформлять скриптик для запуска по Крону — не забывайте, Крон PATH не наследует, что значит, что пути к исполняемым файлам надо прописывать полные.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 22:43 05-10-2011 | Исправлено: ASE_DAG, 22:46 05-10-2011
Открыть новую тему     Написать ответ в эту тему

Компьютерный форум Ru.Board » Операционные системы » UNIX » Скачивание определённых страниц по расписанию


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru