Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » Web-программирование » perl LWP скачать сайт

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки

Открыть новую тему     Написать ответ в эту тему

L_S_V



BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Не выходит скачать сайт:

Код:
 
use strict;
use LWP::UserAgent;
use HTTP::Cookies;
use Encode qw(decode encode);
 
 
 
 
my $site = 'https://www.exploit-db.com/webapps/?order_by=date_published&order=desc&pg=1';
    my $cookie_jar = HTTP::Cookies->new(
        file => 'lwp_cookies.txt',
        autosave => 1,
        ignore_discard => 1,
   );
 
    my $ua = LWP::UserAgent->new(
        ssl_opts => { verify_hostname => 1 },  
        cookie_jar => $cookie_jar,
        );
                    #$ua->timeout(10);
                    #$ua->agent('Opera/9.62 (Windows NT 6.0; U; ru) Presto/2.1.1');
    my $response = $ua->get($site);
 
 if ($response->is_success) {
  my $html = encode("cp866", $response->decoded_content);
    while( $html =~ m/download/ig ) {
    print "download;";
  }
 }
 else {
     die $response->status_line;
 }
 

Отвкт такой:

Код:
 
403 Forbidden at db.pl line 31.
 

Куда копать, что делать?
Кукисы складываются.

Всего записей: 627 | Зарегистр. 31-03-2005 | Отправлено: 13:45 19-04-2017
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
L_S_V
Не надоело каждый раз создавать новую тему?
 
По умолчанию LWP использует user-agent "libwww-perl", что довольно часто и просто блокируется на сервере, чтобы не скачивали.

Всего записей: 15038 | Зарегистр. 20-09-2014 | Отправлено: 17:08 19-04-2017
Открыть новую тему     Написать ответ в эту тему

Компьютерный форум Ru.Board » Интернет » Web-программирование » perl LWP скачать сайт


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru