presentRU Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Обсуждение программы | Варезник Sequentum Enterprise | Content Grabber Офф.сайт 1 | Офф.сайт 2 | Онлайн мануалы | Тренировочные образцы | Youtube уроки Content Grabber используется для веб-очистки и веб-автоматизации. Он может извлекать контент практически с любого веб-сайта и сохранять его в виде структурированных данных в выбранном вами формате, включая отчеты Excel, XML, CSV и большинство баз данных.   Особенностями приложения являются: • высокая производительность и масштабируемость; • возможность использования нескольких типов браузеров для запросов; • удобный отладчик • встроенный обработчик ошибок; • восстановление работы после ошибки; • ведение лога всех операций; • удобный интуитивный интерфейс, подобный браузеру • написание своих скриптов.   В версии Премиум дополнительно включены следующие возможности: • интеграция с Visual Studio 2013; • пользовательские шаблоны отображения; • командная строка; • API-интерфейс программирования. Всего записей: 821 | Зарегистр. 16-10-2006 | Отправлено: 11:43 22-10-2019 | Исправлено: Komandor, 23:30 06-02-2024

Frantishek Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору vladles как вариант решения - запросите демо, и потом укажите на эту ошибку разрабу. раньше они нормально общались по демо-тестированию. Всего записей: 1222 | Зарегистр. 02-05-2006 | Отправлено: 16:48 28-08-2022

vladles Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Спасибо.   Ковырял я логи, и понял что после "999" страницы идёт "1,000", и именно формат с запятой не даёт выполнять дальше. List of text links - результата не дало. В настройках пагинации изменил на "list of numeric links" и с помощью Transformation Script в Regular Extencion задавал: (1).*?(000) return $1$2   Пагинация работает в обратную сторону к меньшей странице. На этом зания и варианты закончились. Подскажите пожалуйста каким инструментом пользоваться и как решить этот вопрос. Спасибо. Всего записей: 21 | Зарегистр. 22-03-2008 | Отправлено: 16:13 04-09-2022 | Исправлено: vladles, 16:51 04-09-2022

docNemo Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору vladles что за сайт? что парсить? Всего записей: 1181 | Зарегистр. 09-10-2016 | Отправлено: 19:28 04-09-2022

vladles Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору https://www.zaubacorp.com/company-list/status-Active/roc-RoC-Ernakulam/p-1000-company.html Всего записей: 21 | Зарегистр. 22-03-2008 | Отправлено: 21:16 04-09-2022

docNemo Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору vladles Цитата: https://www.zaubacorp.com/company-list/status-Active/roc-RoC-Ernakulam/p-1000-company.html   Если я верно понял, нужно посетить каждую страницу с https://www.zaubacorp.com/company-list/status-Active/roc-RoC-Ernakulam/p-1-company.html по https://www.zaubacorp.com/company-list/status-Active/roc-RoC-Ernakulam/p-1861-company.html   В таком случае можно просто составить вручную список обхода, т.к. урлы страниц отличаются лишь конечным значением: p-1-company.htm p-2-company.htm ... p-1861-company.html   Как сделать такой список - дело навыка и вкуса.   Например вот таким скриптом :   Код:   @ECHO OFF :START set p1=https://www.zaubacorp.com/company-list/status-Active/roc-RoC-Ernakulam/p- set p3=-company.html cd /d %~dp0 FOR /L %%i IN (1,1,1861) DO echo %p1%%%i%p3%>>list.txt     Сохраните код в .bat файл и выполните. Рядом с батником появится файл списка list.txt Всего записей: 1181 | Зарегистр. 09-10-2016 | Отправлено: 22:01 04-09-2022 | Исправлено: docNemo, 23:14 04-09-2022

vladles Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору docNemo А если нет ни навыков, ни вкуса? Может есть какое-то решение, потому как задача одноразовая, я с парсингом первый раз работаю (и надеюсь последний). Всего записей: 21 | Зарегистр. 22-03-2008 | Отправлено: 22:07 04-09-2022

obtim Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору vladles В Excel нагенерить столбец от 1 до 1861, потом в Notepad вставить нагенеренные значения к https://www.zaubacorp.com/company-list/status-Active/roc-RoC-Ernakulam/p- и потом закрыть это столбцом  с -company.html Всего записей: 8944 | Зарегистр. 03-03-2002 | Отправлено: 22:10 04-09-2022

docNemo Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору vladles Цитата: Может есть какое-то решение, потому как задача одноразовая   вот список   Добавлено: вот готовый проект Всего записей: 1181 | Зарегистр. 09-10-2016 | Отправлено: 23:09 04-09-2022

vladles Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору "А так можно было?" - как говорил один известный персонаж.   Спасибо огромное тем кто откликнулся! Как всегда, решение оказалось простым, на задачу с которой мучаюсь вторую неделю.   docNemo А вы также генерируете URL как Obtim описал? Всего записей: 21 | Зарегистр. 22-03-2008 | Отправлено: 12:33 05-09-2022 | Исправлено: vladles, 12:41 05-09-2022

docNemo Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору vladles Посмотрите мой предыдущий пост, я добавил туда скрипт Всего записей: 1181 | Зарегистр. 09-10-2016 | Отправлено: 12:49 05-09-2022 | Исправлено: docNemo, 12:50 05-09-2022

vladles Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору docNemo Спасибо, шикарно работает! Всего записей: 21 | Зарегистр. 22-03-2008 | Отправлено: 21:25 07-09-2022

obtim Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору tkanpa Попробуй парсить с нормальных проксей и менять USER агент Всего записей: 8944 | Зарегистр. 03-03-2002 | Отправлено: 10:52 11-11-2022

docNemo Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору tkanpa Проект в студию Всего записей: 1181 | Зарегистр. 09-10-2016 | Отправлено: 21:44 12-11-2022

obtim Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору docNemo А как в рамках работы с проектом ПЕРЕМЕСТИТЬ несколько элементов в нужное время(не нашел сочетание клавиш и перетаскивание мышкой не срабатывает)? Пример(необходимо выделенные элементы переместить выше): ---------- Дьявол коварен - он может явиться к нам просто в образе дьявола Всего записей: 8944 | Зарегистр. 03-03-2002 | Отправлено: 20:35 13-11-2022

docNemo Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору obtim Цитата: как в рамках работы с проектом ПЕРЕМЕСТИТЬ несколько элементов перетаскивание мышой должно работать, надо хвататься за  значок </> Всего записей: 1181 | Зарегистр. 09-10-2016 | Отправлено: 21:12 13-11-2022

obtim Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору docNemo К сожалению у меня тянет только один(там где захватил за значок </>), а не группу. А как вы группу выделяете(может в этом дело)? Я через Ctrl+клик на элементе Всего записей: 8944 | Зарегистр. 03-03-2002 | Отправлено: 08:09 14-11-2022

Страницы: 1 2 3 4 5 6

Компьютерный форум Ru.Board » Компьютеры » Программы » Sequentum Enterprise | Content Grabber

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование