Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Sequentum Enterprise | Content Grabber

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6

Открыть новую тему     Написать ответ в эту тему

presentRU

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Обсуждение программы | Варезник

Sequentum Enterprise | Content Grabber



Content Grabber используется для веб-очистки и веб-автоматизации. Он может извлекать контент практически с любого веб-сайта и сохранять его в виде структурированных данных в выбранном вами формате, включая отчеты Excel, XML, CSV и большинство баз данных.
 
Особенностями приложения являются:
• высокая производительность и масштабируемость;
• возможность использования нескольких типов браузеров для запросов;
• удобный отладчик
• встроенный обработчик ошибок;
• восстановление работы после ошибки;
• ведение лога всех операций;
• удобный интуитивный интерфейс, подобный браузеру
• написание своих скриптов.
 
В версии Премиум дополнительно включены следующие возможности:
• интеграция с Visual Studio 2013;
• пользовательские шаблоны отображения;
• командная строка;
• API-интерфейс программирования.


Всего записей: 821 | Зарегистр. 16-10-2006 | Отправлено: 11:43 22-10-2019 | Исправлено: Komandor, 23:30 06-02-2024
presentRU

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
По функционалу прога конечно мощная, но ввиду отсутствия навыков программирования, не могу понять, как добавлять к грабнутым данным дату и время запуска задания. Может в курсе?

Всего записей: 821 | Зарегистр. 16-10-2006 | Отправлено: 15:07 22-10-2019
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
presentRU

Цитата:
ввиду отсутствия навыков программирования

И какой там язык?

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 04:06 23-10-2019
presentRU

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey
Редакт скриптов выглядит примерно так. Но не уверен, что это именно таким образом нужно делать. Буду благодарен, если кто полноценно работает с прогой и пояснит, как дату и время выполнения задания экспортировать каждый раз, при получении данных, в строку excel вместе с данными.

Всего записей: 821 | Зарегистр. 16-10-2006 | Отправлено: 14:37 25-10-2019 | Исправлено: presentRU, 14:38 25-10-2019
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
presentRU

Цитата:
как дату и время выполнения задания экспортировать каждый раз, при получении данных, в строку excel вместе с данными.

 
DATA -> ChangeExportTarget -> Timestamp
 
добавляет дату/время в имя .xls файла
 
Добавлено:
 
AddCommand -> PageAttribute -> Timestamp
 
Добавляет Дату/время отдельным полем в сам файл .xls

Всего записей: 1180 | Зарегистр. 09-10-2016 | Отправлено: 02:18 26-10-2019 | Исправлено: docNemo, 03:04 26-10-2019
presentRU

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
AddCommand -> PageAttribute -> Timestamp

Похоже, что это подойдёт. Кто ж мог подумать, что в атрибутах страницы будет текущее время? Как-то совсем не очевидно, имхо.

Всего записей: 821 | Зарегистр. 16-10-2006 | Отправлено: 12:05 26-10-2019 | Исправлено: presentRU, 12:07 26-10-2019
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
парни, поясните плз в чем преимущество данного софта в сравнении с общеизвестными - Datacol и Content Downloader? буду признателен

Всего записей: 1221 | Зарегистр. 02-05-2006 | Отправлено: 03:06 27-10-2019 | Исправлено: Frantishek, 03:07 27-10-2019
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Frantishek

Цитата:
чем преимущество данного софта в сравнении

Гибше, интуитивней, мощнее.
Датакол это программное извращение, надругательство над здравым смыслом.
Через 30 минут ознакомления с Content Grabber Вы будете уже парсить сайты любой сложности

Всего записей: 1180 | Зарегистр. 09-10-2016 | Отправлено: 15:14 27-10-2019
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
docNemo
спасибо. а насколько там развитый функционал в части экспорта данных.. например парсинга фото. можно ли такое производить -  
- способ сохранения файлов: все вместе, или для каждого запроса/ссылки отдельная папка
- настройки имени файлов при сохранении: оригинальное, или подстановка - поисковый запрос по маске
и как ловко программа делает ротацию прокси (если нужны задержки, случайный/последовательный выбор и тд).

Всего записей: 1221 | Зарегистр. 02-05-2006 | Отправлено: 21:37 03-12-2019
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
может кто успел видео отсюда слить. выложите пожалуйста -  
https://web.archive.org/web/20170606184605/https://contentgrabber.com/web-scraping-videos

Всего записей: 1221 | Зарегистр. 02-05-2006 | Отправлено: 04:16 05-12-2019
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Frantishek
Всё сабж делает ловко, шустро и развито.
А видео доступно и сейчас. У Вас просто в hosts стоит заглушка, которая не пускает туда зайти.
Либо закоментируйте ее, либо воспользуйтесь VPN/T0R

Всего записей: 1180 | Зарегистр. 09-10-2016 | Отправлено: 09:11 05-12-2019
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
docNemo
ох елки, как все просто.  
я вот еще не понял чего. на ютубе, под каналом Sequentum, лежат древние ролики для Visual Web Ripper. на самом сайте этой программы, очень похожая логика выкладки презентаций (для пользователей начального уровня, среднего, и продвинутого, ровно как и на сайте ContentGrabber) и компания тоже из Австралии ). это какой то их форк? причем, софт до сих пор развивается параллельно..  
и попутный вопрос. вам удается делать автономные боты с запуском для сторонних клиентов? для этого лицензии Enterprise достаточно (+ авторег, что сделали в соседней ветке)? (у меня при выборе Royalty-Free возникает ошибка).

Всего записей: 1221 | Зарегистр. 02-05-2006 | Отправлено: 16:30 05-12-2019
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Frantishek
ответил в личке

Всего записей: 1180 | Зарегистр. 09-10-2016 | Отправлено: 21:20 09-12-2019
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
а может кто нибудь привести примеры проектов, для каких то типичных ресурсов (известных магазинов, витрин и тд). которых не жалко. чтобы механизм настроек в целом понять.

Всего записей: 1221 | Зарегистр. 02-05-2006 | Отправлено: 22:28 13-09-2020
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Интересно, почему сабж по умолчанию представляется сайтам как Chrome 75 ?

Всего записей: 1180 | Зарегистр. 09-10-2016 | Отправлено: 18:02 06-01-2021
smilem

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
непонятно в программе Sequentum v2.74 Debug при проверке шагов ошибок не показывает и всё работает но как долго запускается Агент выскакивает ошибка "Web element was not found".
 
Кто может помочь с решением проблемы?
 
Добавлено:
"https://www105.zippyshare.com/v/El9e5But/file.html"
"https://www105.zippyshare.com/v/njcOwD8V/file.html"

Всего записей: 290 | Зарегистр. 30-06-2008 | Отправлено: 09:59 30-04-2021
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
кто нибудь проверял, можно программу натравить на обработку локальных папок с файлами html ?

Всего записей: 1221 | Зарегистр. 02-05-2006 | Отправлено: 02:57 24-11-2021
docNemo



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Frantishek

Цитата:
можно программу натравить на обработку локальных папок с файлами html ?

можно
 

Всего записей: 1180 | Зарегистр. 09-10-2016 | Отправлено: 09:00 24-11-2021
obtim



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
На Гите выложен один готовый проект: https://github.com/rahulvshinde/Sequentum-Agents - возможно кому-то будет полезно
Пробовал по типу файла гуглить: больше не нашел.
На Трубе есть обучающие видео: https://www.youtube.com/results?search_query=Sequentum+Enterprise

----------
Дьявол коварен - он может явиться к нам просто в образе дьявола

Всего записей: 8930 | Зарегистр. 03-03-2002 | Отправлено: 19:47 23-01-2022
obtim



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вопрос решил

----------
Дьявол коварен - он может явиться к нам просто в образе дьявола

Всего записей: 8930 | Зарегистр. 03-03-2002 | Отправлено: 15:30 25-01-2022 | Исправлено: obtim, 17:48 25-01-2022
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6

Компьютерный форум Ru.Board » Компьютеры » Программы » Sequentum Enterprise | Content Grabber


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru