Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » WebSite-Watcher

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99

Открыть новую тему     Написать ответ в эту тему

Nep



Moderator
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Для вопросов о лечении - Варезник » WebSite-Watcher

WebSite-Watcher
Текущая версия: 2019 (19.5)
(24.07.2019)
Производитель: Aignesberger Software GmbH

Официальный сайт

 
WebSite-Watcher - мощная программа для мониторинга сайтов на предмет их обновления. При обнаружении изменений обновлённые страницы сохраняются и на них цветом выделяются все изменения. Для более конкретного контроля за изменением определенной информации возможно использование хорошо настраиваемых фильтров. Программа поддерживает интеграцию с наиболее популярными браузерами - Internet Explorer, Firefox, Netscape и Opera.
 
Программа может быть установлена как стандартное приложение, так и в виде портабельной инсталляции - выбор делается при запуске штатного инсталлятора программы.
 
Поддерживаемые системы: Windows XP, Vista, 7, 8, 10 (x86/x64)  
 
  • Скриншоты
  • История версий
  • Скачать последнюю версию (31 МБ)
  • Бета версия
     
    Русский help-файл для WebSite-Watcher
    Manual на русском (PDF)

  • Всего записей: 41927 | Зарегистр. 24-06-2001 | Отправлено: 00:51 01-03-2002 | Исправлено: vasevase, 09:16 26-07-2019
    Will

    Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    tungus1973
    топик и тема в данном контексте это синонимы
    рискнул добавить ссылки в шапку
     
    p.s.: Nep уже довольно давненько отправил форум в свободное плавание ... хотя иногда заглядывает ...

    Всего записей: 223 | Зарегистр. 28-09-2002 | Отправлено: 16:34 11-03-2015
    tungus1973

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Для Will:
    Благодарю!

    Всего записей: 85 | Зарегистр. 28-05-2006 | Отправлено: 16:44 11-03-2015
    Seva I

    Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    Есть такая переменная:  
    name  

     
    видел в справке эту переменную. Она используется для отправки e-mail при обновлении, для экспорта страниц она не работает.  Или я неправильно ее использую.
     
    Так что вопрос пока остался.

    Всего записей: 351 | Зарегистр. 29-07-2002 | Отправлено: 13:04 13-03-2015
    tungus1973

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Если речь идёт об экспорте файла, то имя закладки не используется по ряду причин:
    1. Имя закладки может содержать символы, запрещённые в именах файлов, например /\? и т.д. Тогда файл просто не создастся.
    2. Имя закладки может быть столь длинным, что файл с таким длинным именем будет невозможно зарегистрировать в операционной системе.
     
    Ничего не поделаешь. Остаётся довольствоваться ID закладки.
     
     
    Есть вариант, как обойти это ограничение. Создайте частный плагин для этой закладки, в который скопируйте текст (3 строки с кодом):
     
    Sub Wsw_PreProcessPage(Handle, ByRef sMemWeb, ByRef sStatusMessage, ByRef iStatusCode)
     
        Bookmark_SetProperty(Handle, "infofield1", Bookmark_GetProperty(Handle, "name"))
     
    End Sub
     
     
    Этот небольшой плагин, получив страницу, перед началом её обработки будет считывать название закладки в Инфополе1, которое можно использовать в качестве переменной {infofield1} имени файла. В этом случае Вам придётся контролировать, чтобы название закладки не содержало символов, запрещённых в названиях файлов и было достаточно коротким.
     
     
    Есть другой вариант обойти ограничение. Можно создать для закладки плагин, который будет вставлять в самое верхнее поле страницы любые служебные данные о закладке, вроде названия и др.

    Всего записей: 85 | Зарегистр. 28-05-2006 | Отправлено: 11:47 14-03-2015 | Исправлено: tungus1973, 11:48 14-03-2015
    bdb2000

    Newbie
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Ряд сайтов не показывает контент полностью, а добавляет порциями при нажатии на кнопку типа "Load more" (Например внизу этой страницы  http://www.youtube.com/user/infomoscow24/videos?sort=dd&view=0&shelf_id=0 ). Когда смотришь сайт "вручную" нажимать приходится по 10 и более раз. А как заставить WebSite-Watcher14-1 проверять ВСЮ страницу сразу, "нажимая" кнопку "Load more" до упора. Спасибо.

    Всего записей: 3 | Зарегистр. 18-03-2015 | Отправлено: 22:21 18-03-2015 | Исправлено: bdb2000, 01:29 20-03-2015
    deltaone



    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Может кому сэкономит немного времени (скрапер для WSW)
    https://github.com/deltaone/SCRAPPY

    Всего записей: 139 | Зарегистр. 20-09-2001 | Отправлено: 01:52 20-03-2015 | Исправлено: deltaone, 02:01 20-03-2015
    tungus1973

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    Может кому сэкономит немного времени (скрапер для WSW)  
    Заинтересовало.
    Можете поподробнее рассказать, как работает этот скрапер?

    Всего записей: 85 | Зарегистр. 28-05-2006 | Отправлено: 07:27 20-03-2015
    AnTul

    Silver Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Будьте добры, подскажите, пожалуйста, бесплатный или недорогой аналог. Программа хорошая, но стоимость для меня лично запредельная. 100 евро - я даже не берусь пересчитывать, сколько это в рублях.

    ----------
    Василий Великий: «Кто смотрит на зло без отвращения, тот скоро будет смотреть на него с удовольствием».

    Всего записей: 4436 | Зарегистр. 13-07-2004 | Отправлено: 07:58 20-03-2015
    tungus1973

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    Программа хорошая, но стоимость для меня лично запредельная. 100 евро
    100 евро (6 400 руб.) стоит бизнес-версия. Если вы покупаете программу не для организации, а для личного пользования, то вам нужна версия "Personal Edition" за 50 евро (3 200 руб.). Либо можете купить версию "Basic Edition" за 30 евро (1920 руб.).
     
    Отличия версий можно посмотреть по ссылке. Если в двух словах, то:
    -- в Бизнес-версии есть весь функционал,  
    -- в Персональной версии нет только возможности защитить базу закладок паролем (оно вам надо, если пользуетесь программой всё равно только вы один?),
    -- в Базовой версии проверку закладок нужно запускать вручную, нет возможности отслеживать появление новых ссылок на сайтах, нет возможности писать скрипты. (критично только при очень большом количестве закладок).
     
    Рассмотрите более дешёвый аналог Check&Get. Персональный по цене 560 руб., или Профессиональный за 1120 руб. Отличия версий.  
    По моему мнению, по своим возможностям Check&Get сильно отстаёт от WebSite-Watcher, и к тому же не развивается. Последняя версия вышла в апреле 2010 года.

    Всего записей: 85 | Зарегистр. 28-05-2006 | Отправлено: 08:19 20-03-2015 | Исправлено: tungus1973, 08:30 20-03-2015
    AnTul

    Silver Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    По моему мнению, по своим возможностям Check&Get сильно отстаёт от WebSite-Watcher, и к тому же не развивается.  

    - так и есть. Тоже к ней приглядывался давно. Если бы развивалась - то стоило бы купить, в надежде на улучшения.

    Цитата:
    нужна версия "Personal Edition" за 50 евро (3 200 руб.).

    - всё-равно дорого для меня. Я даже МС Офис 2013 умудрился дешевле купить, чем сабж стоит. Я лично такую программу оцениваю максимум в 1800, и это если только пожизненная лицензия, а не каждый год покупать. Для браузеров полно плагинов безплатных - да, ощутимо слабее сабжа, но и ощутимо безплатнее. Но плагины всё-таки работают только в браузерах, мне бы хотелось отдельную утилиту. Есть ещё веб-сервисы, которые отслеживают изменения на сайтах и отправляют сообщения на почту, но это как-то как через голову штаны - слишком уж заморочено.

    ----------
    Василий Великий: «Кто смотрит на зло без отвращения, тот скоро будет смотреть на него с удовольствием».

    Всего записей: 4436 | Зарегистр. 13-07-2004 | Отправлено: 08:57 20-03-2015
    presentRU

    Full Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    Может кому сэкономит немного времени (скрапер для WSW)

    Если не затруднит, вкратце можете описать назначение и принцип работы?

    Всего записей: 595 | Зарегистр. 16-10-2006 | Отправлено: 11:24 20-03-2015
    deltaone



    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
     
    https://github.com/deltaone/SCRAPPY
    Может кому сэкономит немного времени (скрапер для WSW)
    Если не затруднит, вкратце можете описать назначение и принцип работы?
     

    Если вкратце:
    Предназначен для извлечения и последующей обработки любой информации со страниц через regexp и вывода полученной информации через шаблоны (для этого используется движок шаблонов NVelocity). На текущий момент реализованы шаблоны вывода в RSS и простую таблицу. Конфигурация извлечения данных производится через подпрограму написанную на языке c# (используется рантайм компилятор CS-Script, c последующим кешированием откомпилированного). В принципе получилось так, что вы можете реализовать свой алгоритм извлечения данных из любой страницы, структура файла конфигурации позволяет добавлять свои функции и процедуры.
     
    Установка:
    1. Переносим содержимое папки bin в папку scrappy в корне WSW
    2. В букмарку подцепляется плагин  https://github.com/deltaone/SCRAPPY/blob/master/bin/wsw-plugin
     
    Скриншот результата работы смотрите внизу страницы тут - https://github.com/deltaone/SCRAPPY
     
    Правила прописываются в файле c раширением .cs в каталоге 'rules', cначала идет маска адреса заключенная в "<["  и "]>" для задания маски можно использовать * и ?.
    Потом обязательной пролог:

    Код:
     
    public static Hashtable Process(string pageText, Hashtable v)
    {
     

    а в конце обязательный эпилог:

    Код:
     
        return(v);
    }
     

    внутри можете делать что хотите в пределах языка c#, вы вполне можете написать сколько угодно дополнительных фунций перед  

    Код:
     
    public static Hashtable Process(string pageText, Hashtable v)
     

    и вызывать их из основной. Для полного понимания того, что происходит - смотри файл 'bin\templates\processor.cs' в этот файл подставляется ваша подпрограмма и компилируется.
     
    Пример правил:

    Код:
     
    <[*www.spacegamejunkie.com*]>    
    public static Hashtable Process(string pageText, Hashtable v)
    {   // http://www.spacegamejunkie.com/
        v["PageTitle"] = "Space Game Junkie";
        v["PageDescription"] = "Playing Through Space Gaming's Past, Present and Future";
     
        var rows = GetStringsByRegex(pageText, "(<article id=\"post-.*?</article>)", "$1");
        v["PageTable"] = ExtractToHashtables(rows, new string[,] {
        {   "image",        "<img src=\"(.*?)\" class=",                                            "$1"},  
        {   "date",         "class=\"post-date\">(.*?)</p>",                                        "$1"},  
        {   "link",         "<h2 class=\"post-title\">\\s+<a href=\"(.*?)\" .*?title=\"(.*?)\"",    "$1"},
        {   "title",        "<h2 class=\"post-title\">\\s+<a href=\"(.*?)\" .*?title=\"(.*?)\"",    "$2"},
        {   "description",  "entry excerpt\">\\s*(.*?)\\s*</div>",                                  "$1"},  
        });
        return(v);
    }
     
    <[*www.avito.ru*bytovaya_elektronika*]>    
    public static Hashtable Process(string pageText, Hashtable v)
    {     // https://www.avito.ru/moskva/bytovaya_elektronika?view=list
        v["PageTitle"] = "Авито - электроника";
        v["PageDescription"] = "Бесплатные объявления раздела бытовой электроники";    
        
        var rows = GetStringsByRegex(pageText, "(<div class=\"price\">.*?</span>\\s+</div>\\s+</div>)", "$1");
        var table = ExtractToHashtables(rows, new string[,] {
        {    "date",         "<span class=\"date\">(.*?)</span>",                     "$1"},
        {    "link",            "class=\"h3\">.*?href=\"(.*?)\".*?\">(.*?)</a>",         "$1"},
        {    "title",        "class=\"h3\">.*?href=\"(.*?)\".*?\">(.*?)</a>",         "$2"},
        {    "category",        "<span class=\"c.*?\">(.*?)</span>",                     "$1"},
        {    "cost",         "^.*?<p>\\s+(.*?\\.)\\s+<",                             "$1"}
        });        
        foreach(var r in table) {
            r["description"] = "<b>" + r["title"] + "</b><br>Категория: " +  r["category"] + "<br><i>Цена: {0}</i>".Place((string)r["cost"]);
            r["title"] = (r["title"] + " (" + r["category"] + ") " + r["cost"]).XmlEscape();
        }
        v["PageTable"] = table;
        return(v);
    }
     

     
    По поводу используемых переменных и функций смотри файл bin\readme
     
     
    P.S. Обновил основную страницу на гитхабе, там есть дополнительная информация ...
    P.P.S. Искал подобный инструмент - не нашел, если я что-то пропустил - ткните пальцем plz ...
    P.P.P.S. Прекрасно осознаю, что получилось не для всех, но предложите лучшую альтернативу (по крайней мере правила можно делать на заказ или обмениваться ими в этой теме + сделано все на гитхабе и правила можно будет обновлять коллективно в основной поставке) ...
    P.P.P.P.S. Если кто поможет причесать гитхабовское ридми на английском, буду очень благодарен ...

    Всего записей: 139 | Зарегистр. 20-09-2001 | Отправлено: 12:01 20-03-2015 | Исправлено: deltaone, 12:53 20-03-2015
    bookserg

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Версия 15.0
    Вопрос по фильтрам "Отслеживаемые". Такое впечатление что они вообще не работают...
    Пример: страница http://forum.ru-board.com/forum.cgi?forum=5
    фильтр regex(\d{1,2}\-\d{1,2}\-\d\d\d\d \d{1,2}:\d{1,2})
    В окне "Мастера фильтра" выглядит все нормально, но не работает...

    Всего записей: 87 | Зарегистр. 27-04-2009 | Отправлено: 15:26 23-03-2015
    MrPerfect



    Silver Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Это фильтр игнорируемые дата/время. Он работает. Для фильтра отслеживания это не годится и не работает.

    Всего записей: 2342 | Зарегистр. 19-04-2002 | Отправлено: 19:17 24-03-2015
    bookserg

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    Для фильтра отслеживания это не годится и не работает.

    MrPerfect, что значит не годится? Вообще-то это рег. выражение сгенерировано "мастером фильтров" см. скриншот  
    http://s17.postimg.org/8ogx4d4nz/otsl.jpg
     
    Добавлено:
    Вот еще пример.  
    http://www.invaluable.com/catalog/searchLots.cfm?scp=u&catalogRef=&shw=100&ord=0&img=0&olF=1&houseRef=&houseLetter=A&artistRef=&areaID=&countryID=&regionID=&stateID=&fdt=0&tdt=0&fr=0&to=0&wa=russia&wp=&wo=&nw=&upcoming=0&rp=&hi=&rem=FALSE&cs=0&ns=0&isSC=0&row=1
    "Мастер фильтров" для отслеживания выдает например такое выражение regex(Lot.{50,50})
    В окне "Мастера..." выглядит достаточно корректно http://s30.postimg.org/3x0jweycx/otsl01.jpg
    но самом деле не работает...

    Всего записей: 87 | Зарегистр. 27-04-2009 | Отправлено: 20:07 24-03-2015 | Исправлено: bookserg, 21:11 24-03-2015
    MrPerfect



    Silver Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    что значит не годится?

    Из практики, имею ввиду, что трудно или почти невозможно добиться корректной работы фильтра отслеживаемые при большом количестве вхождений (соответствий, удовлетворяющих фильтру) на странице и собственно самом фильтре, заданном на числовых данных. Обратитесь с запросом в поддержку.

    Всего записей: 2342 | Зарегистр. 19-04-2002 | Отправлено: 22:17 24-03-2015
    bookserg

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    Из практики, имею ввиду, что трудно или почти невозможно добиться корректной работы фильтра отслеживаемые при большом количестве вхождений

    MrPerfect, пример с одним вхождением.  
    Страница http://forum.ru-board.com/forum.cgi?action=filter&forum=5&filterby=topictitle&word=WebSite-Watcher
    regex(\d{1,2}\-\d{1,2}\-\d\d\d\d \d{1,2}:\d{1,2}) в фильтрах "Отслеживаемые"
    Не работает...
     

    Всего записей: 87 | Зарегистр. 27-04-2009 | Отправлено: 09:30 25-03-2015
    MrPerfect



    Silver Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    У меня работает.
    http://pixs.ru/showimage/filjpg_8427312_16635655.jpg
    http://pixs.ru/showimage/fil2jpg_2430965_16635705.jpg

    Всего записей: 2342 | Зарегистр. 19-04-2002 | Отправлено: 15:41 25-03-2015 | Исправлено: MrPerfect, 15:43 25-03-2015
    bookserg

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    У меня работает.

    Так может у Вас и отсюда все работает?
    А какая у Вас версия?

    Всего записей: 87 | Зарегистр. 27-04-2009 | Отправлено: 16:19 25-03-2015 | Исправлено: bookserg, 16:21 25-03-2015
    MrPerfect



    Silver Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Мне неведомо, что здесь должно работать, поэтому проверить не в состоянии. Версия 15.0.
     

    Цитата:
    Пример: страница http://forum.ru-board.com/forum.cgi?forum=5
    фильтр regex(\d{1,2}\-\d{1,2}\-\d\d\d\d \d{1,2}:\d{1,2})
    В окне "Мастера фильтра" выглядит все нормально, но не работает...

    Вот это проверил. И в окне мастера нормально, и работает.

    Всего записей: 2342 | Зарегистр. 19-04-2002 | Отправлено: 17:37 25-03-2015
    Открыть новую тему     Написать ответ в эту тему

    Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99

    Компьютерный форум Ru.Board » Компьютеры » Программы » WebSite-Watcher

    Имя:
    Пароль:
    Сообщение

    Для вставки имени, кликните на нем.

    Опции сообщенияДобавить свою подпись
    Подписаться на получение ответов по e-mail
    Добавить тему в личные закладки
    Разрешить смайлики?
    Запретить коды


    Реклама на форуме Ru.Board.

    Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
    Modified by Ru.Board
    © Ru.Board 2000-2018

    BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

    Рейтинг.ru