Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Ant Movie Catalog

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63

Открыть новую тему     Написать ответ в эту тему

Leonid_Z



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ant Movie Catalog
Текущая версия: 4.2.0.2 (20.04.2014)
Официальный сайт
История версий

Кульная прога для учёта фильмов. Возможна организация онлайнового каталога в интранете или интернете. Возможности программы: Подробнее...
 
Скачать:
  • с инсталяцией - Зеркало 1 | Зеркало 2  
  • без инсталяции - Зеркало 1 | Зеркало 2
     
    Скрипты:
  • 100% рабочие русские скрипты ищите в теме
  • Список всех скриптов для русскоязычных сайтов  
  • Только русские скрипты (список скриптов)
  • Скрипт для работы с сайтом KinoPoisk.ru:
    • Для нормальной работы с сайтом необходим не только рабочий скрипт, но и исправленный исполняемый файл MovieCatalog.exe, который необходимо скачивать отдельно, поскольку это делают добровольцы из числа пользователей программы !!!
    • Скачиванием больших объемов с кинопоиска лучше не злоупотреблять - могут забанить IP
    • Последняя версия скрипта - в этой теме. Дополнительная информация
    • Файл MovieCatalog.exe v3.5.1.2 для работы с KinoPoisk.ru; Зеркало. Подробнее...
    • Скрипт v.2.75.47 (19.11.2011) от Tutankhamon86 для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.1, Подробнее
    • Старые версии скриптов (требуют обновления) Подробнее...
    Полезные ссылки
    Movie Cat - мод с расширенными возможностями  
  • Сайт
  • Подробнее...
    Программы аналогичного назначения: подробнее...

  • Всего записей: 917 | Зарегистр. 26-01-2002 | Отправлено: 16:07 06-02-2003 | Исправлено: vasevase, 05:37 28-08-2017
    Tutankhamon86



    Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Frantishek
     

    Цитата:
    кто нибудь знает какой общий индекс в базе Кинопоиска? (т.е. число всех описаний по всем странам)

    Мудрёно ты спросил...
    Если интересует max ID фильма, то он равен 574726 (Kokuriko zaka kara)
     
    Заметки на полях:
    Если скачивать страницы без задержек, то пресловутая Система защиты от роботов (СЗоР) Кинопоиска, начинает блокировать IP на 143 странице. Если же сделать задержку в 2 секунды, то система не банит
    Что позволяет скрипту импортировать информацию о 10-35 фильмах (зависит от настроек)
     
    Кластер кинопоиска не справляется с нагрузкой посетителей, особенно заметно по вечерам. По этому, спецы кинопоиска, в пики нагрузки, включают ограничения доступа к страницам с описанием фильмов и персоналий (доступ только для зарегистрированных)

    Всего записей: 225 | Зарегистр. 20-05-2008 | Отправлено: 14:16 08-01-2011
    Foss

    Advanced Member
    Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
    Tutankhamon86

    Цитата:
    Если интересует max ID фильма, то он равен 574726

    Но описаний гораздо  меньше. Шестизначный индекс ими введен относительно недавно. Раньше был сквозной (и сохранился до сих пор для первых записей в базе (что странно и говорит о любительском подходе)).
    В целом можно оценить число записей по фильмам от 100 до 200 тысяч. Не больше. Из них реальных описаний (заполненных, а не с одним названием) еще меньше.
    В целом кинопоиск пока не вырос из любительского уровня, хотя он и претендует на роль профессионального в рунете.
    На самом деле, если бы пользователи озадачились идеей создания базы по фильмам, то уже могли бы давно это сделать. И не нужно было бы клянчить информацию с сайтов (если один человек способен составлять базы до 100 тыс фильмов, то уж сообща это еще более реально). Есть только два момента, которые нужно решить - система уникальной нумерации фильмов (на данный момент наиболее приемлемый вариант - номера от IMDB) и система удаления дублирующихся записей.

    Всего записей: 1316 | Зарегистр. 15-04-2003 | Отправлено: 16:16 08-01-2011
    Tutankhamon86



    Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Foss
     
    IMDB как и Кинопоиск используют простейший индекс - бинарный
    Не знаю сколько во всей базе кинопоиска фильмов, но в первых 100 000 ID (1 - 100000) - действующий оказалось 91 449
     
    Вполне логично, что список фильмов берут с внешних источников (к примеру русских). Ну а со временем заполняют подробным описанием
     
    В кинопоиске есть повторяющие записи, судя по популярному топику на их форуме
    Да и IMDB с их пресловутым 1,7 млн. фильмов ...

    Всего записей: 225 | Зарегистр. 20-05-2008 | Отправлено: 18:40 08-01-2011
    Foss

    Advanced Member
    Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
    Tutankhamon86
    Не знаю как вы там определяли наличие реальных записей на скриптовом сайте. Для примера только что взял номера 50000-50010 (то есть десять номеров подряд). Из них в наличии оказалось только 5. Остальные - 404.
    Но и те которые оказались представляют из себя душераздирающее зрелище - у половины нет постеров (даже маленьких), описаний нет почти у всех, представленная информация мягко говоря скудна. Очевидно, что значительная (а может и большая) часть записей существуют для иллюзии объема.  
    Я уже не обращаюсь на этот сайт, если мне нужно узнать о фильме старше 20 лет - как правило бесполезно. Легче найти на менее имиджевых сайтах информацию по таким фильмам, где материала хоть и меньше, но он качественно представлен. На фоне IMDB кинопоиск выглядит очень жалко.

    Всего записей: 1316 | Зарегистр. 15-04-2003 | Отправлено: 21:39 08-01-2011
    Tutankhamon86



    Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Foss
     

    Цитата:
    Не знаю как вы там определяли наличие реальных записей на скриптовом сайте.

    Id List 1 - 100 000
     

    Цитата:
    На фоне IMDB кинопоиск выглядит очень жалко.

    Ну сравнил
    Пополнить базу IMDB может любой, а кинопоиска - только редакция

    Всего записей: 225 | Зарегистр. 20-05-2008 | Отправлено: 22:19 08-01-2011
    Frantishek



    Advanced Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Tutankhamon86
    Foss
    Хм, спасибо за инфу, ожидал от них гораздо большего в этом плане, если честно. Вообще какое то  средневековье все еще процветает в деле сбора данных и их отработке с пользой делу. Казалось бы .. всего ничего основных категорий инфы: кино, музыка, софт, книги.. я имею ввиду той, что поддается атрибутивному описанию. В объемах это совсем не сумасшедшие цифры, даже если брать графику (если мы хотим наладить обмен/пополнение БД), Интернету уже столько лет.. но до сих пор никто нормально не приспособился получать от всего этого мирового накопленного знания эффективную пользу (без бубнов, на автомате). Сидим в ожидании очередного "Самого лучшего Г.." или синих человечков, когда столько замечательных фильмов было снято в старые времена в разных странах и т.д., и находим их чаще волею случая. А все ведь предельно просто: земля принадлежит крестьянам, контент - принадлежит народу!) им же он и создается/поддерживается, ими же делается и следующий необходимый шаг - рекомендательный, но однозначно не так как это сейчас в Имхонете и иже с ним, ибо опять же - неработоспособно, нет критической массы, монетизация впереди телеги, а воз и ныне там. Все. я выступил
    P.S. Жалею что прекратилась разработка такой штуки как TV-Guru, хороший был концепт именно в потребительском плане.
     
    Добавлено:
    Tutankhamon86
    А они эти дыры потом как то забивают, или следуют дальше? какова вообще логика заполнения.. Можно ли получить полный отчет, скажем:
    -текущий рабочий диапазон индекса
    -из него - действующие индексы (без 404)
    -из них - индексы с нормальным описанием (скажем, проверяется наличием каких-либо ключевых полей)
    как быстро такое можно состряпать? и реально ли потом вытянуть данные по выборке (только полные описания) исходя из самого списка  индексов импортированного в БД?

    Всего записей: 1222 | Зарегистр. 02-05-2006 | Отправлено: 22:20 08-01-2011 | Исправлено: Frantishek, 02:19 17-01-2011
    Tutankhamon86



    Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Frantishek
     
    Логика заполнения стандартная:
    При добавлении нового фильма используется max ID + 1
    При удалении на место использованного ID другой фильм не записывается
     
    Сформировать таблицу со всем списком фильмов и нужной вам информацией в базе кинопоиска можно примерно за 20 дней (если учитывать двух секундную задержку между загрузками страниц)
     
    Ну а сделать выборку можно, если ручки правильно растут

    Всего записей: 225 | Зарегистр. 20-05-2008 | Отправлено: 23:00 08-01-2011
    Frantishek



    Advanced Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Tutankhamon86
    может запустим такой скриптик, что для этого требуется? что будет нужно - помогу. процедура все равно разовая, потом можно только обновлять. а если это речь о полной загрузке всей базы, то вообще замечательно, пусть себе лежит в открытом доступе.

    Всего записей: 1222 | Зарегистр. 02-05-2006 | Отправлено: 23:10 08-01-2011
    Tutankhamon86



    Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Frantishek
     
    Некоторое время назад, я уже запускал скрипт для проверки валидности ID, на рабочем сервере. После чего рабочий IP был успешно заблокирован (спустя пару суток бесперебойной работы скрипта). После продолжительной переписки с технарями Кинопоиска, бан был снят.
     
    Так что скрипт я выложу, вернее два, а собирать базу придётся вам самим. Рекомендую использовать динамический IP.
     
    Скрипт ver 0.1 - сохраняет ссылку и название фильма (удобен для дальнейшего импортированния в базу AMC и использования рабочего скрипта для Kinopoisk -а)
    Скрипт ver 0.2 - сохраняет ссылку и всю информацию о фильме (ну почти всю )
     
    PHP-скрипт для автоматического сбора базы фильмов с сайта Kinopoisk.ru ver 0.1 (04.01.2011)

    Цитата:
    ! Проверка на подлинность ID-фильма и загрузка страницы с названием фильма (страница загружается только до строчки с заголовком; менее 1 килобайта)
    * Сохранение данных в CSV-файл (ссылка, название фильма)

    Kinopoisk_Id_List_PHP_v0.1
     
    PHP-скрипт для автоматического сбора базы фильмов с сайта Kinopoisk.ru ver 0.2 (15.01.2011)

    Цитата:
    ! Проверка на подлинность ID-фильма и загрузка страницы с описанием фильма (страница загружается полностью)
    * Сохранение данных в CSV-файл (ссылка, переведённое название, оригинальное название, год, страна, режиссёр, продюсер, время, жанр, актёры, описание)

    Kinopoisk_Id_List_PHP_v0.2

    Всего записей: 225 | Зарегистр. 20-05-2008 | Отправлено: 20:59 15-01-2011
    Frantishek



    Advanced Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    блин, не пойму куда логи кидает, все перерыл
     
    Добавлено:
    и как повлияет на скорость если добавить другую доп.информацию:
    сценарий
    композитор
    бюджет
    сборы
    и т.д.
    самому это можно сделать как то по шаблону?

    Всего записей: 1222 | Зарегистр. 02-05-2006 | Отправлено: 02:08 17-01-2011
    Tutankhamon86



    Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Frantishek
     

    Цитата:
    блин, не пойму куда логи кидает, все перерыл  

    Выходной файл указан в переменной

    Код:
    $log_file="id_list.txt";

    файл будет лежать в директории со скриптом
     

    Цитата:
    и как повлияет на скорость если добавить другую доп.информацию

    ни как, если парсить инфу на той же странице что и фильм (так как она уже и так загружена)
     

    Цитата:
    самому это можно сделать как то по шаблону?

    да
     
    На примере сценарий:
     
    В функции get_content добавить условие

    Код:
        elseif ($option == 'scenario')
        {
            $search = "#сценарий</td>(.*?)</td>#si";
            $parse = 1;
        }

    Перед выводом в лог не забыть вызвать функцию с параметром scenario

    Код:
    $scenario = clear(get_content($s, 'scenario'));

    Ну и добавить переменную $scenario в лог
     
    С остальными думаю разберёшься

    Всего записей: 225 | Зарегистр. 20-05-2008 | Отправлено: 15:48 17-01-2011
    Frantishek



    Advanced Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    файл будет лежать в директории со скриптом

    нифига не лежит, консоль работает, статистика идет, сеть мигает что связь есть, данных нет
     
    Добавлено:
    http://i008.radikal.ru/1101/cc/9c70e453377b.jpg

    Всего записей: 1222 | Зарегистр. 02-05-2006 | Отправлено: 03:51 18-01-2011
    Tutankhamon86



    Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Frantishek
     
    Ну ты и рассмешил
    В файл не будут сохраняться пустые ID, а первый рабочий 298

    Всего записей: 225 | Зарегистр. 20-05-2008 | Отправлено: 10:32 18-01-2011 | Исправлено: Tutankhamon86, 10:33 18-01-2011
    Frantishek



    Advanced Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Tutankhamon86
    ну это далеко не очевидно, обычно файл записи создается скриптом сразу, тем более что мешало тогда по умолчанию этот самый первый id и поставить

    Всего записей: 1222 | Зарегистр. 02-05-2006 | Отправлено: 17:59 18-01-2011 | Исправлено: Frantishek, 18:00 18-01-2011
    DiMoNlCooL

    Newbie
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Version=2.75.37 (04-Jan-2011)
     
    AdvancedSearch=1 не работает скрипт....
    AdvancedSearch=0 работает но находит не всегда правильно

    Всего записей: 11 | Зарегистр. 24-07-2006 | Отправлено: 23:51 24-01-2011
    Tutankhamon86



    Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    DiMoNlCooL
     
    Проверил вроде всё работает
    Пожалуйста укажите параметры скрипта и условия поиска
     

    Всего записей: 225 | Зарегистр. 20-05-2008 | Отправлено: 12:20 25-01-2011
    DiMoNlCooL

    Newbie
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    http://s42.radikal.ru/i096/1101/83/e455b07e11f9.png
     
    вот например пытался искать фильм Сквозь темное стекло (1961)
    при AdvancedSearch=0 только находит его
    при AdvancedSearch=1 както быстро выдаёт результат, скачивая 2042 байта и всё...

    Всего записей: 11 | Зарегистр. 24-07-2006 | Отправлено: 14:36 25-01-2011 | Исправлено: DiMoNlCooL, 14:40 25-01-2011
    Tutankhamon86



    Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Рабочий скрипт для Kinopoisk ver 2.75.38 (26.01.2011)

    Цитата:
    * изменен алгоритм формирования сложного запроса - на сайте изменен формат отображения

    Скачать для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.1
    Так же можно воспользоваться функцией авто обновление
     
    Подключаемый файл StringUtilsTutankhamon ver 0.3 (26.05.2010)
    Скачать для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.0 или выше
     
    Скрипт авто обновления для Kinopoisk ver 0.1 (26.05.2010)
    Скачать для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.1
     
    Добавлено:
    Просьба добавить в шапку и не создавать зеркал для скрипта. Ведётся статистика.
    Если найдёте баги или надумаете идею - делитесь

    Всего записей: 225 | Зарегистр. 20-05-2008 | Отправлено: 16:15 26-01-2011
    DiMoNlCooL

    Newbie
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    о теперь работает, спасибо Tutankhamon86

    Всего записей: 11 | Зарегистр. 24-07-2006 | Отправлено: 16:18 26-01-2011
    DiMoNlCooL

    Newbie
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    вот еще проблемка....
     
    иногда вылазит ошибка
     
    Socket Error # 10054
    Connection reset by peer.

    и только кнопка ОК, нажимаю - всё равно вылазит снова и снова
    если закрывать "принудительно", то вываливается программа с ошибкой и база не сохраняется при этом....
     
    а еще иногда просто прога подвисает в овремя работы скрипта, 100% загрузка CPU и никакой реакции, тока закрыть можно ничего не сохраняя... (проверял на 2-х разных компах)

    Всего записей: 11 | Зарегистр. 24-07-2006 | Отправлено: 22:47 26-01-2011 | Исправлено: DiMoNlCooL, 00:31 27-01-2011
    Открыть новую тему     Написать ответ в эту тему

    Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63

    Компьютерный форум Ru.Board » Компьютеры » Программы » Ant Movie Catalog


    Реклама на форуме Ru.Board.

    Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
    Modified by Ru.B0ard
    © Ru.B0ard 2000-2024

    BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

    Рейтинг.ru