Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » GeoCacher

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

Открыть новую тему     Написать ответ в эту тему

zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
GeoCacher

Небольшой кэширующий прокси-сервер, предназначенный для эффективного он-лайн кэширования запросов GoogleEarth. Особенность запросов GE, которая заключается в объединении в одном запросе до 4-х различных файлов в произвольном порядке, не позволяла обычным кэширующим прокси-серверам (к примеру, HandyCache) что-либо отдавать из накопленного кэша. С GeoCacher-ом ситуаци кардинально противоположная: накопленный кэш эффективен на 100% - то что однажды было выкачано и попало в кэш, при повторном запросе будет отдано клиенту GE из кэша, и повторной закачки того же самого файла из интернета не будет.
 
Домашняя страница
 
Актуальное описание настроек и функций GC
 
Ссылка для загрузки: GeoCacher 2018.3 (от 26.11.2018)
 
Бета версия: GeoCacher 2020.0 Beta 2 (от 12.12.2020)
 
GeoCacher - приложение с открытыми исходниками, которые можно найти здесь (программа написана на Delphi 2007).
 
Полезные ссылки:
 
GoogleEarth.Local - версия GE способная работать с GeoCacher-ом абсолютно без интернета (даже авторизация из кэша!).

Всего записей: 1380 | Зарегистр. 14-07-2008 | Отправлено: 19:23 07-02-2009 | Исправлено: zedxxx, 22:10 12-12-2020
Nikolai2004



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
а чем это лучше внутреннего кэша GE?

Всего записей: 1514 | Зарегистр. 07-01-2004 | Отправлено: 20:31 07-02-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Тем, что собственный кэш GE не более 2 Гб, а тут можно хоть весь веник забить. Назначение GeoCacher-а - экономия интернет трафика. Есть ещё люди, которым приходится следить за расходом трафика... а перекачивать уже однажды скачанное - вообще непозволительная роскошь.

Всего записей: 1380 | Зарегистр. 14-07-2008 | Отправлено: 21:11 07-02-2009
Nikolai2004



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
собственный кэш GE не более 2 Гб, а тут можно хоть весь веник забить

ничего не понимаю. так вы же сами и описали метод как обойти это ограничение.
 
зачем городить прокси сервер, который будет кэшировать гигабайты тайлов, что неизбежно приведёт к большой фрагментации жесткого диска?

Всего записей: 1514 | Зарегистр. 07-01-2004 | Отправлено: 22:06 07-02-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ну, это как бы разные вещи: он-лайн кэширование и просмотр кэша. Тем более, что планируется  в GeoCacher встроить функцию генерации KML файлов - налету, без необходимости предварительного создания KML-кэша, что гораздо удобнее и не потребует временных затрат от пользователя. Кэш будет в единственном числе, тот что у  
GeoCacher-а, и CacheMaster научится распаковывать GE кэш в нужный GeoCacher-у формат.
В KML кэш попадают же только картинки, а у GE кроме картинок есть ещё множество файлов которые необходимо кэшировать: ральеф, границы, названия, 3D модели и т.д.  
 
На счёт фрагментации - подумываю добавить SQLite в качестве базы для хранения тайлов в кэше GeoCacher-а.
 
А вообще, логика простая: пусть лучше у меня на венике лежат без дела гигабайты мелких файлов, чем я буду одни и те же данные перекачивать из инета по сто раз. Веник у меня большой, а вот инет - дорогой.

Всего записей: 1380 | Зарегистр. 14-07-2008 | Отправлено: 23:18 07-02-2009
AlessTO

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Кэш будет в единственном числе, тот что у  
GeoCacher-а, и CacheMaster научится распаковывать GE кэш в нужный GeoCacher-у формат

Блин.. Хорошо бы )

Всего записей: 253 | Зарегистр. 09-12-2006 | Отправлено: 19:25 08-02-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да, в скорости сделаю. Но уже и сейчас можно использовать распакованный GE кэш, главное правильно написать правила в RegExpr.ini. И не забыть, что в кэше GeoCacher-а файлы лежат в том виде, в каком пришли из инета - зашифрованные, т.е при распаковке файлов из кэша GE не указывать - Расшифровывать.  
 
Если что непонятно по регулярным выражениям/правилам, спрашивайте, помогу.

Всего записей: 1380 | Зарегистр. 14-07-2008 | Отправлено: 19:33 08-02-2009 | Исправлено: zedxxx, 19:36 08-02-2009
AlessTO

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
правильно написать правила в RegExpr.ini.

дефолтовые не подойдут? От GC?
И кст, где они прописываются в распаковщике?
зы. есть ли возможность сохранять в "туда же" *.kmz?

Всего записей: 253 | Зарегистр. 09-12-2006 | Отправлено: 13:23 09-02-2009 | Исправлено: AlessTO, 14:22 09-02-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В распаковщике почти вся сортировка жёстко вбита и не подлежит редактированию со стороны пользователя, поэтому только в новой версии можно будет что-то решительно изменить. Сейчас можно только подстроить сортировку GC под CM: адаптированный RegExpr.ini. Путь по-умолчанию C:\temp\CM_GE_4.xx\  При распаковке кэша GE никакой сортировки не указывать, на всякий случай: конфиг от CM. Если будете распаковывать кэш GE 5.0 то имена папок Sky и Mars нужно прописывать вручную (определяются не правильно). Тип данных History распакованный из кэша GE пока что использовать не получится.  
 
 
Добавлено:

Цитата:
зы. есть ли возможность сохранять в "туда же" *.kmz?

Какие именно kmz имеются в виду

Всего записей: 1380 | Зарегистр. 14-07-2008 | Отправлено: 15:14 09-02-2009
AlessTO

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ну например вот такого типа:
http://mw2.google.com/mw-earth-vectordb/places/2009_01_14/ru/0201.kmz
 
В принципе не сильно востребованно.. - структура и вес на скрине

Всего записей: 253 | Зарегистр. 09-12-2006 | Отправлено: 16:20 09-02-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да, закэшировать можно всё что угодно, только что не стояла пока такая задача. Всё что каким-то боком относится к GE, я думаю, со временем будет закэшировано (и этот url тоже). Лично я, использую связку HandyCache + GeoCacher, причём GC стоит после HC как условный прокси на 2 url: kh.google.com и khmdb.google.com и соответственно их кэширует, а всё остальное кэширует HC (GE трафик ему не по-зубам, но со всем остальмым он справляется отлично).

Всего записей: 1380 | Зарегистр. 14-07-2008 | Отправлено: 18:14 09-02-2009
Imperator



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А в случае обновления на гугле кешер поймёт что надо качать новое или будет старьё подсовывать?

Всего записей: 2871 | Зарегистр. 08-02-2004 | Отправлено: 18:44 10-02-2009
Nikolai2004



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Imperator
я так понял, что будет подсовывать старьё. так как он для того и разрабатывался чтобы избежать потерь трафика из-за частых обновлений гугля

Всего записей: 1514 | Зарегистр. 07-01-2004 | Отправлено: 22:04 10-02-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
я так понял, что будет подсовывать старьё. так как он для того и разрабатывался чтобы избежать потерь трафика из-за частых обновлений гугля

Нет!!! Никакой самодеятельности. Что гугл просит, то и отдаём (если есть в кэше, если нет - качаем). Если есть, но старой версии - всё равно качаем. При отдаче из кэше не идёт никакого анализа на предмет старый это снимок или нет, поиск выполняется чисто по ИМЕНИ файла, если имя запрашиваемого файла точно совпадает с именем файла в кэше, то он отдаётся. А имена, как известно, для разных версий, при обновлении на гугле - различны, даже для одной и той же территории (если она обновилась).
 
GC разработан, чтоб не качать одно и то же по сто раз при переполнении/потере собственного кэша GE, а при обновлениях данные уже другие, и это уже не одно и то же
 

Всего записей: 1380 | Зарегистр. 14-07-2008 | Отправлено: 09:01 11-02-2009 | Исправлено: zedxxx, 09:13 11-02-2009
Imperator



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
zedxxx
А как его заставить работать не прописывая прокси в настройках всей системы? Чтобы только гугль ходил, а не вся винда.

Всего записей: 2871 | Зарегистр. 08-02-2004 | Отправлено: 00:13 12-02-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Поскольку GE берёт настройки прокси с IE, и не имеет своих - то никак. Не знаю, умышленно это сделано или нет, но что есть, то есть.  
Обычно, в инет я выхожу из Оперы - а там свои настройки прокси, т.е. можно идти мимо прокси, а в IE настройки вбиты чисто для гугла.  
 
 

Всего записей: 1380 | Зарегистр. 14-07-2008 | Отправлено: 01:56 12-02-2009
Imperator



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
zedxxx
Есть ещё куча программ, которые берут настройки из IE.

Всего записей: 2871 | Зарегистр. 08-02-2004 | Отправлено: 17:02 14-02-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Согласен.
Если вы знаете какой-то выход - предложите...

Всего записей: 1380 | Зарегистр. 14-07-2008 | Отправлено: 20:54 14-02-2009
QQMATS

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
2 zedxxx
Может проблему можно решить так:
- научить работать прокси  непосредственно с  файлами dbCache.dat, в идеале - с несколькими. У меня, например папки кешей GE  лежат более-менее упорядоченно по городам-странам и регионам. Логично подключать (переименованные?) файлы dbCache.dat к GC по мере их поступления (или необходимости: сегодня карта москвы, завтра Краснодара)
- научить GC  эмулировать сервер Googla в офф-лайне (может быть с заменой версий на лету), несуществующие в кеше файлы заменять на какие-нибудь болванки, типа все 0 или 1  
- для полного счастья, научить GC интеллектуально распаковывать инфу из нескольких dbCache.dat (с фильтрами по совпадению тайлов, принудительной заменой версий и т.п.)
- и уже вовсе инфернально - склеивать из нескольких dbCache.dat один  с возможностью редактирования (удалением повторов , фильтрами всякими)
       Это обеспечит решение проблемы с  дефрагментацией диска (более двух гигов распакованного контента на флешке уже не перетащить без геморроя). Да и зачем она вообще, если можно тот же GC научить работать с SasPlanet?  Ну это видимо фантастика
 
PS: Версия GC от 19.02.09 мне показалась несколько перемудреной в смысле поведения при открытии-сворачивании окна. И всплывающее сообщение из трея о находке новой версии баз GE у меня не закрывается ничем
 
Добавлено:

Цитата:
А имена, как известно, для разных версий, при обновлении на гугле - различны, даже для одной и той же территории (если она обновилась).  

 
Как же тогда клиент GE об этом узнает? Откуда он знает по каким именам формировать запрос ? Или там какая-нить хитропопость  с генерацией имени от номера версии - тогда это можно использовать для переименования  ранее скачанных файло. Думается, что файлы рельефа можно смело не менять (чаще раза в год хотя-бы;))

Всего записей: 31 | Зарегистр. 24-03-2008 | Отправлено: 19:44 25-02-2009
zedxxx

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
- научить работать прокси  непосредственно с  файлами dbCache.dat, в идеале - с несколькими

Именно этим на данный момент и занят Теперь у GC будет индексный файл, в который будет занесена инфа о тайлах, что храняться в dbCache.dat (количество кэшей, их расположение и имена, не ограничено!). Одновременно с этим, у GC появится возможность хранить свой кэш в одном/нескольких больших файлах - что позволит решить проблему тысячи мелких файлов. Индекс и свой кэш будут в SQLite.  
 

Цитата:
- научить GC  эмулировать сервер Googla в офф-лайне (может быть с заменой версий на лету), несуществующие в кеше файлы заменять на какие-нибудь болванки, типа все 0 или 1

Полная эмуляция пока что не представляется возможной (и наврят ли когда-то появится), если, конечно кто-то мне не объяснит как генерировать правильный ответ на запрос авторизации клиента GE (geauth). А пока, вполне возможно сделать режим: только кэш - для тайлов, но для авторизации нужен инет, а она происходит каждые ~10 мин.  
 

Цитата:
- для полного счастья, научить GC интеллектуально распаковывать инфу из нескольких dbCache.dat (с фильтрами по совпадению тайлов, принудительной заменой версий и т.п.)  
- и уже вовсе инфернально - склеивать из нескольких dbCache.dat один  с возможностью редактирования (удалением повторов , фильтрами всякими)

Распаковка/склейка - это задачи CacheMaster-a. На всё, к сожалению, не хватает рук, и пока занимаюсь GC, CacheMaster курит в сторонке...
 

Цитата:
Или там какая-нить хитропопость  с генерацией имени от номера версии

Какой именно выдавать запрос в инет, GE узнаёт из индексных файлов (q2-0123-q.xxx), причём, у самих индексных файлов xxx - текущая версия баз, которая, в свою очередь, берётся из файла dbRoot.v5, вот такая хитропопость
 
А насчёт: отдавать из кэша старое, вместо закачки новой версии, то такая возможность со временем появится. Пользователь сможет указать: регион, зум, тип файлов - и GC будет выдавать старые тайлы (если они есть), а если их нет, то на выбор - закачивать или нет.  
 
 
 
 

Всего записей: 1380 | Зарегистр. 14-07-2008 | Отправлено: 17:22 26-02-2009
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

Компьютерный форум Ru.Board » Компьютеры » Программы » GeoCacher


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru

Рейтинг.ru