SASGIS

Веб-картография и навигация

GeoCacher

Обсуждение различной информации связанной с картографией в САСе, а также сторонние программные продукты для связки с САСом

Модератор: Tolik

Re: GeoCacher

Сообщение temp » 20 июн 2009, 15:08

zed писал(а):
temp писал(а):А где это можно выставить?, в настройках не нашел

Вы как раз таки нужный скрин и приаттачили. Вот на этой вкладке и определяется в какой кэш будет идти запись. По дефолту стояла галочка только напротив файлового (на запись), вы же, я смотрю добавили ещё запись и в тайловый кэш... Попробуйте оставить запись только в один кэш (файловый или тайловый), и посмотрите, что будет с загрузкой проца.


Оставил только файловый, но explorer все еще временами нагружает до 30-35 %.

Однако основную нагрузку дает все же GE (иногда до 60 %).

А еще один вопрос - что будет быстрее работать тайловый кеш или файловый?
Так как все на виртуалке то проблема с большим количеством тайлов не стоит.
Теоретически чистый тайловый кеш должен же работать быстрее?
Или разница не значительна?
temp
Советчик
 
Сообщения: 279
Зарегистрирован: 26 мар 2009, 18:26
Откуда: UA
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: GeoCacher

Сообщение zed » 20 июн 2009, 15:40

temp писал(а):А еще один вопрос - что будет быстрее работать тайловый кеш или файловый?

Теоретически - чистый тайловый кэш без индекса, даст максимальное быстродействие. Но вот, будет ли это заметно на глаз - вопрос.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: GeoCacher

Сообщение Parasite » 20 июн 2009, 20:31

zed писал(а):А теперь, собственно, чтоб получить тайл нужно:
- Из исходного URL выделить: ServerType, TileType, TVersion, THistory, TLayer, TZoom, X, Y. (Если какого-то параметра нет, то его нужно приравнять нулю)
- Выполнить SQL запрос к основной таблице и получить недостающие параметры: CacheID, OffSet, TSize, CRC;
- Выполнить SQL запрос к дополнительной таблице и получить TypeID и FileName;
- Если TypeID=2 или 3, то открыть файл FileName, сместиться на OffSet от начала файла и считать TSize байт - считанные байты и будут искомым тайлом.
При желании, можно подсчитать CRC считанного тайла и сравнить с CRC из индекса, но я обычно такой проверки не выполняю, чтоб не замедлять процесс.
При желании можно подсмотреть в исходниках GC как реализована та или иная функция.

Вы не находите, что задача несколько перерастает рамки утверждения "нескольких строк кода (сторонней программе) будет вполне достаточно"?
К вышесказанному могу добавить шаги (ненулевые) по прикручиванию модулей работы с SQLite к голому перлу\пхп....а в результате я получу тот же самый тайл, который я получаю прямо сейчас из тайлового кэша и ДЕЙСТВИТЕЛЬНО парой строчек кода. :)
Я понимаю, что база эффективней, удобнее при переносе итд.....но лично у меня - ReiserFS имеет встроенные функции индексации контента усилиями самой оси, журналирование\защита\откат ошибок\ тоже в наличии средствами все той же оси, RAID и прочие мирроринги тоже (по желанию), а вопрос переноса решается либо тупым dd /dev/sda1 /dev/sdb1 (раскатывающем за десяток минут ИМИДЖ винта с первого на второй без каких-либо задержек с обращениями в TOC), либо еще более тупо - переносом самого USB-винта (у меня весь кэш на выделенном винте).

PS: ключевые слова выше - "лично у меня". Читающим просьба не открывать флейм на пустом месте, спасибо.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: GeoCacher

Сообщение Parasite » 20 июн 2009, 20:34

zed писал(а):
temp писал(а):А еще один вопрос - что будет быстрее работать тайловый кеш или файловый?

Теоретически - чистый тайловый кэш без индекса, даст максимальное быстродействие. Но вот, будет ли это заметно на глаз - вопрос.

Вообще-то индекс будет поэффективней FATa (а-ля "тайлового индекса"). Причем намного - учитываем фрагментацию и размер ВСЕГО FATa по сравнению с размером\фрагментацией отдельного файла индекса как минимум. Про мотыляние головок диска от FATa к файлу и обратно при каждом обращении я уж и не упоминаю (тогда как индекс можно просто держать "в уме")...
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: GeoCacher

Сообщение temp » 22 июн 2009, 15:52

zed писал(а):
temp писал(а):А еще один вопрос - что будет быстрее работать тайловый кеш или файловый?

Теоретически - чистый тайловый кэш без индекса, даст максимальное быстродействие. Но вот, будет ли это заметно на глаз - вопрос.

Оставил пока только тайловый, думаю сильно разницу не замечу. Все-таки 170 файлов лучше чем 5000 (это пока, т.к. основная масса данных находится файле старого кеша GE)

Parasite писал(а):
zed писал(а):
temp писал(а):А еще один вопрос - что будет быстрее работать тайловый кеш или файловый?

Теоретически - чистый тайловый кэш без индекса, даст максимальное быстродействие. Но вот, будет ли это заметно на глаз - вопрос.

Вообще-то индекс будет поэффективней FATa (а-ля "тайлового индекса"). Причем намного - учитываем фрагментацию и размер ВСЕГО FATa по сравнению с размером\фрагментацией отдельного файла индекса как минимум. Про мотыляние головок диска от FATa к файлу и обратно при каждом обращении я уж и не упоминаю (тогда как индекс можно просто держать "в уме")...


temp писал(а):Так как все на виртуалке то проблема с большим количеством тайлов не стоит.

Точно не знаю, но при использовании вирутуалок это вроде должно быть не так заметно.
temp
Советчик
 
Сообщения: 279
Зарегистрирован: 26 мар 2009, 18:26
Откуда: UA
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: GeoCacher

Сообщение zed » 22 июн 2009, 21:51

temp писал(а):Оставил пока только тайловый, думаю сильно разницу не замечу. Все-таки 170 файлов лучше чем 5000 (это пока, т.к. основная масса данных находится файле старого кеша GE)

Если "170 файлов лучше чем 5000", то вы наверное оставили таки файловый кэш (dbx)? При использовании файлового кэша можно сделать и так, чтоб всё сохранялось в 1 файл - просто удалите FileCacheRE.ini - и весь кэш будет храниться в файле DefCache.dbx. По-умолчанию, я сделал небольшую сортировку (которая настраивается в FileCacheRE.ini ), по типам/версиям тайлов, мне так удобнее.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: GeoCacher

Сообщение temp » 22 июн 2009, 22:49

zed писал(а):
temp писал(а):Оставил пока только тайловый, думаю сильно разницу не замечу. Все-таки 170 файлов лучше чем 5000 (это пока, т.к. основная масса данных находится файле старого кеша GE)

Если "170 файлов лучше чем 5000", то вы наверное оставили таки файловый кэш (dbx)? При использовании файлового кэша можно сделать и так, чтоб всё сохранялось в 1 файл - просто удалите FileCacheRE.ini - и весь кэш будет храниться в файле DefCache.dbx. По-умолчанию, я сделал небольшую сортировку (которая настраивается в FileCacheRE.ini ), по типам/версиям тайлов, мне так удобнее.

Да, опечатка, оставил файловый кеш :) , спасибо.

Из пожеланий к функционалу - нельзя ли сделать кнопку в настройках "не обновлять файл geauth" или с оригинальный ГЕ при этом не захочет брать данные из кеша GeoCacherа?

P.S. Google Earth .LOCAL пока не использую поэтому и спрашиваю.
temp
Советчик
 
Сообщения: 279
Зарегистрирован: 26 мар 2009, 18:26
Откуда: UA
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: GeoCacher

Сообщение zed » 23 июн 2009, 00:06

temp писал(а):Из пожеланий к функционалу - нельзя ли сделать кнопку в настройках "не обновлять файл geauth" или с оригинальный ГЕ при этом не захочет брать данные из кеша GeoCacherа?

Верно, оригинальный гугл "закроется" даже если ему отдать авторизацию и перейдёт на работу только со своим кэшем. Потому-то и сделана версия GE Local, чтоб эту маленькую неприятность обойти.
А в настройках GC есть пункт (меню из трея): Только из кэша -> Кроме Авторизации, только он заблокирован. Ну, это спецом, чтоб показать, что мол, отключение этой опции ни к чему хорошему не приведёт.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: GeoCacher

Сообщение Parasite » 23 июн 2009, 17:50

temp писал(а):Из пожеланий к функционалу - нельзя ли сделать кнопку в настройках "не обновлять файл geauth" или с оригинальный ГЕ при этом не захочет брать данные из кеша GeoCacherа?

Отсутствие активной сессии на сервер ГЕ (тот самый geauth) приведет к тому, что клиент перейдет в режим работы "только из кэша".
Из своего кэша, не из кэша GC.

Если надо из GC или из любого другого "своего" кэша - то Вам в GE.LOCAL. Без вариантов. :)
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: GeoCacher

Сообщение temp » 23 июн 2009, 19:23

Parasite писал(а):
temp писал(а):Из пожеланий к функционалу - нельзя ли сделать кнопку в настройках "не обновлять файл geauth" или с оригинальный ГЕ при этом не захочет брать данные из кеша GeoCacherа?

Отсутствие активной сессии на сервер ГЕ (тот самый geauth) приведет к тому, что клиент перейдет в режим работы "только из кэша".
Из своего кэша, не из кэша GC.

Если надо из GC или из любого другого "своего" кэша - то Вам в GE.LOCAL. Без вариантов. :)



Спасибо, мне zed уже обьяснил постом выше :) .
GE.LOCAL попробовал - работает, но пока все еще использую оригинальный Google Earth
temp
Советчик
 
Сообщения: 279
Зарегистрирован: 26 мар 2009, 18:26
Откуда: UA
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Пред.След.

Вернуться в Другие программы

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2