SASGIS

Веб-картография и навигация

Использование в Sas.Планета кеша в формате Berkeley

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модератор: Tolik

Re: Использование в Sas.Планета кеша в формате Berkeley

Сообщение zed » 31 окт 2012, 18:55

Parasite писал(а):Такое ощущение что оно базу открывает на запись по умолчанию, и если сас крэшится даже при просмотре - то что-то в базе корежится.

Да, всегда открывается на RW. Но если физически записи в sdb небыло, то маловероятно, что он испортится при крахе. Но в папке env может что-то подпортиться и поэтому нужно запускать восстановление (НЕ Reset LSN, а Recover to last good state [cmd: db_recover -v]).
Parasite писал(а):Ошибок нет, просто лог в окошечке скачки не бежит.

САС их просто может не показывает. Дебажная версия должна сохранять лог ошибок для Беркли кэша в папке с кэшем для каждой карты (cache_db\sat\sdb.log).
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: Использование в Sas.Планета кеша в формате Berkeley

Сообщение zed » 31 окт 2012, 19:00

Parasite писал(а):
zed писал(а):Папка-то пересоздаётся, но вот логи в ней - уникальные, хоть внешне имена и одинаковые, поэтому если sdb небыли отлинкованы от твоих логов, юзеру придётся вначале пройтись той утилиткой, чтобы она подчистила линки и только потом можно будет пользоваться.

Может есть смысл автоматом отлинковывать при выходе с САСа (без удаления собственно папки)? При старте саса оно подхватится автоматом...Операция весьма неочевидна при обмене кэшем - но, как я понимаю, критична. А утиль и так в комплекте есть.
При автом.отлинковке - кэш можно будет просто копировать из-под закрытого САСа куда угодно, не парясь об этом...

Это достаточно длительная операция. Схематически говоря, там для каждого тайла (при записи) в служебных данных ставится в соответствие линк на запись о транзакции в одном из файлов лога из папки env. И чтобы отлинковать один sdb нужно пройтись по всем тайлам внутри него и посмотреть, а есть ли линк о транзакции, и если есть - "затереть".
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: Использование в Sas.Планета кеша в формате Berkeley

Сообщение Parasite » 31 окт 2012, 19:06

zed писал(а):поэтому нужно запускать восстановление (НЕ Reset LSN, а Recover to last good state [cmd: db_recover -v]).

Я запускаю твой суровый ГУЙ, нажимаю на СТАРТ и оставляю на ночь. Или на две-три. :)
Опосля - все работает. Что и требовалось. Глубже с утилями пока не разбирался, времени ноль.

zed писал(а):
Parasite писал(а):Ошибок нет, просто лог в окошечке скачки не бежит.

САС их просто может не показывает. Дебажная версия должна сохранять лог ошибок для Беркли кэша в папке с кэшем для каждой карты (cache_db\sat\sdb.log).

Юзал обычную.
Оно не только не показывает - оно и не качает, судя по проксику. Такое ощущение что базовод впадает в кому при попытке доступа к первому же тайлу (даже на чтение, и даже не в той базе на какой крешанулся в прошлый раз), а САС просто бесконечно ждет базовода.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: Использование в Sas.Планета кеша в формате Berkeley

Сообщение Parasite » 31 окт 2012, 19:08

zed писал(а):Это достаточно длительная операция. Схематически говоря, там для каждого тайла (при записи) в служебных данных ставится в соответствие линк на запись о транзакции в одном из файлов лога из папки env. И чтобы отлинковать один sdb нужно пройтись по всем тайлам внутри него и посмотреть, а есть ли линк о транзакции, и если есть - "затереть".

Охх...тогда отбой, конечно. Кеши по много гигов (включая пустышки и TNEшки - места мало вроде бы занимают, зато счетчик тайлов растет как на дрожжах). :(
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: Использование в Sas.Планета кеша в формате Berkeley

Сообщение zed » 31 окт 2012, 19:12

Parasite писал(а): Такое ощущение что базовод впадает в кому при попытке доступа к первому же тайлу

Он может впасть в кому ещё раньше - при попытке открыть испорченную папку env. Т.к. именно она первым делом открывается/создаётся и дальше уже идёт работа с конкретными sdb.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: Использование в Sas.Планета кеша в формате Berkeley

Сообщение Parasite » 31 окт 2012, 19:17

zed писал(а):
Parasite писал(а): Такое ощущение что базовод впадает в кому при попытке доступа к первому же тайлу

Он может впасть в кому ещё раньше - при попытке открыть испорченную папку env. Т.к. именно она первым делом открывается/создаётся и дальше уже идёт работа с конкретными sdb.

Скорей всего так и есть - ибо скрэшиться может в середине качаемого полигона, а потом при перезапуске впасть в кому на первом же тайле того полигона (который был прокачан тучу времени назад, и вообще на момент краха ни при делах был).
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: Использование в Sas.Планета кеша в формате Berkeley

Сообщение tchouc » 30 дек 2012, 11:24

Вопрос разработчикам: сохраняет ли САСПланета старые версии тайлов в базе Berkeley?
На гугле появились удачные новые снимки моего региона, однако старые тайлы тоже не хотелось бы потерять.
tchouc
Новичок
 
Сообщения: 1
Зарегистрирован: 30 дек 2012, 11:06
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Использование в Sas.Планета кеша в формате Berkeley

Сообщение zed » 30 дек 2012, 21:37

Нет.
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: Использование в Sas.Планета кеша в формате Berkeley

Сообщение xromeo » 30 мар 2013, 18:47

Так как Berkeley-кэш уже доведён до ума и стабилен, задался вопросом переконвертирования огромного тайлового кэша (около 35 Гб) с виртуального VHD-диска в Berkeley, соответственно отпадёт необходимость постоянно монтировать и демонтировать VHD и упростится процедура резервного копирования. Но я с ходу не нашёл информации, есть ли способ сделать это одним махом - запустить конвертирование и оставить комп работать. Вот думаю теперь, сколько такая операция времени может занять, и стоит ли вообще на это заморачиваться, может, несколько суток уйдёт, и проще делать это мелкими частями поэтапно вручную (а может, только по частям вручную и можно и иначе никак?)

Что скажете?..
Аватара пользователя
xromeo
Постигающий Дао
 
Сообщения: 189
Зарегистрирован: 21 июл 2009, 20:42
Благодарил (а): 36 раз.
Поблагодарили: 10 раз.

Re: Использование в Sas.Планета кеша в формате Berkeley

Сообщение zed » 30 мар 2013, 19:49

Все карты одним махом не перегнать. Нужно запускать процесс для каждой конкретной карты через "Операции - Управление кэшем".
Ну и рекомендуется использовать RAM диск для папки env - скорость конвертирования увеличивается на порядок.
35 Гб не очень большая цифра. У меня одну карту с кэшем в 16Гб конвертировало где-то с полчаса-час. Но это с использованием RAM диска.

За это сообщение автора zed поблагодарил:
xromeo (31 мар 2013, 10:38)
Рейтинг: 5.26%
 
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Пред.След.

Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 7