ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

[Parasite]

Назрело, назрело...
В эту тему будут переезжать (ну или задаваться напрямую, если вдруг удача) все ну совершенно нубские вопросы, заданные в тех или иных ветках. Ибо сколько ж можно игнорировать уже заданное\отвеченное другими, не напрягать межушный нервный узел, и не юзать поиск... Будет этакий паноптикум и парад юзеров, цинично игнорящих RTFM.

Если у кого из старожилов ВНЕЗАПНО нахлынет приступ альтруизма - то могут и поотвечать, а нет - так и нет. Тем хуже для задавших - тема будет безжалостно модерироваться.

[Parasite]

миллионы файлов

Любую БД (СУБД, SQLite, Беркли).
А вообще при десятках миллионах тайлов надо уже эксперименты проводить в условиях, близких к реальным, чтобы оптимальный формат хранения выбрать и кучу оптимальных значений для кучи опций. Это уже не в хЪр собачий ))) и универсального рецепта тут быть не может (за исключением откидывания некоторых заведомо неоптимальных вариантов).

К сожалению, на больших кэшах (пара миллионов тайлов и выше) Беркли показывает себя крайне нежным и весьма падучим. Я качаю помногу и без перерыва, и (как-то начав качать напрямую в Беркли) - сейчас ~70-80% времени уходит не на скачку, а на проверку\починку уже наработанных баз. Это занимает примерно неделю в каждом конкретном разе, в течение которой закачка постоит и подождет.

Беркли-кэш падает часто, невнятно, по совершенно непонятным причинам, и чем больше кэша по объему - тем чаще он падает. Файлов ерроров при этом не создается. Самый распространенный вариант: САС качает прекрасно, потом в какой-то конкретный момент все окна закачек (одновременно, и по всем качаемым разным картам) останавливаются на стадии "Скачивание тайла...", САС начинает пожирать 99-100% процессорного времени, и на этом всё. Так стоять он может бесконечно, и штатный выход - не работает (САС просто тупо зависнет намертво). Выход - только по трем кнопкам, после трех кнопок - нужна проверка кэша (неделя), при которой ВСЕГДА обнаруживается около десятка битых баз. Лечение оных, рестарт закачек в сасе.......пара дней - сас на 100% CPU, и всё по кругу.
Менялись версии ночнушек, пытались делаться всякие твики и оптимизации - бестолку. Просто в какой-то момент Беркли срывает крышу, и скорее всего не на стадии привинчивания к САСу, а на стадии собственно беркли-базовода (оракловой ДЛЛки).

Для себя пришел к выводу, что БОЛЬШИЕ скачки нужно качать в старый, тайловый кэш - а по завершении процесса переносить в Беркли за раз, и потом делать его рид-онли.
На мелких кэшах проблем с Беркли не замечено.

[saasaa]

Кэш планируется версионный или нет?

До Вашего вопроса даже не знал, что это и для чего, сейчас почитал. Не принципиально.

Какой content-type (jpeg, png, kml,...), может ли он быть разным?

Не очень понял вопрос, это что выдаёт сервер-источник? Тогда даже и не знаю...
Нужны в основном карты ГШ (мне иногда бывает нужно быстро сделать карту любого участка, поэтому приходиться держать кэш полпланеты), спутник Гугла, Бинг и Яндекса (немного), гибридные слои.

Для себя пришел к выводу, что БОЛЬШИЕ скачки нужно качать в старый, тайловый кэш - а по завершении процесса переносить в Беркли за раз, и потом делать его рид-онли.

После Вашего поста то же склоняюсь к этой мысли. Теперь (после краха всей базы из за заигрывания с Акрониксом и кривых рук) выделил для кэша отдельный физический диск.

[Parasite]

после краха всей базы из за заигрывания с Акрониксом и кривых рук

Ну вот это-то как раз к САСу не притянуть даже за уши - базы тут не виноваты.
А таблица разделов в кривых руках - вообще страшная вещь, да...

[rass]

сделать карту любого участка, поэтому приходиться держать кэш полпланеты

вот так аппетиты! вот так размахи!

[saasaa]

сделать карту любого участка, поэтому приходиться держать кэш полпланеты

вот так аппетиты! вот так размахи!

Ну так зум то 13, максимум местами 14, для ГШ больше не надо.

[vasketsov]

Какой content-type (jpeg, png, kml,...), может ли он быть разным?

Не очень понял вопрос, это что выдаёт сервер-источник?

Речь идёт о возможности сохранения типа тайла, если в одной карте они могут быть разные (например, jpg и png). В сасе есть ограниченная поддержка такой возможности.

карты ГШ

Скорее всего один тип (content-type), неверсионные, растр, не надо сжимать.

спутник Гугла, Бинг и Яндекса (немного)

Один тип для каждой карты, но вообще говоря это версионные кэши, там периодически новые снимки такие, что лучше бы не обновляли, рекомендую использовать версионный кэш.

гибридные слои

Скорее всего один тип (обычно это png), неверсионные, растр, не надо сжимать.

Для себя пришел к выводу, что БОЛЬШИЕ скачки нужно качать в старый, тайловый кэш - а по завершении процесса переносить в Беркли за раз, и потом делать его рид-онли.

После Вашего поста то же склоняюсь к этой мысли

Ну, одной-двумя-тремя скачками в одну базу SQLite (а у одной карты может быть больше одной базы) и крашем саса мне ни разу не удалось поломать локальную базу SQLite. Собственно, мне вообще не удалось пока ни разу поломать базу SQLite, но больше чем втрое я не качаю в одну базу SQLite, и только локально. Попробуйте. База SQLite кроссплатформенная, её можно переносить между компами просто копированием. А файловый кэш на большом числе тайлов в любом случае очень сильно просядет. Выигрыш будет только в том, что кэш ФС ОС будет один, тогда как для SQLite кэш будет каждый у своей базы (режим работы всех баз в рамках одного большого кэша ненадёжный, поэтому не рекомендуется).

[Habar]

Как продолжить прерванную и сохранённую загрузку ? Начинаю " загрузить из файла" . Нахожу в папке последний загруженый файл в нужном формате - а дальше? В контекстном меню остаётся команда "открыть " или "выбрать" Но открывать и выбирать уже некуда т.к. первое окошко изчезает Все дальнейшие действия непонятны. Или что- то не так? Прошу помочь.

[Papazol]

Нахожу в папке последний загруженый файл в нужном формате

Этот посыл настораживает. Кажется, не тот файл Вы находите. Ибо загрузка сохраняется с расширением *.sls, и всё, что нужно - это открыть этот файл.

[zed]

Менялись версии ночнушек, пытались делаться всякие твики и оптимизации - бестолку.

Главное не терять оптимизма и обновлять таки ночнушки. Особенно сейчас, когда с Беркли там немного устаканилось и не вносятся правки. И неужели если выставить супер-пупер параноидальный режим с точки зрения долговечности и не забыть при этом расположить кэш на локальном диске, а не какой-нить шаре, оно всё равно падает со смертельным исходом?

[Parasite]

если выставить супер-пупер параноидальный режим с точки зрения долговечности и не забыть при этом расположить кэш на локальном диске, а не какой-нить шаре, оно всё равно падает со смертельным исходом?

На локальных дисках падает точно так же, как выяснилось - дело не в диске, а в объеме кэша и\или времени бесперерывной работы саса.
Вот в пятницу было оставлено продолжать качать в (уже имеющиеся) 86Гб навтека - а вот сейчас утром а понедельник только что снял полностью зависшую задачу по предыдущему сценарию. В окнах закачки (всех оных) при этом была мессага "User paused - Not enough storage" - хотя свободного места еще целый терабайт с гаком, и уж тем более никакой User никакой paused за выходные не делал. Все подвисшие окошки сохранены в очередь ОК, выйдено из них ОК, а вот при попытке выйти из САСа - вполне предсказуемый и ожидаемый зависон оного. Три кнопки, начинаем перепроверку баз...
Диск в данном случае локальный, повторяю.

Параноидальные пляски пока не пробовал - надо сперва докачать вот это вот а то работа стоит, а потом уже поделать опыты. А то если свалится весь кэш от очередного неверного движения с настройками - будет мучительно больно. Ну и заодно объема прирастет при прокачке - будет чаще проявляться, если связано именно с размером. Оно уже и так даже тройку дней не держит вон....