Страница 10 из 10

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

СообщениеДобавлено: 21 ноя 2015, 20:56
vdemidov
Merh писал(а):А если ещё и бан серверов вспомнить...

Именно. Поэтому все кому нужны миллионы тайлов изобретают свои велосипед и сами борются с баном. Для простых пользователей хватает возможностей файловой системы и уж тем более хватает возможностей тайлохранилища в БерклиДБ

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

СообщениеДобавлено: 21 ноя 2015, 21:18
Merh
В-третьих, файлов на типичном компе совсем не много.
В-4, в уважающей себя конторе не "домашний комп" (собранный на коленке), а какой-никакой брэнд.

Лютый бред по обоим пунктам, уж извините.
У меня даже до кеша тайлов уже мелочи на пару лям файлов лежало. Именно мелочи, от 200 до 700 килобайт.
Таки да, на NTFS.
С появлением SAS добавилось. Поэтому вопрос очень таки актуальный.
По "конторам" может быть, в службе картографии это так, у нас же - даже у СМ мягко говоря, хлам стоял, и, таки да - с палёным таки софтом, местами.
ж тем более хватает возможностей тайлохранилища в БерклиДБ

На сегодняшний момент да, "беркли" - это, пожалуй, единственный выход.
Просто шикарное решение, именно для хранения кеша.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

СообщениеДобавлено: 21 ноя 2015, 21:18
Parasite
Tolik писал(а):не "домашний комп" (собранный на коленке), а какой-никакой брэнд.

А "какие-нибудь брэнды" чуть менее чем все поголовно собраны уже на китайской коленке (и больны "эффективностью менеджмента" и удешевлением производства ничуть не меньше), так что вся разница - только в шильдике и ценнике. Особенно же если смотреть на эту тему со стороны файловой системы NTFS.
Наличие\отсутствие бренда никакой уличной магии в данном вопросе не делает - брэнды тоже и горят, и глючат, и требуют внимания админа к своей скромной персоне ничуть не меньше (а чаще - даже больше, ибо брэндованные вещи частенько более закрыты).

И таки рекомендую предыдущему оратору все же определиться с конкретным вопросом к данной теме. При 50м файлов в\на NTFS - возможны сюрпризы. Что-то еще?

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

СообщениеДобавлено: 21 ноя 2015, 21:48
Papazol
Если под "серверами" иметь в виду хранилища Google или хоть Яндекс, то это не просто какой-нибудь тауэр, набитый хард дисками, а стойки, с вентиляцией, с резервным питанием, с датчиками перегрева в конце концов. И там есть обслуживающий персонал в том или ином виде. Эти компании не могут себе позволить просто так потерять данные или спалить технику.
Перфекционизм - штука, конечно, хорошая, но довольно затратная. И всяко на свой страх и риск, ведь для "изделий" обязательны всякие тесты: климатические, механические... и другие. Домашний комп - не "изделие". Но не стоит отчаиваться, в том виде, в котором эти компы продаются, они на многое способны. Только не надо от них требовать невозможного.

Я сейчас имею "область интереса", состоящую из одной полной области и двух неполных. Эти неполные добавил недавно, поэтому пришлось их скачивать практически с нуля. Скачиваю всегда в полуавтоматическом режиме, то есть на мелких масштабах по всей выделенной области, а на z17 и z18 - выделяя куски руками. За четыре-пять вечеров вся моя область интереса была скачана. А дальше только новые снимки, а их не так много, да и не в каждом обновлении. Бана при таком методе не наблюдал. Кстати, скачивать масштабы более z18 считаю бессмысленным (если это снимки территории России) ввиду отсутствия дополнительной информации на бОльших зумах. Оговорюсь, есть снимки, которые можно и нужно смотреть и на z20, но это не на Гугле и не на Яндексе.

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

СообщениеДобавлено: 21 ноя 2015, 21:49
Merh
И таки рекомендую предыдущему оратору все же определиться с конкретным вопросом к данной теме. При 50м файлов в\на NTFS - возможны сюрпризы.

Перекинуть в "беркли" и вопрос закрыт, так ведь?
Кстати, скачивать масштабы более z18 считаю бессмысленным (если это снимки территории России) ввиду отсутствия дополнительной информации на бОльших зумах.

А это смотря что смотреть, на территории РФ. :mrgreen:
PS.А где смотреть 20-й посоветуете?

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

СообщениеДобавлено: 21 ноя 2015, 22:38
zed
У нас там ещё кэш в СУБД есть. И можно посмотреть в сторону NFS (Network File System).

Re: Windows XP и 50 миллионов файлов в кеше SASGIS

СообщениеДобавлено: 21 ноя 2015, 23:32
Merh
У нас там ещё кэш в СУБД есть.

Обычному хомячку (вроде меня), это ни о чём не говорит вообще.
А вот с "беркли" - там в принципе понятно, сконвертил (или сразу включил писать в него), и с проблемой FS можно дел не иметь.
И копироваться будут, самое тоже важное - быстро.
Я один раз попробовал 4 гига тайлов на флешку просто так скопировать... думал не дождусь.
Потом в контейнер от "трикрипта" снёс. А ещё "tar" есть... Вообще отличная вещь.