FTP по обмену кешем

[Parasite]

Мне не нужен конвертор, да я думаю и основной массе пользователей тоже.

Код: Выделить всё

rokki 03 дек 2008, 16:36
1. Сделать поддержку импорта разных кешей от разных программ откачки снимков (чтобы люди у кого наработан кеш в других прогах могли его конвертить в SAS и писать на общий сервер)

Люди у кого наработан кеш в других прогах - могут его конвертить в SAS путем уже имеющегося на форуме конвертора кэша. Если Вам нужно конвертировать кэши раз 50 в сутки - ничего не мешает Вам это делать по крону либо создать элементарный батник, кой и пускать (это даже быстрее, чем выбрать нужный пункт меню из САСа).

Нужна функция в программе непосредственно. Это не файлы привязки конвертить.. и точки импортировать. это КЭШ. Разницу не находите?

Я вообще не вижу смысла в Вашей затее, кроме как места для централизованного хранения общего кэша (что поможет например обойти баны на ГМ). Не более того. Всё остальное можно сделать и на локалхосте + гуглесервер.

программа получает данные о кешированных файлах из таблицы а не путем чтения каталога на диске. Это вам понятно ?))) Индекс кеша хранится в базе. Зачем в базе? Затем чтобы любой юзер подключенный к кешу через сеть имел этот индекс и мог его обновлять ))) Вы просто мыслите только относительно одного "себя любимого". Я же веду речь о групповом использовании кеша на ресурсе. Без откачки всего кеша себе (это трафик). Через программу можно будет посмотреть какие есть снимки и откачать только то что нужно, а также поделиться тем что успел себе накачать)

Еще раз: индексные файлы можно сделать БЕЗ огорода с базой. Опять же, команду LIST на фтп еще никто не отменял. Говоря же о "экономии трафика на индексы" (т.е.единицы килобайт) в свете планируемой "откачки кэша гугля" (это как минимум МЕГАбайты на сессию) - это экономия на спичках, извините. Вы лучше примите во внимание собственно служебный FTP-трафик (число посланных и присланных команд ФТП до начала единичной транзакции, помноженное на число скачиваемых тайлов).

Вы смотрите индекс в SAS на наличие тайлов на бланковом слое (векторная или иная карта встроенная в SAS как бланковая) посредством мозаики посттроенной SAS программно. (границы которой сформированы на основании существующих записей о тайлах в БД) . Если вам что то надо скачать - даете команду SAS на откачку тайла с ФТП. Так понятно ?)))

Довольно бредово нагороженный огород.
Ну получили Вы индекс имеющихся тайлов - дальше-то что? Правильно, их надо КАЧАТЬ - конкретные и по конкретным УРЛам.
Ну так примите как допуск, что на Вашем ФТП есть ВСЕ тайлы, и пробуйте их качать. Если ФТП Вам в каком-то отдельном случае отдал "not_found" - то этот же тайл берите с гугля, одновременно отправляя его на Ваш ФТП. Ежу понятно, что чем больше Вы отправите - тем меньше будет гапов для других.
Это можно сделать элементарным скриптиком на стороне САСа.

Автор программы не несет ответственности за действия пользователей.

Зато владелец хостинга несет ответственность за расположенный на его хостинге материал.

Это вопросы к владельцу сервера. При чем тут автор программы ?

Вот в суде гуглевцам и растолкуете.

[Parasite]

вы команды FTP знаете ?

Вполне.
А Вы - постулаты построений удаленных хранилищ и датабанков? НИ ОДИН из них не работает по ФТП-протоколу в частности и по Вашему алгоритму - вообще (посмотрите хотя бы на организацию САМОГО ГуглеМапса в конце-то концов), ну да ладно - не будем о грустном...

Засим предлагаю данную дискуссию считать завершенной. Свою точку зрения на предложение я раскрыл полностью. ФТП как удаленное хранилище - имхо не помешал бы, но не более того.

[rokki]

Я вообще не вижу смысла в Вашей затее, кроме как места для централизованного хранения общего кэша (что поможет например обойти баны на ГМ). Не более того. Всё остальное можно сделать и на локалхосте + гуглесервер.
Да ! Именно для общего кеша и его наполнения а не только "для себя любимого"

программа получает данные о кешированных файлах из таблицы а не путем чтения каталога на диске. Это вам понятно ?))) Индекс кеша хранится в базе. Зачем в базе? Затем чтобы любой юзер подключенный к кешу через сеть имел этот индекс и мог его обновлять ))) Вы просто мыслите только относительно одного "себя любимого". Я же веду речь о групповом использовании кеша на ресурсе. Без откачки всего кеша себе (это трафик). Через программу можно будет посмотреть какие есть снимки и откачать только то что нужно, а также поделиться тем что успел себе накачать)

Еще раз: индексные файлы можно сделать БЕЗ огорода с базой. Опять же, команду LIST на фтп еще никто не отменял. Говоря же о "экономии трафика на индексы" (т.е.единицы килобайт) в свете планируемой "откачки кэша гугля" (это как минимум МЕГАбайты на сессию) - это экономия на спичках, извините. Вы лучше примите во внимание собственно служебный FTP-трафик (число посланных и присланных команд ФТП до начала единичной транзакции, помноженное на число скачиваемых тайлов).

Сделайте запрос на выборку на лимон записей к таблице и листинг миллиона файлов в разных папках посредством фтп комманды. Сравните результаты

Вы смотрите индекс в SAS на наличие тайлов на бланковом слое (векторная или иная карта встроенная в SAS как бланковая) посредством мозаики посттроенной SAS программно. (границы которой сформированы на основании существующих записей о тайлах в БД) . Если вам что то надо скачать - даете команду SAS на откачку тайла с ФТП. Так понятно ?)))

Довольно бредово нагороженный огород.
Ну получили Вы индекс имеющихся тайлов - дальше-то что?
Вот именно этого я и хочу. Получать индекс и видеть что есть в кеше без обращения к самому тайлу. Быстро и оперативно.
Правильно, их надо КАЧАТЬ - конкретные и по конкретным УРЛам.
Да безусловно надо качать НО только ЕСЛИ НАДО ... Сейчас я их качаю полюбому... программа меня не спрашивает надо мне качать или не надо... А если будет визуальный индекс, то я буду качать ту область которую я 1. Увижу в кеше. 2. Захочу скачать.

Ну так примите как допуск, что на Вашем ФТП есть ВСЕ тайлы, и пробуйте их качать. Если ФТП Вам в каком-то отдельном случае отдал "not_found" - то этот же тайл берите с гугля, одновременно отправляя его на Ваш ФТП. Ежу понятно, что чем больше Вы отправите - тем меньше будет гапов для других.
Это можно сделать элементарным скриптиком на стороне САСа.

[MODERATED] Очередной километровый флуд потерт, тема почищена.

[gisof]

Готов захостить сервер по обмену кешем на 100 мегабитном канале. Дисковое пространство 5 ТБ. Исходящий трафик безлимит,, входящий 64 Гиг в мес. Кеш в формате SAS.

Спасибо за то, что предлагаете реальную помощь нашему сообществу.

1. Сделать поддержку импорта разных кешей от разных программ откачки снимков (чтобы люди у кого наработан кеш в других прогах могли его конвертить в SAS и писать на общий сервер)

Лично я держу кэши в формате Google MV. Необходимо расмотреть вопросы "конвертации" кэшей "налету" при чтении/записи на FTP.

2. Сделать синхронизацию кеша через ФТП посредством базы данных, в которую сохраняются при закачке имена тайлов по уровням. База данных висит на том же хосте что и ФТП.

Полностью согласен - при большом кол-ве пользователей и файлов на FTP это самый рациональный способ.
Я себе не представляю синхронизацию терабайтных кэшей - речь может идти только об определённых областях карт.(у меня и сотня гиг для кэша с трудом найдётся)
Можно будет установить в настройках sas сначала проверять наличие тайла в БД FTP, а потом (если там нет) обращаться к гуглу.[/quote]

3. Сделать визуальное отображение объема кеша на бланковой карте в SAS -В SAS делается многоуровневая встроенная векторная бланковая карта, на которой цветными квадратами отражаются области находящихся в кеше тайлов (Исходники векторных карт всего мира могу предоставить) Информация о кешированных тайлах берется из базы данных.

тоже было бы не плохо.
Встаёт вопрос кто всё это сможет реализовать?

[Parasite]

Полностью согласен - при большом кол-ве пользователей и файлов на FTP это самый рациональный способ.
Я себе не представляю синхронизацию терабайтных кэшей - речь может идти только об определённых областях карт.(у меня и сотня гиг для кэша с трудом найдётся)

А чем Вас не устраивает собственно сервер ГЕ? Там уже есть ВСЕ тайлы по определению, и верный "индекс заполнения имеющимися тайлами" при таком раскладе Вы можете вычислять даже в уме. Дальше-то все равно надо будет строить УРЛ и качать данные к себе, и не все ли равно - с гугля или с этого ФТП? Всей разницы - у гугля канал много шире, но зато периодически бывает бан (всего на одном типе карт - на космоснимках). Больше лично я никакой разницы с предложенным вариантом НЕ вижу, а бан успешно обходится (обойден по факту) в других проектах безо всяких сторонних ФТП\баз.

Если же добавить в расклад факт того, что на гугле контент подвержен спонтанным обновлениям (что приведет к той или иной мере устаревания контента на ФТП и необходимости механизма той или иной массовой синхронизации контента для предотврашения "каши из версий" на фоне многогогабайтного уже накопленного кэша)...

[gisof]

Полностью согласен - при большом кол-ве пользователей и файлов на FTP это самый рациональный способ.
Я себе не представляю синхронизацию терабайтных кэшей - речь может идти только об определённых областях карт.(у меня и сотня гиг для кэша с трудом найдётся)

А чем Вас не устраивает собственно сервер ГЕ? Там уже есть ВСЕ тайлы по определению, и верный "индекс заполнения имеющимися тайлами" при таком раскладе Вы можете вычислять даже в уме. Дальше-то все равно надо будет строить УРЛ и качать данные к себе, и не все ли равно - с гугля или с этого ФТП? Всей разницы - у гугля канал много шире, но зато периодически бывает бан (всего на одном типе карт - на космоснимках). Больше лично я никакой разницы с предложенным вариантом НЕ вижу, а бан успешно обходится (обойден по факту) в других проектах безо всяких сторонних ФТП\баз.

Ответ прост : я хочу всё и сразу. Все типы карт без каких-либо ограничений. Чем больше будет вариантов - тем лучше.

Если же добавить в расклад факт того, что на гугле контент подвержен спонтанным обновлениям (что приведет к той или иной мере устаревания контента на ФТП и необходимости механизма той или иной массовой синхронизации контента для предотврашения "каши из версий" на фоне многогогабайтного уже накопленного кэша)...

Эти вопросы можно решить с помощью FTP.

[Parasite]

Ответ прост : я хочу всё и сразу. Все типы карт без каких-либо ограничений. Чем больше будет вариантов - тем лучше.

Дак чем Вас не устраивают нативные серверы с нужным Вам контентом? Качать-то Вам придется либо с нативного, либо с альтернативного - но совершенно одинаковые данные и в совершенно в тех же обьемах, сколько бы карт Вам ни приспичило укачивать.

Эти вопросы можно решить с помощью FTP.

Как это видите лично Вы? Распишите по пунктам плиз, чтобы понять Вашу точку зрения.

Допустим, мы имеем альтернативный ФТП с контентом на 1Тб (при среднем размере одного тайла в 5Кб это приблизительно 200 миллионов тайлов, если я не ошибаюсь). Допустим, что на ФТП все эти тайлы только версии 1.0.
Теперь предположим, что на гугле прошло массовое обновление, добавлены кучи новых карт итд итп, и на гугле все тайлы стали версии 2.0 (с соответствующими изменениями в граф.контенте, причем о размерах и координатах произведенных конкретных изменений гугль нам не докладывается и мы этого не видим и не знаем - но они есть, и визуально их на том или ином отдельно взятом участке поверхности - видно).

Ваши действия по проверке и обновлению Ваших 200 миллионов имеющихся тайлов на ФТП?

PS: я не оспариваю идею как в корне ненужную - я просто хочу открыть для себя ее глубинный смысл и оценить обещаемые ею фичи.

[gisof]

Ответ прост : я хочу всё и сразу. Все типы карт без каких-либо ограничений. Чем больше будет вариантов - тем лучше.

Дак чем Вас не устраивают нативные серверы с нужным Вам контентом?

Недостатков много и в будущем их может стать ещё больше, перечислять их не буду.

Качать-то Вам придется либо с нативного, либо с альтернативного - но совершенно одинаковые данные и в совершенно в тех же обьемах, сколько бы карт Вам ни приспичило укачивать.

А почему бы одновременно не качать с двух? (иногда в этом есть смысл) На FTP можно хранить разные версии данных.
Также можно будет выкладывать эксклюзивные карты (Пр. генштаб). Любой пользователь может с помощью спец.прог (Пр. Global Mapper ) импортировать любую карту или снимок в формат GoogleMV.

Эти вопросы можно решить с помощью FTP.

Как это видите лично Вы? Распишите по пунктам плиз, чтобы понять Вашу точку зрения.

Допустим, мы имеем альтернативный ФТП с контентом на 1Тб (при среднем размере одного тайла в 5Кб это приблизительно 200 миллионов тайлов, если я не ошибаюсь). Допустим, что на ФТП все эти тайлы только версии 1.0.
Теперь предположим, что на гугле прошло массовое обновление, добавлены кучи новых карт итд итп, и на гугле все тайлы стали версии 2.0 (с соответствующими изменениями в граф.контенте, причем о размерах и координатах произведенных конкретных изменений гугль нам не докладывается и мы этого не видим и не знаем - но они есть, и визуально их на том или ином отдельно взятом участке поверхности - видно).

Изменения отследить достаточно легко. Скоро эти данные будут публиковаться. Подробности пока афишировать не буду.

Ваши действия по проверке и обновлению Ваших 200 миллионов имеющихся тайлов на ФТП?

Обновляться на FTP будут только востребованные области. Причём старые снимки также будут доступны.
Конечно это потребует новой структуры кэша с учётом разных версий данных. КЭШ2.0

Скоро я эти вопросы буду прорабатывать (сейчас нет времени) и после прихода к законченному решению распишу всё по пунктам.

[Parasite]

Ответ прост : я хочу всё и сразу. Все типы карт без каких-либо ограничений. Чем больше будет вариантов - тем лучше.

Дак чем Вас не устраивают нативные серверы с нужным Вам контентом?

Недостатков много и в будущем их может стать ещё больше, перечислять их не буду.

То есть, на настоящий момент обоснованных возражений предьявить не готовы?

Качать-то Вам придется либо с нативного, либо с альтернативного - но совершенно одинаковые данные и в совершенно в тех же обьемах, сколько бы карт Вам ни приспичило укачивать.

А почему бы одновременно не качать с двух?

Это хорошая идея - я как-то тут тоже предлагал ввести многопоточную закачку, но это не встретило понимания автора.
При скачке же одного тайла с гугля, а соседнего - с фтп возможно натыкание на грабли в виде одного тайла v.2.0, а второго - v.1.0, и визуальной нестыковки оных. При просмотре - еще куда ни шло, а вот при склейке карты из этого зоопарка - будет сильно "красиво"...

На FTP можно хранить разные версии данных.

1. А как Вы их (имеющиеся тайлы) предлагаете различать на ФТП?
2. Навскидку лично я не могу назвать областей применения "разных версий на ФТП". Одна текущая (но полная и проапдейченная) версия намного полезней в практическом плане. Опять же, место на ФТП не резиновое...

Также можно будет выкладывать эксклюзивные карты (Пр. генштаб). Любой пользователь может с помощью спец.прог (Пр. Global Mapper ) импортировать любую карту или снимок в формат GoogleMV.

Да, это безусловно хорошее и нужное предложение. Лично я - поддерживаю.
Кстати, а сейчас где-нибудь Генштаб (в виде обычных хайресовых карт) укачать реально? Желательно весь (я знаю, что его более чем МНОГО:) )

Изменения отследить достаточно легко. Скоро эти данные будут публиковаться.

Пока что ничего нигде не публикуется, насколько я знаю. И нет ничего более постоянного, чем временное. Начнут публиковать - посмотрим...

Обновляться на FTP будут только востребованные области.

КЕМ и КАК они будут обновляться? И как на это в скором времени отреагирует Гугль (там процесс бана, а затем стука админам в случае глобального утекания контента в одно отдельно взятое место уже давно роботизирован - под этой эгидой оно и САСа-то банит при скачке, собссно....)?

после прихода к законченному решению распишу всё по пунктам.

Ждем.

[rokki]

Новые версии хранить со старыми сделать можно но не нужно. Не думаю, что Гугло апдейтит карты с ухудшением )) ФТП контент обновляется пользователями при попытке обновить кеш FTPиз личной коллекции? программа проверяет версию файла из индекса кеша который в базе данных. В индекс ведь можно писать не только имя тайла, а также его версию на гугле, размер в байтах и т д))) А потом сравнивать запросом на выборку по этим критериям )) До операции непосредственной закачки на ФТП естессно... Сначала идет синхронизация индексов - локального и удаленного. Обновление (список новых тайлов) качается в ту или иную сторону... Либо на ФТП либо с ФТП юзеру с его согласия ))

Кстати данные о версиях тайлов можно уже сейчас выковыривать из кеша ГЕ. Они там присутствуют ))

"И как на это в скором времени отреагирует Гугль (там процесс бана, а затем стука админам в случае глобального утекания контента в одно отдельно взятое место уже давно роботизирован - под этой эгидой оно и САСа-то банит при скачке, собссно....)?"

Да никак он не отреагирует ))))))) Вы себе представляете вообще какой трафик у гугла, а? И какой "козявкой" в доле этого трафика являетесь вы ?))

[MODERATED: OFFTOPIC]