Загрузка тайлов -- много замечаний/вопросов.

[blacklion]

Я могу это оформить как тикеты в багтрекере, но не очень понимаю, как там найти -- нету ли такого. по крайней мере поиск по слова типа "Очередь" там возвращает всю базу, а не что-то найденное.
Буквально за неделю выкачивания тайлов с гугла что бы сделать JNX навели меня на такие мысли:

(1) Когда гугл банит он возвращает ошибку 503. Я понимаю, что это "неизбежно" но обработка этого никуда не годится.
(1a) В лог пишется "Ошибка соединения с сервером". Это чушь. Ошибка соединения с сервером -- это conenction refused, timeout или no route to host/net на уровне сокета. А тут с соединением всё в порядке, просто HTTP 503. Таким образом запись в логе -- полностью дизориентирует. Мне пришлось сниффить трафик Wireshark'ом что бы понять, что там случилось на самом деле.
(1b) Ждать 10 секунд и пробовать ещё раз -- это очень, очень злобно. Гугл банит на сутки. Это известно. Долбиться раз в 10 секунд -- только продлевать бан.

(2) Хочу очередь заданий. Если у меня задача скачать снимки и потом подписи к ним (hybrid-слой который) в 16-ом масштабе -- это две задачи часов по 5. Или вот скачать 13, 15, 17 масштабы одного и того же -- первое -- пара часов, второе -- десяток, третье -- дни. Если бы я мог поставить их в очередь и не думать когда кончится одно и надо запускать руками другое... И, да, уметь прятать всю программу с таскбара при этом вообще. Или отдельная утилитка-качалка, хотя бы и консольная, которая не болтается на экране и путается под руками -- когда закачка занимает несколько суток, это важно.

(3) Хочу поддержку IPv6 с перебором адресов из списка на ошибках. Я могу дать своей машине несколько миллиардов (да что там миллиардов, почти 2^64 за малым исключением) IPv6-адресов. Гугл их банит по одному (я проверял). Объяснять, зачем это надо ;-) ?

(4) Как вариант хочу просто генерацию текстового файла из строк вида "<URL> <local-path>". Что бы перечислить всё, что по заданным настройкам (сервис, контур, масштаб) надо загрузить и куда сложить в локальном каталоге (как SAS.Планета ожидает это увидеть у себя в кэше). А уж скрипт, который будет делать пожелание из (2) и (3) по такому файлу можно написать на чём угодно -- перл, питон, руби, не важно. И запускать, кстати, на серверах и хостингах. И не бояться никаких банов.

Может это всё уже есть, а я не нашёл?

[vasketsov]

запись в логе -- полностью дизориентирует

А меня например дезориентирует позиция людей, использующих слова, которые они не умеют писать.

Гугл банит на сутки. Это известно

Кому известно? Неумеющим пользоваться поиском? В багтрекере написан алгоритм разбана за минуту. И на форуме он писался. Ищите.

Хочу очередь заданий

В багтрекере помнится уже есть такая хотелка. Оттого что кто-то чуть более громко её хочет - ничего не изменится.

[blacklion]

запись в логе -- полностью дизориентирует

А меня например дезориентирует позиция людей, использующих слова, которые они не умеют писать.

Когда возразить нечего, а хочется -- начинают придираться к орфографии, это понятно. Есть по сути что возразить о невнятной диагностике в логе?

Гугл банит на сутки. Это известно

Кому известно? Неумеющим пользоваться поиском? В багтрекере написан алгоритм разбана за минуту. И на форуме он писался. Ищите.

Это ручная операция. Я должен все 5 суток скачки сидеть, без сна и работы, следить за логом, и бежать разбанивать себя руками? Мне проще поставить на неделю и забыть. Сейчас это, увы, невозможно. Так можно и тайлы руками сохранять. Мы говорим об автоматическом средстве для рутинной задачи или о закате солнца вручную? Не знаю, что у других, но меня стабильно банят за 2-3 часа. Никаких настроек (вроде уменьшения пауз) я не делал. Адрес фиксированный, только мой (не большая сеть за NAT).

Если средство есть -- у вас же есть FAQ -- почему бы тогда это не внести? Там я как раз прочёл (да, я читаю FAQ, прежде чем задавать вопросы) вот такое:

ЭТО НЕ БАГ ПРОГРАММЫ SAS.Planet - это называется "бан на сервере", и им обычно грешит именно Google.
После примерно 1000 загруженных тайлов сервер обычно банит по IP. в программе реализована некоторая защита от бана (путем задержки закачки тайлов), но 100% гарантии это не дает. Основной инструмент, которым пользователь может управлять баном - параметр Sleep в zmp-файле. Таким образом, если после 10 минут работы с программой больше ничего не загружается - поздравляем! Вас забанили, и единственный выход - ждать сутки (иногда меньше), больше ничего делать не надо. После этого времени всё встает на свои места, и можно опять начинать качать (до следующего бана).

Что я должен думать, прочтя такое? Что нет, всё-таки, в FAQе врут, давайте прочитаем весь форум?

Теперь по вашей наводке я тему нашёл, даже две (спасибо). И что я читаю в той, что поновее?

И бан обходится не ручным трахом с заголовками и плагинами (ибо это полумера, можно и просто к инету переподключиться с другого IP), а введением в САС корректной автоматической работы с куками.

Кстати, написанное там у меня всё равно не работает -- у меня после бана нет удачных (в браузере) запросов к нужным серверам. Вообще. Копировать из заголовков нечего, просто Google Maps мне сутки (я засекал, да и на всяких других форумах это обсуждается) мне не доступен вообще никак, ни в одном браузере. Если только я не подключаюсь по IPv6, конечно -- там всё работает.

Вторая, правда, побольше, на 6 страниц. 2009 года. Окей, читаем. Ну да -- браузером зайти и строчку у него подсмотреть, и конфиг SAS.Планеты поменять тоже самое, что в закрытой новой теме. Только вот браузеру тоже 503 показывают на всё, и как я это сделаю в два часа ночи? И как я это буду делать каждые 2-3 часа в течение недели? Вы правда предлагаете такое решение? Всерьёз?

[vasketsov]

Есть по сути что возразить о невнятной диагностике в логе?

Не по содержанию, а по форме.
Чтобы обнаружить, что на тему http 503 нет тикета в багтрекере, не надо ничего искать по слову "очередь".
Надо - заведите тикет, чтобы изменилось опиание ошибки и перевод на другие языки.
Это достаточно ориентированный посыл? Он не дезориентировал?

Это ручная операция. Я должен все 5 суток скачки сидеть, без сна и работы, следить за логом, и бежать разбанивать себя руками?

Почему сразу "должен"? Может немного изменить подход к проблеме, и будет сразу "могу", а не "должен"?
Да руками, другого работающего способа нет.
И здесь вам тоже никто н должен никаких других способов.

Так можно и тайлы руками сохранять

Уверен что Вы справитесь.

Мы говорим об автоматическом средстве для рутинной задачи или о закате солнца вручную?

Мы совершенно точно не говорим об автоматическом средстве для рутинной задачи. Не верите - поищите в багтрекере по слову АВТОМАТ.
Я могу гарантировать, что как только сас научится обходить бан публично и работать автоматически неделями - это сразу же прикроется.

Если средство есть -- у вас же есть FAQ -- почему бы тогда это не внести?

Всё предельно просто: больше народу - меньше кислороду.
Как только картосервис понимает, что его имеют несколько больше допустимого, защита немного меняется.
И такие вот очередные неделевыкачивальщики гугла просто приводят к тому, что защита изменится быстрее.
Я неоднократно соревновался (обходом защиты против изобретения новой) и с террасервером, и с росреестром, и лишний раз...
Так что чтобы гнуть пальцы и потенциально оставлять других без гугла, надо сначала начать с себя и подумать, что лично ты "сделал для хип-хопа", достоин ли быть допущенным к тайным знаниям, чтоб будет если обходи бана появится у всех, и т.п.

Что я должен думать, прочтя такое?

Что банят на сутки или меньше. Минута - это меньше.

Что нет, всё-таки, в FAQе врут

Где конкретно наврано?
Кроме того, покажите пальцем на того, кто обещался держать фак в актуальном состоянии.

Теперь по вашей наводке я тему нашёл, даже две (спасибо). И что я читаю в той, что поновее?

Самая новая - тикет в багтрекере. Слева поле поиска. Соблаговолите придумать ключевое слово для бана гугла и найти её. Хотя она ещё поди с первой страницы не утонула.

Google Maps мне сутки (я засекал, да и на всяких других форумах это обсуждается) мне не доступен вообще никак

Могу лишь напомнить про корреляцию народа и кислорода. Рецепт в багтрекере есть.
Насколько быстро он "прокиснет" и как быстро гугл закроет "дыру" - зависит в том числе от вас.

Вы правда предлагаете такое решение? Всерьёз?

Нет, всерёз я могу предложить лишь вырвать волосик из бороды и сказать трах-тибидох-тибидох. Тогда точно получится всё что хочется.
Либо чуть менее серьёзно - HandyCache сотоварищи, и на нём анализировать 503 и переключать прокси.

[blacklion]

Это ручная операция. Я должен все 5 суток скачки сидеть, без сна и работы, следить за логом, и бежать разбанивать себя руками?

Почему сразу "должен"? Может немного изменить подход к проблеме, и будет сразу "могу", а не "должен"?
Да руками, другого работающего способа нет.

IPv6 -- отличный способ. Ну или генерация просто списка URL'ей и локальных имён для них -- а дальше можно, например, скачивание разнести на 100500 машин или написать скрипт, перебирающий адреса или прокси, да что угодно.

И здесь вам тоже никто н должен никаких других способов.

А я где-то говорил про "должен"? Вообще странный какой-то подход -- когда в ответ на фичереквест говорят ``здесь вам никто ничего не должен''. Окей, зачем тогда вообще что-то делать с таким подходом? Я же не требую ``что бы мне было в следующем ночном билде!''. Мне пришла в голову мысль, которая может быть полезна в развитии программы -- я ей поделился в виде предложения, а мне в ответ ``вам никто не должен''. Спасибо. Русские форумы бессмысленные и беспощадные, как они есть. Почему-то на форумах англоязычных программ я такого отношения не встречал -- сразу наехать, а потом уже разбираться.

Так можно и тайлы руками сохранять

Уверен что Вы справитесь.

Спасибо за доверие!

Мы говорим об автоматическом средстве для рутинной задачи или о закате солнца вручную?

Мы совершенно точно не говорим об автоматическом средстве для рутинной задачи.

Хм. Мне казалось весь смысл, основа, существования этого софта -- локальный кэш таких сервисов, как гугл. Для просто-картографии софт и поудобнее встречается. Уникальная возможность SAS.Планета -- сделать оффлайновую копию интересующих мест.

Я могу гарантировать, что как только сас научится обходить бан публично и работать автоматически неделями - это сразу же прикроется.

Да-да, IPv6 /64-префиксами банить начнут.

Если средство есть -- у вас же есть FAQ -- почему бы тогда это не внести?

Всё предельно просто: больше народу - меньше кислороду.
...
Так что чтобы гнуть пальцы и потенциально оставлять других без гугла, надо сначала начать с себя и подумать, что лично ты "сделал для хип-хопа", достоин ли быть допущенным к тайным знаниям, чтоб будет если обходи бана появится у всех, и т.п.

Написали бы, что ли, ``Масонская Ложа'' при входе... С таким-то подходом -- что ты сделал для хип-хопа...

Что я должен думать, прочтя такое?

Что банят на сутки или меньше. Минута - это меньше.

Фигурным цитированием напополам с демагогией занимаетесь, да? Я там и болдом выделил и подчеркнул специально. Что бы сомнений не было.

Что нет, всё-таки, в FAQе врут

Где конкретно наврано?

Я выделил и подчеркнул, вы вырезали. Хорошо, ещё раз:

Единственный выход - ждать сутки (иногда меньше)

Google Maps мне сутки (я засекал, да и на всяких других форумах это обсуждается) мне не доступен вообще никак

Могу лишь напомнить про корреляцию народа и кислорода. Рецепт в багтрекере есть.
Насколько быстро он "прокиснет" и как быстро гугл закроет "дыру" - зависит в том числе от вас.

Вы как-то скатились к обсуждению конкретного рецепта, который может протухнуть. Я писал не только о нём. Точнее совсем не о нём.

[vasketsov]

IPv6 -- отличный способ

Серебряная пуля?

Ну или генерация просто списка URL'ей и локальных имён для них

УРЛы генерятся по тайловым координатам (x,y,z,v), и проще это делать в перловом или каком другом скрипте.
Список тайлов в выделенной области можно получить экспортом в AUX.

или написать скрипт, перебирающий адреса или прокси, да что угодно

Удачи. Если это по силам, то две строки выше - реальная исчерпывающая подсказка.
зы. Впрочем поиском также это находится, например если поискать "список тайлов" или "список файлов".

Вообще странный какой-то подход -- когда в ответ на фичереквест говорят

Реквесты появляются в багтрекере. После поиска по нему. В крайнем случае - выделяются из темы с вопросами полных новичков. А никак не здесь.

зачем тогда вообще что-то делать с таким подходом?

Странный вопрос, однако.
Мне нужны были метки в SQLite - я их сделал.
Комраду zed нужно было хранилище в Беркли - он его сделал.
Остальные - аналогично.
Даже товарищ AlexZZZ1967 пусть и с помощью, но хотел облагородить поиск доступных снимков - сделали.
Вывод: делается - потому что нужно.
Если не нужно - не делается (типа если из А следует Б - то из неБ следует неА).
Предвидя вопросы, отвечу сразу: программа-автомат не нужна, как бы обратного не хотелось.

Мне казалось весь смысл, основа, существования этого софта -- локальный кэш таких сервисов, как гугл. Для просто-картографии софт и поудобнее встречается. Уникальная возможность SAS.Планета -- сделать оффлайновую копию интересующих мест.

Вот именно что интересующих. За неделю с гугла без бана выкачивается столько, сколько не может интересовать лично по определению.
Если это не личный интерес - поднимайте 100500+прокси, ipv6, покупайте снимки у гугла и т.п. - в любом случае вашу работу здесь за вас делать не будут.

Возможности программы сейчас достаточны, чтобы выкачать реально нужное, если только не очнулся за час до экспедиции.
Вы качаете неделю и планируете автоматизировать это - значит будет ещё больше выкачки. Для чего нам тут напрягаться, чтобы Вы без бана качали петабайты с гугла? Ась?

``Масонская Ложа'' при входе... С таким-то подходом

С каким "таким-то"? Вся необходимая информация есть в поиске. Предлагаете проводить ликбез по поиску?

Я выделил и подчеркнул, вы вырезали. Хорошо, ещё раз:

Единственный выход - ждать сутки (иногда меньше)

Ну и где тут враньё?
Что выход не единственный? Так Вы сами можете сменить прокси, вот и про IPv6 написали даже.
Ждать сутки или меньше? Это верно (написано же ЖДАТЬ, а не действовать).
Где враньё?

Вы как-то скатились к обсуждению конкретного рецепта, который может протухнуть

Неправда. Я скатился к Вашему неумению искать нужное не по слову "очередь" (а почему не "акваланг" или не "лопата"?), а также к возмущению реально работающими советами, требованием обновления фака и публикации сведений "a la ДСП".

Я писал не только о нём. Точнее совсем не о нём

Суточный бан был отправной точкой всего "плача Ярославны".
Стадия работ по вкорячиванию IPv6 ищется в багтрекере легко и непринуждённо.
Сворачивание в трей - тоже. Отдельный сервис для закачки - тоже.
Откуда вообще могла возникнуть идея создать свою отдельную тему с десятком вопросов, если для таких как Вы даже тему для абсолютных новичков выделили?

[blacklion]

IPv6 -- отличный способ

Серебряная пуля?

Нет, но лучше хождений в IE раз в два часа.

Ну или генерация просто списка URL'ей и локальных имён для них

УРЛы генерятся по тайловым координатам (x,y,z,v), и проще это делать в перловом или каком другом скрипте.
Список тайлов в выделенной области можно получить экспортом в AUX.

Ок, вот это -- ценная информация. Только вместо того, что бы спокойно написать её в первом своём ответе (как и ссылку на баг с рецептом в багтрекере) и закрыть тему, вы мне всласть похамили сначала.

Мне казалось весь смысл, основа, существования этого софта -- локальный кэш таких сервисов, как гугл. Для просто-картографии софт и поудобнее встречается. Уникальная возможность SAS.Планета -- сделать оффлайновую копию интересующих мест.

Вот именно что интересующих. За неделю с гугла без бана выкачивается столько, сколько не может интересовать лично по определению.

LOL WUT
По какому определению? Мне лично, для Oregon 600, нужны карты Лаоса и Вьетнама, которых нет ни в каком виде (я бы даже у Garmin купил -- да у него только автодороги да крупные города и те сделаны отвратно). В нормальном масштабе это -- порядка 8 гигов (по прогнозу программы). Там только прогноз программы без бана -- 5 дней. А с баном каждые два часа, с учётом того, что я не могу разбанивать каждые два часа (мне надо есть, спать, работать), это получается 120 часов (5 дней) делим на, скажем, 6 (три бана в сутки) -- 20 дней. Это что, "не может интересовать лично по определению"? Смешно же.

Ну и где тут враньё?
Что выход не единственный? Так Вы сами можете сменить прокси, вот и про IPv6 написали даже.
Ждать сутки или меньше? Это верно (написано же ЖДАТЬ, а не действовать).
Где враньё?

Я даже не буду на эту демагогию отвечать.

Откуда вообще могла возникнуть идея создать свою отдельную тему с десятком вопросов, если для таких как Вы даже тему для абсолютных новичков выделили?

Вы её читать пробовали? 238 страниц неструктурированной информации. Да, классический 100% случай синдрома русских форумов -- пока не прочтёшь пару мегабайт подвешенных тем и прочего архива -- на любой вопрос получаешь в ответ хамство и наезды.
Буду давать сюда ссылку, когда меня будут спрашивать, почему я предпочитаю общаться в англоязычном интернете.
Тему можно закрывать.

[vasketsov]

вы мне всласть похамили сначала

Даже не начинал ещё. Для примера можете почитать тикет про LocationSensor. И там - лишь обещания послать.
Вы пожалуй не знаете толкование слова "хамство", явно его с чем-то путая.

По какому определению? Мне лично, для Oregon 600, нужны карты Лаоса и Вьетнама

Во-первых, не всё что нужно, обязано получаться. Может внезапно за час надо карту Антарктиды ))).
Во-вторых, не уверен, что карты этих стран нужны полностью.
В-третьих, на OSM или на локальных сервисах что-то есть на эту тему?
В-четвёртых, Вы об этом узнали за 5 дней?

Это что, "не может интересовать лично по определению"? Смешно же.

В-пятых, Вы опять невнимательны. Неделя скачки - написано было что без бана. А не с учётом вашего личного сна, бана, медленного интернета и прочих прелестей жизни.

Я даже не буду на эту демагогию отвечать

И не надо. Надо быть просто внимательнее.
А если есть желание - зарегиться и актуализировать факи и вики. А не только просить.

Вы её читать пробовали? 238 страниц

И вы опять в-шестых невнимательны. Вам предлагалось туда ПИСАТЬ. А не читать всю тему. Если бы ответили - прочитать достаточно было бы только ответ.

зы. Вы реально считаете, что Ваше разрешение закрыть тему кого-то интересует? Это тоже синдром? )))))

[DJ VK]

или написать скрипт, перебирающий адреса или прокси, да что угодно

Удачи. Если это по силам, то две строки выше - реальная исчерпывающая подсказка.
зы. Впрочем поиском также это находится, например если поискать "список тайлов" или "список файлов".

В свое время я предлагал в экспорт запихнуть еще 1 пункт. Экспортировать список тайлов выделенной области. полные веб адреса. В виде текста. Конечно нужно иметь возможность резать штук по N на файл.
Далее просто teleport vlx, там и прокси, и многопоточность если надо, и структура директорий
ну или чтото еще...

Но если честно, несколько планет с разными прокси, да несколькими потоками рулят, почти как сам качаешь скорость...

[vasketsov]

В свое время я предлагал в экспорт запихнуть еще 1 пункт. Экспортировать список тайлов выделенной области. полные веб адреса. В виде текста. Конечно нужно иметь возможность резать штук по N на файл

И что стало с предложением? Был тикет?
Просто список по урлу на строку?
Зачем резать, чтобы один поток на файл потом запускать?

teleport vlx

Так ему поди надо не просто файл, а html с <a href="xxx">yyy</a> построчно, с <head> и <body>?
А как потом переносить файлы в тайлохранилище? Через закачку по file:// или сразу собирать структуру как в сасе?

Не вижу проблем реализовать это.

>несколько планет с разными прокси, да несколькими потоками рулят
То что сас можно запускать в несколько экземпляров из разных папок с одним кэшем, одними картами и разными прокси - это был секрет )))