SASGIS

Веб-картография и навигация

Бан и борьба с ним

Обсуждаем сервисы Google Maps и Google Earth™

Модератор: Tolik

Re: Бан и борьба с ним

Сообщение Parasite » 17 дек 2009, 17:40

vdemidov писал(а):Ну одно другому не мешает. Если есть способ уменьшить вероятность попадания на 404, то почему бы не воспользоваться. А к работе с кукисами когда-нибудь придем.

Довольно странный этот способ, извините - это как исследовать гланды через анальное отверстие. Боясь 404х и временнОго бана - Вы предлагаете качать дерево ГЕ (а это трафик, время, постоянное изменение версий и негарантированность соответствия ГМ\ГЕ), а взять и прикрутить работу с куками (что делается проще дерева ГЕ, и заюзано в куче программ и в самом гуглеАПИ, документированно и отлаженно), после чего которого на 404е можно просто плевать как на них плюет обычный браузер при обычном просмотре карты на ГМ, и где собственно кукисы могут помочь работе и с другими ресурсами - это как-то игнорируется. Как-то с ног на голову всё, простите...
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: Бан и борьба с ним

Сообщение vdemidov » 17 дек 2009, 17:45

Parasite писал(а):
vdemidov писал(а):Ну одно другому не мешает. Если есть способ уменьшить вероятность попадания на 404, то почему бы не воспользоваться. А к работе с кукисами когда-нибудь придем.

Довольно странный этот способ, извините - это как исследовать гланды через анальное отверстие. Боясь 404х и временнОго бана - Вы предлагаете качать дерево ГЕ (а это трафик, время, постоянное изменение версий и негарантированность соответствия ГМ\ГЕ), а взять и прикрутить работу с куками (что делается проще дерева ГЕ, и заюзано в куче программ и в самом гуглеАПИ, документированно и отлаженно), после чего которого на 404е можно просто плевать как на них плюет обычный браузер при обычном просмотре карты на ГМ, и где собственно кукисы могут помочь работе и с другими ресурсами - это как-то игнорируется. Как-то с ног на голову всё, простите...

Ну с кукисами разбираться все-таки сложнее :) Да и не бана я боюсь, а просто хочеться ускорить закачку, не перебирая область где тайлов точно нет.
Чтобы понять программу, вы должны стать одновременно и машиной, и программой.
Аватара пользователя
vdemidov
Гуру
 
Сообщения: 1687
Зарегистрирован: 12 дек 2008, 13:10
Откуда: Киев
Благодарил (а): 191 раз.
Поблагодарили: 157 раз.

Re: Бан и борьба с ним

Сообщение Rasp » 17 дек 2009, 17:46

Parasite писал(а):2. Бан в ГМ не всегда зависит от 404х ерроров. Иногда, качая ГМ с гарантированным наличием тайлов - прекрасно нарываешься на бан. А иногда, качая повторно ту же область но другой версии - банов не бывает НЕДЕЛЯМИ. Дело в том, что скорость отдачи 404х сервером выше скорости отдачи графики, и при массированных 404х мы просто весьма быстрее залетаем в бан по частоте запросов (либо по количеству оных за сессию).


Почему у меня иначе? При скачивании области х16 с задержкой 1000 без определения фактического наличия тайлов - гарантированный бан причем практически моментально.
А при многопоточном скачивании областей только с существующими тайлами с задержкой 0 - бана нет. Совсем. И уже давно.
Представляете разницу в кол-ве запросов в единицу времени в первом и во втором случае?
Касательно ограничения запросов за сессию мне сложно сказать. 2-3 гига за один запуск программы в течение 5-6 часов это много или мало?
Rasp
Новичок
 
Сообщения: 11
Зарегистрирован: 05 окт 2009, 19:38
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Бан и борьба с ним

Сообщение Rasp » 17 дек 2009, 17:58

vdemidov писал(а):Да и не бана я боюсь, а просто хочеться ускорить закачку, не перебирая область где тайлов точно нет.


Ооопс... Вроде мы как раз тут искали способ как ускорить закачку с Гуугла и при этом не нарваться на бан. А сейчас оказывается не в этом дело. Может я что-то пропустил?
Rasp
Новичок
 
Сообщения: 11
Зарегистрирован: 05 окт 2009, 19:38
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Бан и борьба с ним

Сообщение Parasite » 17 дек 2009, 17:59

Rasp писал(а):Почему у меня иначе?

Я уже ответил выше, почему. САС не использует куков и получает бан, как обычный робот. Вероятность бана зависит от числа, скорости запросов, состояния пылевых дюн на Марсе и еще чего там гуглю на ум пришло - сие неважно, важно то что САС детектируется как робот.
Браузер использует куки и не использует ГЕ, автоматически переобновляет куки, не детектируется как робот и не получает бана.
Сатмап использует куки и не использует ГЕ, детектируется как робот, проходит проверку стандартной гуглекапчей и не получает бана.
Вывод напрашивается сам собой, не так ли?

Rasp писал(а):Касательно ограничения запросов за сессию мне сложно сказать. 2-3 гига за один запуск программы в течение 5-6 часов это много или мало?

Понятия не имею - качаю СатМапом, и банов не было уже год. Вот прям вообще не было. Тянет и тянет себе, раз в недельку вылезет капча (если автоматом не распознает) - ввел, качает дальше... Выкачаны сотни гигабайт.

vdemidov писал(а):Ну с кукисами разбираться все-таки сложнее

Особенно учитывая что гуглеапи доступен и документирован, а код страницы при просмотре ГМа-на яве и ничем не защищен? Разбирайся - не хочу.... ;)
Опять же, в СатМапе как-то разобрались (а проект на порядок проще САСа). И с нативным хранением кэша в базе, практически моментальным построением карт заполнения, версией тайлов и прочими вкусностями - тоже... ;)
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: Бан и борьба с ним

Сообщение zed » 17 дек 2009, 18:38

А счастье было так близко... :(
zed
Гуру
 
Сообщения: 2888
Зарегистрирован: 16 авг 2008, 20:21
Благодарил (а): 89 раз.
Поблагодарили: 568 раз.

Re: Бан и борьба с ним

Сообщение Parasite » 17 дек 2009, 18:53

zed писал(а):А счастье было так близко... :(

Да лааадно.... :)
За НЕОБХОДИМОСТЬ юзания куков САСом (и по совместительству - формирования\парсинга хидеров при общении с инетом, а в идеале - возможности контролирования этого всего самим пользователем в ЗМПшном скрипте) я вещал давно и безнадежно. А ведь крайне многие проблемы можно было бы решить. Навскидку - баны на гугле (=куки), белые квадраты на DG (=по хидерам прекрасно вычисляются), да тот же GE юзающий сессии\нестандартные самосборные заголовки.......много чего вкусного. Но поддержки этого пока нет, посему разговор пока что ни о чем... :(

PS: идея же проверять ГМ по дереву ГЕ мне действительно смотрится довольно дикой. Особенно со сменами ГЕ-деревьев пару раз в неделю (читай - невозможность долговременного кэширования, а при юзании старых кэшированных данных с новым деревом - будем получать 404 уже в ГЕ...).
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 512 раз.

Re: Бан и борьба с ним

Сообщение vdemidov » 17 дек 2009, 19:04

Ну когда я созрею на борьбу с куками и хидерами, я тебя позову :) Ну а пока, "Баба з возу - на колеса легше"
Чтобы понять программу, вы должны стать одновременно и машиной, и программой.
Аватара пользователя
vdemidov
Гуру
 
Сообщения: 1687
Зарегистрирован: 12 дек 2008, 13:10
Откуда: Киев
Благодарил (а): 191 раз.
Поблагодарили: 157 раз.

Re: Бан и борьба с ним

Сообщение Rasp » 17 дек 2009, 19:22

vdemidov писал(а):Ну когда я созрею на борьбу с куками и хидерами, я тебя позову :) Ну а пока, "Баба з возу - на колеса легше"


Гм.. Т.е. так и будет банить? И придется продолжать ручками задавать области?
Rasp
Новичок
 
Сообщения: 11
Зарегистрирован: 05 окт 2009, 19:38
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Re: Бан и борьба с ним

Сообщение vdemidov » 17 дек 2009, 19:27

Ну, если кто-то разберется какие куки где нужно получать и куда отдавать, и расскажет мне, то есть большие шансы, что я попробую реализовать. Если придется разбираться самому, то очень нескоро.
Чтобы понять программу, вы должны стать одновременно и машиной, и программой.
Аватара пользователя
vdemidov
Гуру
 
Сообщения: 1687
Зарегистрирован: 12 дек 2008, 13:10
Откуда: Киев
Благодарил (а): 191 раз.
Поблагодарили: 157 раз.

Пред.След.

Вернуться в Google Maps + Google Earth™

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 17