Страница 2 из 11

Re: Бан и борьба с ним

СообщениеДобавлено: 17 дек 2009, 15:12
zed
Если я правильно понимаю, это Q дерево для GE

Верно. Снимки и на GE и на GM одни и те же, соответственно, и их наличие/отсутствие полностью совпадает. Даже несмотря на то, что проекция картинок отличается.

Re: Бан и борьба с ним

СообщениеДобавлено: 17 дек 2009, 15:20
vdemidov
Да ну. Такого быть не может. Как минимум если заглянуть в полярные области :)

Re: Бан и борьба с ним

СообщениеДобавлено: 17 дек 2009, 15:37
zed
Достаточно выполнять проверку не по именам тайлов, а по координатам, и всё становится на свои места ;)
Естественно, на GE может быть один тайл, а на GM он плавно превращается в 2-3, но узнав, что на GE этот один тайл присутствует, можно смело качать соответствующие ему тайлы с GM. Ошибок быть не должно.

Re: Бан и борьба с ним

СообщениеДобавлено: 17 дек 2009, 16:01
vdemidov
Ну, если кто-то поделится алгоритмом разбора этих тайлов, то могу добавить режим закачки по Q-дереву. Или что-то в таком духе.

Re: Бан и борьба с ним

СообщениеДобавлено: 17 дек 2009, 16:05
Rasp
vdemidov писал(а):Ну, если кто-то поделится алгоритмом разбора этих тайлов, то могу добавить режим закачки по Q-дереву. Или что-то в таком духе.


Алгоритмом поделиться не могу, но это было бы круто!!!

Re: Бан и борьба с ним

СообщениеДобавлено: 17 дек 2009, 16:09
zed
vdemidov писал(а):Ну, если кто-то поделится алгоритмом разбора этих тайлов, то могу добавить режим закачки по Q-дереву. Или что-то в таком духе.

Могу написать dll, выполняющую всю черновую работу.

Re: Бан и борьба с ним

СообщениеДобавлено: 17 дек 2009, 16:27
vdemidov
Если можете, то предлагайте API, так как вы лучше знаете как оно там устроено и что может понадобиться.

Re: Бан и борьба с ним

СообщениеДобавлено: 17 дек 2009, 16:47
zed
Ушло ЛС.

Re: Бан и борьба с ним

СообщениеДобавлено: 17 дек 2009, 17:18
Parasite
1. Наличие тайлов в ГЕ не всегда передает наличие тайлов в ГМ (особенно при условии того, что изображения сперва появляются в ГЕ и уж позднее - в ГМ). То есть, ГЕ будет говорить что тайлы уже есть - а в ГМ их еще не будет, и будем получать все те же красивые 404е.
2. Бан в ГМ не всегда зависит от 404х ерроров. Иногда, качая ГМ с гарантированным наличием тайлов - прекрасно нарываешься на бан. А иногда, качая повторно ту же область но другой версии - банов не бывает НЕДЕЛЯМИ. Дело в том, что скорость отдачи 404х сервером выше скорости отдачи графики, и при массированных 404х мы просто весьма быстрее залетаем в бан по частоте запросов (либо по количеству оных за сессию).
3. Бороться с баном в ГМ надо не городя огород через ГЕ, а просто-напросто аккуратно работая с хедерами и кукисами. Именно так работает SatMap - и проблемы гуглебана там НЕТ (просто периодически показывает стандартную капчу гугля, при вводе которой - начинается новая сессия с новым лимитом скачки). Никаких огородов с ГЕ там не было, нет и не нужно.

Re: Бан и борьба с ним

СообщениеДобавлено: 17 дек 2009, 17:33
vdemidov
Ну одно другому не мешает. Если есть способ уменьшить вероятность попадания на 404, то почему бы не воспользоваться. А к работе с кукисами когда-нибудь придем.