SASGIS

Веб-картография и навигация

Maptorium

Обсуждение различной информации связанной с картографией в САСе, а также сторонние программные продукты для связки с САСом

Модератор: Tolik

Maptorium

Сообщение GoodZon » 28 янв 2022, 00:05

Добрый день, уважаемое сообщество. Хочу представить вам свою разработку.

https://github.com/gunyakov/maptorium

Это написанный на nodejs грабер спутниковых карт гугла в кеш, совмепстимый с SASPlanet (В принципе грабить можно любые растровые тайловые карты)
Собственно разработка началась с того, что САС при загрузке огромного количества тайлов гугл карт постоянно ловил бан ип. Нужно было останавливать закачку, переподключатся к другому прокси, и начинать закачку заново. А если в очереди более милиона тайлов, то ждать пока они перепроверятся на наличие в кеше меня очень напрягало. И чтоб не прерывать закачку и не начинать ее заново, я сделал простой скрипт, который качает карты через Tor. А когда гугл банит ип, идет автоматическая смена Tor ID, и закачка продолжается. Таким методом я скачал уже более 6TB спутниковых карт гугла. Правда и времени потратил более полугода. И после решил сделать уже полноценный сервис с UI, который и выложил в гитхаб.

На сегодня это очень ранняя разработка. В планах куча всего добавить в программу. Жду коментов, критики. Может даже кто то захочет присоеденится к разработке.
Уже появилась очередь закачки, когда можно выделить регион и добавить в список. Так можно добавить несколько регионов и уйти спать, а не сидеть и ждать когда закончится одня закачка, чтоб начать другую.

За это сообщение автора GoodZon поблагодарил:
SergeyKa (02 фев 2022, 01:42)
Рейтинг: 5.26%
 
GoodZon
Новичок
 
Сообщения: 7
Зарегистрирован: 04 май 2017, 22:41
Благодарил (а): 1 раз.
Поблагодарили: 1 раз.

Вернуться в Другие программы

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1