Maptorium
Добавлено: 28 янв 2022, 00:05Добрый день, уважаемое сообщество. Хочу представить вам свою разработку.
https://github.com/gunyakov/maptorium
Это написанный на nodejs грабер спутниковых карт гугла в кеш, совмепстимый с SASPlanet (В принципе грабить можно любые растровые тайловые карты)
Собственно разработка началась с того, что САС при загрузке огромного количества тайлов гугл карт постоянно ловил бан ип. Нужно было останавливать закачку, переподключатся к другому прокси, и начинать закачку заново. А если в очереди более милиона тайлов, то ждать пока они перепроверятся на наличие в кеше меня очень напрягало. И чтоб не прерывать закачку и не начинать ее заново, я сделал простой скрипт, который качает карты через Tor. А когда гугл банит ип, идет автоматическая смена Tor ID, и закачка продолжается. Таким методом я скачал уже более 6TB спутниковых карт гугла. Правда и времени потратил более полугода. И после решил сделать уже полноценный сервис с UI, который и выложил в гитхаб.
На сегодня это очень ранняя разработка. В планах куча всего добавить в программу. Жду коментов, критики. Может даже кто то захочет присоеденится к разработке.
Уже появилась очередь закачки, когда можно выделить регион и добавить в список. Так можно добавить несколько регионов и уйти спать, а не сидеть и ждать когда закончится одня закачка, чтоб начать другую.
https://github.com/gunyakov/maptorium
Это написанный на nodejs грабер спутниковых карт гугла в кеш, совмепстимый с SASPlanet (В принципе грабить можно любые растровые тайловые карты)
Собственно разработка началась с того, что САС при загрузке огромного количества тайлов гугл карт постоянно ловил бан ип. Нужно было останавливать закачку, переподключатся к другому прокси, и начинать закачку заново. А если в очереди более милиона тайлов, то ждать пока они перепроверятся на наличие в кеше меня очень напрягало. И чтоб не прерывать закачку и не начинать ее заново, я сделал простой скрипт, который качает карты через Tor. А когда гугл банит ип, идет автоматическая смена Tor ID, и закачка продолжается. Таким методом я скачал уже более 6TB спутниковых карт гугла. Правда и времени потратил более полугода. И после решил сделать уже полноценный сервис с UI, который и выложил в гитхаб.
На сегодня это очень ранняя разработка. В планах куча всего добавить в программу. Жду коментов, критики. Может даже кто то захочет присоеденится к разработке.
Уже появилась очередь закачки, когда можно выделить регион и добавить в список. Так можно добавить несколько регионов и уйти спать, а не сидеть и ждать когда закончится одня закачка, чтоб начать другую.