SASGIS

Веб-картография и навигация

ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

программа для загрузки и просмотра спутниковых снимков Земли, Луны, Марса предоставленных сервисами Google Maps и Космоснимки. Возможность работы с GPS приёмником.

Модератор: Tolik

ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Parasite » 04 май 2011, 11:05

Назрело, назрело... :twisted:
В эту тему будут переезжать (ну или задаваться напрямую, если вдруг удача) все ну совершенно нубские вопросы, заданные в тех или иных ветках. Ибо сколько ж можно игнорировать уже заданное\отвеченное другими, не напрягать межушный нервный узел, и не юзать поиск... Будет этакий паноптикум и парад юзеров, цинично игнорящих RTFM.

Если у кого из старожилов ВНЕЗАПНО нахлынет приступ альтруизма - то могут и поотвечать, а нет - так и нет. Тем хуже для задавших - тема будет безжалостно модерироваться.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение

За это сообщение автора Parasite поблагодарили: 3
cycler (07 авг 2013, 19:56) • Orden2 (15 ноя 2022, 18:48) • SergeyKa (17 апр 2024, 13:48)
Рейтинг: 15.79%
 
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 460 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Papazol » 06 янв 2014, 11:54

1. Да. При условии, что тайл, который лежит в папке Empty Tiles, действительно пустой.
2...5. Алгоритм таков: программа скачивает тайл и сравнивает его содержимое с образцом, лежащим в папке Empty Tiles. При совпадении скачанный тайл считается пустым и в кэш не записывается. При скачивании во время просмотра на месте такого тайла появляется сообщение о том, что тайл признан пустым. Образец пустого тайла должен быть абсолютно идентичен скачанному пустому тайлу, то есть сравнение происходит прямо сразу после скачивания. Если zmp данной карты/снимка/слоя предусматривает какое-либо насилие над скачанными тайлами (смена jpg на png иногда бывает), то тайл, сохранённый в кэше, не может являться образцом для выявления пустых тайлов, так как он никогда не будет идентичен скачанным. Тогда нужно плясать с бубном, применяя HandyCache или кэш браузера в поисках валидного образца.
Если кэш у вас Беркли, то возникает проблема вытащить из него отдельный тайл (его ведь не видно). Вот у меня все кэши Беркли, и я не могу просто взять и проверить, есть ли там тайлы по 191 байт или нет. Соответственно, и удалить их не могу, и взять образец для Empty Tiles.
Вот поэтому я и обращаюсь к опытным zmp-строителям: напишите, как правильно взять Empty Tiles.
В любом случае (даже если тайлы не подвергаются обработке и кэш не Беркли) необходимо перед массированным скачиванием проверить, работает ли Empty Tiles так, как должно. В режиме просмотра (Интернет+Кэш или Интернет) должны появляться сообщения о признании тайлов пустыми. Если это так, можете смело качать в автомате, пустых тайлов в кэше не будет.

Решил, пока есть время, попробовать сделать для Гугль гибрида. Нашёл пустой тайл, скопировал ссылку на него в буфер. Потом в браузере открыл эту ссылку. Сохранил изображение в папку EmptyTiles (без пробела между словами) под именем empty.png. Проверил - на месте этого тайла появляется сообщение "Recognized as empty", то есть работает. Но есть одно НО. Размер этого тайла не 191 байт, а 1057. Стал проверять рядом лежащий тайл, а у него размер 879 байт. Оказалось, не так-то просто найти совсем пустой тайл. На них есть еле видимые серые линии, на сером фоне окна вообще их не видно. Так что добавилась ещё одна проблема. Информации в таких "непустых" тайлах - ноль, а отсечь их практически невозможно.

Добился всё-таки 191 байт. На крупных масштабах есть. Но многие тайлы, на вид пустые, всё равно не подпадают под эти 191 байт. Так что сильно сократить количество бесполезных тайлов не получается.

Ну вот так примерно выглядит загрузка при EmptyTiles на 191 байт:
Изображение
Надо учесть, что это весьма пустынная местность, изображать там практически нечего.
Последний раз редактировалось Papazol 06 янв 2014, 12:46, всего редактировалось 1 раз.

За это сообщение автора Papazol поблагодарили: 2
bk99 (06 янв 2014, 12:19) • ingener (06 янв 2014, 13:28)
Рейтинг: 10.53%
 
Аватара пользователя
Papazol
Гуру
 
Сообщения: 2069
Зарегистрирован: 04 дек 2009, 01:39
Откуда: Рязань
Благодарил (а): 74 раз.
Поблагодарили: 606 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение bk99 » 06 янв 2014, 12:45

Ну а удаляются-то файлы из кеша (опция "Удалять только те тайлы, размер которых, байт" на вкладке "Удалить", окно "Операции с выделенной областью") именно по размеру, не по содержанию? И не взирая на расширение? Т.е. если я укажу, что надо удалить файлы, размером 191 байт, то удалятся и .jpg, и .png, и прочие .tne из указанной директории кеша?
bk99
Новичок
 
Сообщения: 49
Зарегистрирован: 01 авг 2008, 14:18
Благодарил (а): 16 раз.
Поблагодарили: 0 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Papazol » 06 янв 2014, 12:48

Раз написано "размер которых...", значит, по размеру и удаляются. В папке с гибридом не может быть jpg-ов, гибрид только png.
Аватара пользователя
Papazol
Гуру
 
Сообщения: 2069
Зарегистрирован: 04 дек 2009, 01:39
Откуда: Рязань
Благодарил (а): 74 раз.
Поблагодарили: 606 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение bk99 » 06 янв 2014, 12:54

Papazol писал(а):Добился всё-таки 191 байт. На крупных масштабах есть. Но многие тайлы, на вид пустые, всё равно не подпадают под эти 191 байт. Так что сильно сократить количество бесполезных тайлов не получается.
У меня на z11 из ~700 тыс. тайлов удалилось ~500 тыс. штук с размером 191 байт, осталось около 200 тыс. После экспорта получилась база размером 450 Мб (это после удаления пустышек, до их удаления база получалась всего на 100 Мб больше).
Papazol писал(а):В папке с гибридом не может быть jpg-ов, гибрид только png.
Понимаю, я имел ввиду, что на расширение файла удалялка не смотрит.
bk99
Новичок
 
Сообщения: 49
Зарегистрирован: 01 авг 2008, 14:18
Благодарил (а): 16 раз.
Поблагодарили: 0 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Tolik » 06 янв 2014, 13:48

Papazol писал(а):Вот поэтому я и обращаюсь к опытным zmp-строителям: напишите, как правильно взять Empty Tiles.

Я ведь написал, сегодня, что-то не устраивает?
Tolik
Гуру
 
Сообщения: 2604
Зарегистрирован: 28 янв 2011, 10:38
Благодарил (а): 279 раз.
Поблагодарили: 515 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Papazol » 06 янв 2014, 13:50

Кстати, удалять пустышки - не совсем правильно. Дело в том, что с изменением версии гибрида меняется и содержимое тайлов. В частности, те тайлы, которые на предыдущей версии были непустыми, на текущей таковыми стали. Их не очистить удалением 191 байт. Приходится удалять всё и перекачивать по-новой.
Аватара пользователя
Papazol
Гуру
 
Сообщения: 2069
Зарегистрирован: 04 дек 2009, 01:39
Откуда: Рязань
Благодарил (а): 74 раз.
Поблагодарили: 606 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Papazol » 06 янв 2014, 13:50

Tolik писал(а):Я ведь написал, сегодня, что-то не устраивает?

Где?
Аватара пользователя
Papazol
Гуру
 
Сообщения: 2069
Зарегистрирован: 04 дек 2009, 01:39
Откуда: Рязань
Благодарил (а): 74 раз.
Поблагодарили: 606 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Parasite » 06 янв 2014, 13:56

Papazol писал(а):Вот поэтому я и обращаюсь к опытным zmp-строителям: напишите, как правильно взять Empty Tiles.

(в САСе): найти такой тайл глазками, правоклик на нем, "Open primary map folder" (если нужен тайл с карты) или "Open overlay layer tile folder" (если слои). Оттуда его и взять.
Что сложного?

PS: самое забавное, что удаление только по размеру может давать кучку false positives - и бахнуть таки нужные тайлы, случайно оказавшиеся того же размера. Особенно чревато это будет с картой, а не со слоем...Старожилы еще помнят эпопею с BanIfLen в zmp - и кучу воплей "А у меня не качается, хотя я не забанен!". Это будет примерно с той же оперы. :roll:
Так что желаете надежности, которой не даст даже облигация госзайма - дополнительно юзайте хэши, рецепт был на предыдущей странице. САСовая EmptyTiles их не юзает (если память не изменяет), имея ввиду лишь размер тайла. Вероятность одновременного совпадения (коллизии) И размера, И относительно длинного хэша (каким является, например, заюзанный в рецепте MD5) - ничтожно, исчезающе мала.
The only difference between me and a mad man is that I am not mad. /Salvador Dali/
Изображение
Аватара пользователя
Parasite
Администратор
 
Сообщения: 5646
Зарегистрирован: 23 окт 2008, 17:38
Благодарил (а): 124 раз.
Поблагодарили: 460 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Tolik » 06 янв 2014, 13:56

bk99 писал(а):1) Это верно?
2) Они не будут туда закачиваться несмотря на то, что в папке Empty Tiles у меня лежит конкретный файл с конкретным названием "y187.png"?
3) Т.е. имя файла в данном случае роли не играет?
4) Важно только то, что это .png и размер 191 байт?
5) Т.е. на "залётный" .jpg размером 191 байт этот фильтр не сработает?

1. Это не совсем верно. Имеет значение не только размер файла, но и содержимое. И брать образец надо, вообще говоря, не из кэша, а с сайта. И пустышек на одном сайте может быть несколько разных (хотя визуально они могут быть одинаковые, прозрачные), можно в эту папку положить несколько файлов.
2 и 3. Да, имя не имеет значения.
4. Нет, важно полное совпадение содержимого.
5. Не сработает, если содержимое будет отличаться.

О каком картсервисе идёт речь? В zmp ещё нет пустышек? Если нет, дайте URL пустышек, чтобы мы могли добавить их в репо.
Tolik
Гуру
 
Сообщения: 2604
Зарегистрирован: 28 янв 2011, 10:38
Благодарил (а): 279 раз.
Поблагодарили: 515 раз.

Re: ВОПРОСЫ АБСОЛЮТНЫХ НОВИЧКОВ

Сообщение Tolik » 06 янв 2014, 13:57

Papazol писал(а):
Tolik писал(а):Я ведь написал, сегодня, что-то не устраивает?

Где?

viewtopic.php?f=2&t=1546&start=2640#p35648
Tolik
Гуру
 
Сообщения: 2604
Зарегистрирован: 28 янв 2011, 10:38
Благодарил (а): 279 раз.
Поблагодарили: 515 раз.

Пред.След.

Вернуться в SAS.Планета

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 11