Windows XP и 50 миллионов файлов в кеше SASGIS

[sergbrother]

Прогнал sdb_util. Нашел ошибки в 4 файлах. Отлечил. Не помогло. Эффект тот же.
Где можно взять логи?

[zed]

Нужны 2 файла: sdb.log в папке с Беркли кэшем и SASPlanet.elf в папке с программой. Плюс, не помешал бы лог sdb_util.

[sergbrother]

Доброе утро.
Запустил процесс заново (177 тыс из YASAT уже сделано) в новую папку E:\Sascache1.
В папке с Berkeley (E:\Sascache) не найдено файлов *.log (FAR)

Дополнительная информация о вызовах из файла ELF

Call Stack Information:
-------------------------------------------------------------------------------------------------------------------------------------------------------------
|Address |Module |Unit |Class |Procedure/Method |Line |
-------------------------------------------------------------------------------------------------------------------------------------------------------------
|+Memory Leak: Type=TInternalPerformanceCounter; Total size=84; Count=1 |
|-----------------------------------------------------------------------------------------------------------------------------------------------------------|
|0054A712|SASPlanet.Debug.exe|u_InternalPerformanceCounter.pas |TInternalPerformanceCounterFactory |Build |196[1] |
|0054B980|SASPlanet.Debug.exe|u_InternalPerformanceCounterListForDebugOneClass.pas|TInternalPerformanceCounterListForDebugOneClass|Create |51[3] |
|0054C0FF|SASPlanet.Debug.exe|u_InternalPerformanceCounterListForDebug.pas |TInternalPerformanceCounterListForDebug |GetCounterByClass|80[4] |
|-----------------------------------------------------------------------------------------------------------------------------------------------------------|
| |
|+Memory Leak: Type=TBerkeleyDB; Total size=80; Count=1 |
|-----------------------------------------------------------------------------------------------------------------------------------------------------------|
|005769A1|SASPlanet.Debug.exe|u_BerkeleyDBFactory.pas |TBerkeleyDBFactory |CreateDatabase |79[1] |
|00551A19|SASPlanet.Debug.exe|u_BerkeleyDBPool.pas |TBerkeleyDBPool |Acquire |216[48]|
-------------------------------------------------------------------------------------------------------------------------------------------------------------

Modules Information:
--------------------

Processes Information:
----------------------

Assembler Information:
----------------------

Registers:
----------

[zed]

Дополнительная информация о вызовах из файла ELF

Мне не нужны огрызки этого файла. Мне он нужен весь и целиком как есть - не в виде текста, а в виде прикреплённого сюда файла.

[sergbrother]

Спасибо,Zed, только это не огрызок. Это он почти весь (верхнюю часть я уже размещал).
Я думаю, хрен, с ним с логом и убитой недоделанной копией кэша на 40 Гигов.

Достал главный SSD с данными (50 млн.файлов) из ноута Panasonic (ну он там блин и упакован, даже с подогревом), подключил к компьютеру с 32 Гигами RAM с SSD OCZ Revodrive3 X (у меня на нем свободно около 90 Гигов) и начал конвертить заново YASAT.
Скорость текущая - 35 тыс.тайлов в секунду, 1840 тыс.тайлов (13.9 Гбайт) за 50 минут - 250 Мбайт в секунду. Очень даже неплохо. Я бы даже сказал бешенная скорость, практически скорость SSD на чтение с одного +запись на другой. Круто SASPlanet выступает как клиент, не тупит.

Интересно, можно собирать файловым копированием куски базы BDB (из разных папок на диске) или это я размечтался?

[zed]

Интересно, можно собирать файловым копированием куски базы BDB (из разных папок на диске) или это я размечтался?

Можно, но предварительно те левые куски нужно "отвязать" от старого окружения. Делается это утилитой sdb_util в пункте Reset LSN. После этого можно перемещать файлы в новый кэш и они должны подхватиться без проблем. Но поскольку у вас какие-то непонятные мне проблемы (внятного сообщения об ошибке я так и не увидел, не считая утечки памяти) и не ясно что же приключилось с теми БД, то я бы не советовал их перемещать в новый кэш, раз уж вы взялись за его повторную перегонку.

[sergbrother]

Текущий статус 13 млн. тайлов и 58 Гбайт Yasat сконвертировано (за 4 часа).

Zed, убитый кэш я уже удалил. Я не про него.
Скоро у меня кончится место на приемном SSD (осталось 40 гигов) - ядумаю, что кэш Yandex туды весь влезет.
Затем я хотел списать результат на жесткий диск (2 Тбайта), удалить директорию на SSD и начать по новой конвертацию кэша Goggle.
Как потом ее подлить (объединить с кэшом Yandex) на 2 Тбайтный диск? Или не получится?

[sergbrother]

Текущий результат YASAT:
24.3 млн тайлов, 97.5 Гбайт, время процесса 7 часов 30 минут, 20 уровень Yandex (по-моему, он в основном дутый Яндексом из 19 и 18).
Я бы остановил процесс, но чего-то очкую. Хочется уже получить хоть какой-нибудь завершенный результат...

P.S. Завершился процесс на 24.339 млн. Ура!

[cycler]

Под семёркой глюки с большим кешем тоже имеют место быть.
Было 400+ гигов тайлового кеша. Винда после загрузки сас.планета занимала всю доступную оперативу и жутко тупила.
Перевёл весь кеш в беркли, старый удалил (на удаление понадобилось примерно столько же времени сколько на скачивание - винда не хотела все 100млн+ файлов удалять за один раз, её хватало не больше чем на 20млн файликов за раз.)
После того как размер кеша приблизился к 100гб, винда стала почти такой же адекватной как и от рождения.
САС и Беркли летают на ура, глюков вообще нет. Размер кеша на финише 200гб (+ почекал ненужное).

[Tolik]

Под семёркой глюки с большим кешем тоже имеют место быть.

Естественно, ФС ведь не изменилась. Имеет смысл отформатировать тот диск.