Windows XP и 50 миллионов файлов в кеше SASGIS

[sergbrother]

Добрый вечер.
Вот и достиг я упора (судя по всему) в файловой системе Windows XP.

Информация об упоре:
Где:
Защищеный ноутбук Panasonic ToughBook CF-30
Windows XP Professional 2002 Service Pack 3
Intel Core Duo 1.66 Hz, 3.24 Gb RAM
Диск SSD OCZ-Agility 3 размер 450 Гбайт (поделен на два логических NTFS - SYSTEM 40 Гбайт (25 Гбайт свободно) и MAPS 410 Гбайт (143 Гбайт свободно)).
Как выглядит: при попытках еще что-нибудь покачать SAS Планетой через некоторое время (часа 2) глухо виснет (черный экран).
Дополнительная информация: попытки что-нибудь узнать у Windows про директорию Cache SASPlanet (типа сколько файлов и их размер) приводят к аналогичному результату без участия SASPlanet. Попытки файловго копирования в сеть приводят приблизительно к такому же результату (кроме того, прогноз времени копирования невозможен).

Вопрос: что можно сделать в создавшейся ситуации? Можно ли обьединить файлы в базу данных?
Попытка использовать "Управление кешем" без крыжиков "Изменять существующие файлы" и "перемащать тайлы" тупо создала новую пустую директорию на сетевом диске...

Заранее благодарен за сотрудничество.

[vasketsov]

Попытки файловго копирования в сеть приводят приблизительно к такому же результату (кроме того, прогноз времени копирования невозможен)

Копировать надо с помощью утилит, которые не строят дерево файлов и папок перед копированием, а просто рекурсивно всё копируют.
Точнее надо не копировать, а сразу переносить.
Например старый FAR таким свойством обладал, как сейчас - не знаю, наверняка также.
То есть надо слить файлы в сеть или на другой диск, не все, но чтобы системе полегчало.
То что возможно ненужное - сразу под нож (но удалялка также должна быть правильная, без построения всего дерева удаляемых папок и файлов, иначе на подсчёте бесконечности оно опять же и умрёт, это вам не Чак Норрис).
Потом потихоньку всё в базу перетаскивать.
В любом случае если на файловом кэше достигнут потолок возможностей ФС - при любом поддерживаемом виде файлового кэша принципиально ничего не изменится.
зы. Удаление tne, дефрагментация и прочие бубны с танцами показаны, но как самый завершающий штрих.

[zed]

что можно сделать в создавшейся ситуации? Можно ли обьединить файлы в базу данных?

В SAS есть менеджер кэша, так что можете попробовать с его помощью сразу конвертировать в БД (Беркли или СУБД) на другом винте. Правда, насколько я помню, там итератор вначале всё же строит список каталогов (не файлов!), в которых будет происходить поиск, так что нужно будет подождать часок-другой.

[Tolik]

Пациент скорее мёртв, чем жив.
Я считаю, диск надо форматировать.
Ну, сначала можно попробовать что-то спасти, но потом обязательно отформатировать.
После чего в настройках САС выбрать кэш Беркли и качать в него.

[Papazol]

Ну, сначала можно попробовать что-то спасти, но потом обязательно отформатировать.
После чего в настройках САС выбрать кэш Беркли и качать в него.

Нажитый непосильным трудом кэш - под нож? Надо пытаться спасти хотя бы большинство. Возможно, придётся чем-то пожертвовать ради самой возможности работать с диском, и лучше бы это был тот кэш, который проще (быстрее) скачать заново. Когда работа станет возможной, упаковать оставшееся в БД на другом диске, а уж потом отформатировать. Это всё займёт несколько минут

[Parasite]

Нажитый непосильным трудом кэш - под нож? Надо пытаться спасти хотя бы большинство. Возможно, придётся чем-то пожертвовать ради самой возможности работать с диском, и лучше бы это был тот кэш, который проще (быстрее) скачать заново. Когда работа станет возможной, упаковать оставшееся в БД на другом диске, а уж потом отформатировать. Это всё займёт несколько минут

Скорей всего недостаточно места для растущей MFT при монтировании тома (и попытки записи системного лога+журнала ФС).
Выход: подключите диск в Линухе как R\O и стяните все свои данные на другой носитель. Без потерь. И да, не используйте NTFS для подобных задач - она на такое не рассчитана.

В любом случае, это проблема не САСа.
//CLOSED

[sergbrother]

Проблема с 50 миллионами файлов в кеше (отдельная закрытая тема тут) понемногу разрешается.
Удалось сконвертировать (собрать в Berlkeley базу - около 150 файлов и папок) Генштаб, Роскосмос, многие другие мелочи (около 10 Гигов и около 5 миллионов файлов).
Но вот при конвертации поддиректории SAT (я так понимаю, судя по настройкам, это Google) достаточно быстро (менее минуты) процесс заканчивается 'Конвертация успешно завершена' с нулевым результатом (видно, что ни один файл не был обработан). Пробовал масштабы Z1-Z19. Файлов там до хрена.
В чем может быть проблема?

[zed]

В любом случае, это проблема не САСа.
//CLOSED

Это проблема использования SAS.
//OPENED

[zed]

Но вот при конвертации поддиректории SAT (я так понимаю, судя по настройкам, это Google) достаточно быстро (менее минуты) процесс заканчивается 'Конвертация успешно завершена' с нулевым результатом (видно, что ни один файл не был обработан). Пробовал масштабы Z1-Z19. Файлов там до хрена.
В чем может быть проблема?

Попробуйте на дебажной версии SAS. Может там происходит какая скрытая ошибка.

P.S. А расширение у файлов указано верно? А то может забыли изменить с прошлого конвертирования?

[sergbrother]

Версия которая сейчас конвертирует vesat (70 тыс обработано, 90 тыс пропущено) - 130218.7140. Она считается дебажная?
Расширение -*.jpg (я это поле не менял, оно всегда было такое).
ПРоцесс конвертации SAT один раз привел к Win BlueScreen. Потом пробывал помасштабно - результата не получилось, прошел по алфавиту дальше - сейчас конвертируется VESAT.