Windows XP и 50 миллионов файлов в кеше SASGIS

[Shoorick]

тогда я лишь ограничусь изменением размера кластера, это тоже должно привести к созданию новой mft

Хорошая мысль.

Есть мысль ради эксперимента перегнать в fat32, посмотреть что с местом станет (по идее должно немного освободиться).

Если там крупные файлы, то выиграете копейки. А может даже и не выиграете.
Когда-то считалось, что при поточной обработке больших файлов (например, видео) fat32 будет быстрее более сложной ntfs. Но для карт это не почувствуете. Помню, как-то тестировал скорость работы кэша на шифрованной и обычной файловой системе, на скорости просмотра карты это не отразилось.
Кстати, может получиться, что как раз для fat32 таблицу fat windows держит (или отображает) в памяти, в отличие от mft в ntfs.
Не забывайте также про ограничение на размер файла в 4Gb.

[cycler]

ведь ось по идее всю mft в оперативу грузит, да?

Ага, все 57Гб

Ну 57гб ясное дело она не сможет загрузить, сколько то загрузит, всю оперативу займёт, а остальное наверное свопить будет, что собственно у меня и наблюдалось спустя какое-то время после запуска САС. А вот если mft занимает 50метров, то ясное дело, место ей в оперативе, и полностью.

Работает? Ради Христа - ничего не трогайте!

Мне нужно добиться, чтобы работало как часики, карта в ноут, а ноут в поход, а поход на пару-тройку месяцев, если ноут будет тупить, то будет плохо...

Не забывайте также про ограничение на размер файла в 4Gb.

Спасибо за подсказку! А у меня лежит 15гиговый дамп английской вики... значит точно не судьба быть fat на моём харде:) Вот уж точно бог надоумил не конвертнуть сгоряча в фат, а сначала отзывы о ней почитать))

[Shoorick]

Есть еще exfat без данного ограничения, но в самом деле: к чему эксперименты, когда есть проверенное решение?
Оффтоп: это куда это собираетесь, если регулярное электричество для ноутбука будет, а интернета нет?

[DJ VK]

Тоже не совсем по теме...

Оффтоп: это куда это собираетесь, если регулярное электричество для ноутбука будет, а интернета нет?

Ну вот Вам пример, 30км от Чебоксар. Ростелеком повсюду, до райцентра с стойкой км 15, не глушь а всюду жизнь, да вот работает через день два за уплаченный безлимит. ADSL пару, протянутую в деревню, бесплатно провайдер чинить (по всему периметру) не хочет... В результате проще и дешевле лимитный мегафон 3g модем.... Ну а качать карту по лимитному тарифу скажем не с руки....

З.ы. : у меня увы в 100гб не более 5-7 млн. тайлов влезает и не влезало ни разу в 500гб более 50 млн тайлов, хочу такие карты резиновые

з.з.ы : пользуя вместе с глючными ночнушками, работающими с Беркли 1 раз за сеанс, офицальный РЕЛИЗ умудрился таки похерить 6 из 172 файлов sdb гугля. Обыдно, да. Итак, пока самая стабильная версия Беркли (Нет проблем с экспортом в онный) у версии 6697

[Parasite]

ведь ось по идее всю mft в оперативу грузит, да?

Ага, все 57Гб

...причем ДВА раза (там же 2 копии $MFT)

тогда я лишь ограничусь изменением размера кластера, это тоже должно привести к созданию новой mft

Хорошая мысль.

Идиотская мысль.
При конвертации раздела (не создании с нуля) фрагментация возрастает. Почему? Потому что сперва тело $MFT переносится как есть (без изменения внутренней структуры - то есть, со всеми старыми дырками после удалений), а затем в нее же, и так дырявую, начинают всовываться записи при переносе последующих файлов (которые тоже ложатся на новые секторы как Аллах на душу положит - и фрагментация там тоже будет).

Вероятность дичайшей фрагментации после использования даже штатной виндовой команды convert озвучена даже на сайте производителя, собссно. То есть. после переконверта всё равно потребуется дефраг\оптимизация практически в безусловном порядке.

И именно поэтому я выше предлагал сделать раздел с FAT32 (только и исключительно под кэш и ничего боле), а не конвертировать имеющийся (со всеми пользовательскими файлами). Для имеющегося я предлагал условно-безопасный дефраг с оптимизацией.

может получиться, что как раз для fat32 таблицу fat windows держит (или отображает) в памяти, в отличие от mft в ntfs.

Только в пределах размеров системного WRITE_BUFFER, поровну делённого на все операции записи. Отключите буферизацию накопителя в свойствах оного - ничего в памяти держаться не будет. Правда, скорость работы с ним весьма упадет - зато ничего не потеряется даже при внезапном выключении питания.

Не забывайте также про ограничение на размер файла в 4Gb.

Подскажите картосервис с размером одного непрерывного тайла в 4Gb?
А коллекцию любимого прона в HDTV-MUX сторонние пользовательские файлы мы тут в пределах темы "SAS+кэш" и не обсуждаем, юзер с ними пускай сам разбирается как хочет.

А вот если mft занимает 50метров, то ясное дело, место ей в оперативе, и полностью.

Ага, а при малейшем сбое в этой области - получаем девственно чистый винт без единого файла - ибо MFT улетела в атсрал, и так и записалась. И журналирование не поможет - запись от системы будет валидна, откатывать будет некуда.

Мне нужно добиться, чтобы работало как часики, карта в ноут, а ноут в поход, а поход на пару-тройку месяцев, если ноут будет тупить, то будет плохо...

Truecrypt с FAT32. После переноса кэша в него - ставить его в READ-ONLY, и дефраг оставшегося Вашего раздела с полной оптимизацией. На всё про все - где-то сутки шуршания винтом.

[Shoorick]

Идиотская мысль.

Хорошая мысль в данных конкретных условиях, когда дефрагментация не поменяла размер MFT, а слив данных и переформатирование по каким-либо причинам не возможны.

То есть. после переконверта всё равно потребуется дефраг\оптимизация практически в безусловном порядке.

Тоже вариант.
Возможно, в такой последовательности данная конкретная задача сработает лучше.

Сам давно забил на дефрагментацию еще после 90-х - ранних 2000-х. Тогда майкрософтовские файловые системы были менее надежны, падали чаще, приходилось восстанавливать в том числе и вручную. Дефрагментированную файловую систему восстанавливать гораздо проще. Помнится, даже писал утилитку, которая пыталась реконструировать фрагментированный rar-файл, подставляя разные возможные кластера в место разрыва (фрагментации).
Сейчас работает и работает, задумываться о процентах быстродействия лень. Трэш с миллионами мелких файлов у меня редко, да и после него мне проще все слить и залить заново. Один громадный раздел под всё никогда не делаю. Эксперементировать на собственных данных всякими дефрагментаторами как-то стремновато (были инцеденты), нужна резервная копия. А раз она есть, пол-задачи "слил - переформатировал - залил" уже решена. Как-то так.

Подскажите картосервис с размером одного непрерывного тайла в 4Gb?

Человек уже на Беркли перешел. Да и мало ли он что там хранит, включая архивы.
К тому же, при переконвертации NTFS->FAT32 может сдвинуться время файлов. Для некоторых задач это критично. Я так не люблю, когда файлы уезжают в другой часовой пояс или меняют последнюю секунду.

Truecrypt с FAT32.

Я еще пробовал ImDisk. Теоретически не нагружает процессор на шифрование (практически в саспланете разница незаметна), его можно расширять в любой момент, всё пространство сразу не оккупирует (при размещении раздела в виде файла на ntfs), при какой-либо порче раздела шансы вытянуть данные гораздо выше.

[Parasite]

Идиотская мысль.

Хорошая мысль в данных конкретных условиях, когда дефрагментация не поменяла размер MFT, а слив данных и переформатирование по каким-либо причинам не возможны.

1. Потому что дефрагментация - это не только бездумное тыкание на Next-Next-Next-OK. Если делать ее правильно - то все прекрасно получается, и мучительно больно никогда не бывает. А чтобы делать ее правильно - нужно долго и вдумчиво курить матчасть. Это я, собссно, не Вам - а топикстартеру.
2. При конверте тома с ФС на другую ФС - фрагментация возрастает. Автоматических шибко интеллектуальных средств для одновременной сквозной оптимизации беспорядочной структуры одной ФС в идеальную структуру совершенно другой ФС - лично мне неизвестно. У M$ их явно нет (а то что есть - глючное и монструозное, ну то есть как всегда) - а чужим в этакую проприетарщину юридически лазить запрещено, поэтому всё вот так вот и тянется.
Вывод - либо плакать и продолжать надкусывать этот кактус, либо юзать другие ФС.

Подскажите картосервис с размером одного непрерывного тайла в 4Gb?

Человек уже на Беркли перешел.

Человек написал в тему "Windows XP и 50 миллионов файлов в кэше SASGIS". Подскажите мне практические условия создания 50 миллионов файлов Беркли при юзании SASGIS? Я хочу это увидеть лично.

К тому же, при переконвертации NTFS->FAT32 может сдвинуться время файлов. Для некоторых задач это критично. Я так не люблю, когда файлы уезжают в другой часовой пояс или меняют последнюю секунду.

А я нигде и не предлагал конвертировать уже занятый раздел с файлами, повторяю. Ибо есть ненулевая вероятность вообще всё потерять - если, например, мигнет свет на середине процесса.
Я предлагал сделать раздел с FAT32 с нуля - его даже форматировать с /q будет быстро и полезно, чем париться с долгой ручной очисткой папок.
Неохота переразбивать физ.винт? Тогда капитан Truecrypt уже спешит к Вам.

[Merh]

Berlkeley вещь хорошая, но... не Parasite ли писал, что большие файлы в данном формате часто бьются?
Или это было давно и не правда?
Собственно, вопрос в чём: сейчас тайловый кеш лежит в контейнере "трукрипта" под FAT32, но...
А можно ли отвести один диск под, допустим, EXT, и кинуть кеш на него, при этом, чтоб сам SASPlanet как стоял и работал на винде, так и стоял и работал, или это бред и так не получится, и при таком раскладе можно только SAS запустить на лине в wine, и качать уже на ext, но никак не из работающего на винде SAS перекидывать кеш на диск с ext ФС?

[zed]

Berlkeley вещь хорошая, но... не Parasite ли писал, что большие файлы в данном формате часто бьются?
Или это было давно и не правда?

Было давно, но частично правда. Сейчас, если программа не падает, то Беркли работает нормально. Если упадёт, то есть небольшой шанс, что что-то испортится. На этот случай есть sdb_utils.exe, которой обычно можно в пару кликов всё восстановить.

А можно ли отвести один диск под, допустим, EXT

Если поставите в винду драйвер этой ФС с поддержкой чтение/записи, то можно. Для SAS без разницы что там за ФС используется - на диск пишет ведь винда в любом случае.

[Merh]

Если поставите в винду драйвер этой ФС с поддержкой чтение/записи, то можно.

Скрытый гемой или траблы имеют вероятность возникнуть при таком костыле?