[/b/] [/d/] [/tu/] [/a/] [/ph/] [/wa/] [/cg/] [/t/] [/p/]

[Burichan] [Foliant] [Futaba] [Greenhell] [Gurochan] [Photon] - [Home] [Manage] [Archive]

[Return]
Posting mode: Reply
Leave these fields empty (spam trap):
Name
Link
Subject
Comment
File
Verification
Password (for post and file deletion)
  • Supported file types are: GIF, JPG, PDF, PNG
  • Maximum file size allowed is 20480 KB.
  • Images greater than 200x200 pixels will be thumbnailed.

File: 1556231004876.gif -(155570 B, 480x254) Thumbnail displayed, click image for full size.
155570 No.164229  

Насохраняв 4ТБ годноты, я с удивлением обнаружил что она становится аналоговой: за несколько лет потерелось или побилось несколько десятков видео и картинок и пара архивов. Я думал что почудилось, но в бекапе они нашлись целыми.
Для джипегов можно забацать скрипт с jpeginfo, отыскать битые, выписать и откатить из бекапа, знаю что ключи для теста есть для архивов, а есть ли что-то подобное, поддерживающее сразу все распространенные медиафайлы и документы?

>> No.164231  

>>164229
TXT

>> No.164233  
> есть ли что-то подобное, поддерживающее сразу все распространенные медиафайлы и документы?

raid5?

>> No.164235  

>>164229
Par например. Он и восстанавливать битое умеет. Но этим нужно было озаботится заранее.

>> No.164236  

>>164231
Сконвертировать видео в base64 можно, но чем это поможет сохранности или обнаружению ошибок и как объяснить этот формат плееру?
>>164233
По описанию показалось что рейд, по крайней мере mdraid, реагирует на длительное отсутствие ответа от диска, а не валидность данных.
Допустим, стоит зеркало, и скраб показал что у нас два блока различаются. Как понять, какой диск сбойный? Или пусть оба будут сбойными, как установить соответствие, какому файлу он принадлежал, если это вовсе не служебные данные фс?
>>164235
Бекапы в достаточном числе копий. Par2 смотрится интересно, но я правильно понимаю, он не различает изменение легитимное от случайного повреждения от сбоя фс и тупо перетрет файлы старыми версиями?

>> No.164237  

>>164236
Ты не понял. Как ты собрался определять побитость документов в формате plain text, например?

>> No.164238  

>>164236

> но я правильно понимаю, он не различает изменение легитимное от случайного повреждения от сбоя фс и тупо перетрет файлы старыми версиями?

Да, после каждого легитимного изменения нужно будет пересчитывать весь пакет. Но для r/o архивов, например, это не проблема.

>> No.164241  

>>164237
Я понял, и это самому интересно. Надежда на то что текстов, если не хранить горы исходников, количественно на порядки меньше чем медиаконтента, и вероятность повреждения именно его ниже чем видео.
>>164238
Ну, это ведь любой архиватор может в котором есть чексуммы для содержимого, делаем 2-3-5 копий (предположим что деньги не жмут), если одна битая, достаем другую.
Самое интересное и почему-то нигде не описываемое, когда что-то случилось, как из целой, но устаревшей, и актуальной, но битой копии сделать что-то максимально цельное.

>> No.164242  
File: 1556263617516.png -(98880 B, 400x525) Thumbnail displayed, click image for full size.
98880

>>164237

> Как ты собрался определять побитость документов в формате plain text, например?

Иногда их можно определить по наличию символов, не являющихся plain text. Например cat test.txt | iconv -f utf8 -t utf16 > /dev/null свалится с ошибкой, если в test.txt встретится что-то невалидное.

>> No.164243  

>>164242
Можно без кота же:

iconv -f utf8 -t utf16 > /dev/null
>> No.164244  
> iconv -f utf8 -t utf16 > /dev/null

Файл после "utf16" забыл.

iconv -f utf8 -t utf16 ./file.txt > /dev/null
>> No.164250  

>>164243
>>164242
>>164244
А есть какая-то софтина, которая объединяет подобные скрипты под большое количество форматов сразу? Примерно как photorec, только не под поиск, а под проверку?

>> No.164254  

>>164250
Сильно сомневаюсь. В современных условиях такой софтине в принципе неоткуда взяться.

>> No.164257  

>>164250

> А есть какая-то софтина, которая объединяет подобные скрипты под большое количество форматов сразу?

Может быть скрипт, который объединяет несколько софтин сразу, каждую для своего формата:
pngcheck
jpeginfo
ffmpeg
mp3val
…etc.

Для архивов — соответствующий архиватор с флагом --test.

>> No.164259  

Кому то стоит почистить папку /b

>> No.164260  

>>164257
Угу, что-то такого типа.
А чем пользуются в конторах, восстанавливающих данные с умерших винтов и флешек? Или они просто читают блоки, восстанавливают как могут фс, а дальше сам разбирайся?

>> No.164261  

>>164259
Эта папка почти пуста, в основном весят фотки, музыка и аниме. Трекеры и ВК бесплатные раздачи умирают, а взгляды на ценности слишком меняются с возрастом чтобы позволять себе чистить и удалять.

>> No.164284  

>>164242
Но есть же файлы и не только в UTF-8.

>> No.164286  
File: 1556448103912.png -(16545 B, 500x450) Thumbnail displayed, click image for full size.
16545

>>164284
А еще поврежденная область может быть валидной utf8 последовательностью. Поэтому только иногда.

Кстати некоторые 8-битные кодировки так же являются валидным utf8.



Delete Post []
Password

[/b/] [/d/] [/tu/] [/a/] [/ph/] [/wa/] [/cg/] [/t/] [/p/]