Жесткий диск глазами исследователя 1: bad blocks - дефекты поверхности
ฝัง
- เผยแพร่เมื่อ 22 ต.ค. 2021
- Что такое дефекты, откуда берутся и как их обрабатывает жесткий диск? Для того, чтобы рассказать об этом, требуется затронуть массу особенностей конструкции и работы HDD.
Идея этой серии роликов в том, чтобы в свободном формате рассказать для широкой аудитории информацию, которая в открытых источниках представлена минимально либо отсутствует полностью.
Предполагается наличие у слушателя базовых знаний об устройстве и работе носителей информации.
Вопросы задаёт сотрудник R.LAB, НЕ являющийся специалистом в области восстановления данных.
Первый ролик серии: Жесткий диск глазами исследователя 1: bad blocks - дефекты поверхности.
Другие видео канала / @rlab-sq2jv - วิทยาศาสตร์และเทคโนโลยี
Осознаём, что качество ролика в лучшем лучае на "3-" из пяти. Приносим за это извинения и благодарим всех, кто указал на конкретные недостатки в комментариях. Нам важно понимать на какие аспекты обратить внимание в будущем в первую очередь.
Мы давно хотели записать серию интервью со специалистами, которые могут рассказать интересные вещи, информация о которых отсутствует в отрытых источниках. Но постоянно откладывали, поскольку понимали, что для того, чтобы сделать ролик на хорошем уровне надо написать сценарий, отрепетировать, потренироваться говорить на камеру и т.п.
Для меня лично было открытием на сколько сложно оказывается просто зачитать текст с бумажки на камеру или модерировать интервью. Оказалось, что диктор или интервьювер - это прямо серьёзная такая профессия, для которой нужен талант и много практики. (При этом писать код и ковыряться в железе хочется конечно больше чем что-то репетировать :)
А временные ресурсы ограничены, постоянно возникают технические и организационные задачи, которые требуют времени.
В итоге пришло понимание, что либо мы делаем "быстро-грязно" прямо сейчас, либо хорошо в отдалённом светлом будущем, которое наступит примерно никогда. Либо тогда, когда информация, которую мы хотели бы донести уже устареет.
Поэтому просим отнестись с пониманием, надеюсь, что мы будем учиться по ходу дела и постепенно улучшать качество контента.
За последние месяцы мы сняли несколько роликов, в которых Михаил делится своими знаниями, но по ряду причин подготовили их к публикации только сейчас. Выложим в течении ближайших нескольких недель. Следующий опубликуем в среду, 27.10.2021.
Задавайте вопросы и пишите пожелания в комментариях. Будем отвечать и ориентироваться на них как на темы, которым стоит уделить внимание в будущих роликах.
За подсказками по "полировке" технических моментов в съёмке стукнитесь к тому же Славе ТЫЖПрограммист-у. Чем сможет - поможет, думаю.
Но даже я могу пока сказать, что звук получился вполне вменяемый. Даже фоновые рабочие шумы не сильно отвлекали. Разве что уличные сирены. А вот свет надо учитывать. У левой камеры был явный переконтраст в сравнении с правой (со стороны зрителя). Но в целом, первый блин не так уж и комом ;)
Николай, всё правильно сделали. Светлое будущее так и не наступит никогда :) . Пусть будет так, чем никак вообще. А вышло-то и нормально! Материал просто супер! Вперед!
Но закончили вы конечно... как будто у меня свет выключили. Хрясь и всё )) Когда продолжение?
@@skotomoto Обещали в среду вторую серию.
В продолжение предыдущего вопроса. В равной степени интересно, не попадался ли Вам патент, описывающий синхронизацию фаз вращения шпинделей четного количества HDD, закрепленных в одной корзине?
¹ - синхронизация для достижения противофазы - для достижения минимума вибрации.
Причем протокол синхронизации предполагает обмен командами между HDD по "стороннему (побочному) каналу" (колебания от перемещения Блока Магнитных Головок, "пение" voice-coil-motor актуатора):
HDD0 (манипулирует положением БМГ) → (слушает) HDD1
Николай, Михаил огромное спасибо! Полтора час сидел с открытым ртом! Пожалуйста, давайте еще!
Рады видеть тебя среди подписчиков, спасибо. Думаю что многие упомянутые вещи для специалиста такого уровня как ты секретом не являлись :)
Поддерживаю
@@RLAB-sq2jv Являлись. К примеру, то, что M8 баг - это уже давно общая тенденция, я слышу впервые.
Крайне интересно! Если гостю будут давать говорить, не перетягивая одеяло на себя, будет вообще здорово. ) Большое спасибо за видео, и вообще респект R.Lab за подобную инициативу.
Вы правы, постараюсь учесть (не так уже это просто оказыватся).
@@RLAB-sq2jv Не переживайте! Приходит с практикой
@@merlinfromshadows4016 Надеюсь, что так и будет, спасибо :)
@@RLAB-sq2jv это не предположение, а знание в прошлом квн-щика с 7-летним стажем :) так что даже не сомневайтесь! Ну а мы поможем - не деньгами, так хоть советами :)))
@@merlinfromshadows4016 Ок :)
Пожалуйста продолжайте выкладывать такие отличные видео!
Продолжим. Следующий планируем выложить в среду, 27.10.2021.
Спасибо :) Будем снимать новый материал по мере появления интересных тем.
"Разработчики стали халатно относиться к оптимизации" - 100%!
Дык как в анекдоте: "олени-то тянут". Михаил про это и говорит. Процессорной мощности не просто хватает, а чисто overkill. Ресурсов недостаточно? Щя ядер и памяти напихаем :)
@@VitaliyRozikRoziznany да-да... а когда-то на z80 работало
"Где только вы его откопали)))" Полтора часа слушал на одном дыхании!!!!!!!!!!! ОЧ КРУТО!!!!! Крутой спец!!!!! Однозначно лайк! Очень зашел контент!!!
В среде специалистов по восстановлению данных Михаил достаточно известен. Проверяем предположение о том, что послушать его будет интересно людям за пределами этого сообщества :)
@@RLAB-sq2jv А фамилия у него есть у Михаила? или ещё такой вопрос он ведет где то блог или статьи, может у него канал на ютубе есть? это не просто человек с большой буквы это самородок коих поискать ещё нужно.
не мешайте лектору, он хорошо интересно рассказывает и неважно по какому плану) просто поставить одну камеру на него и всем уйти
Ок. В уже отснятых но не выложенных роликах такое будет.
Николай, вы молодцы. Не нужно перфекционировать и ждать когда все сложится в одно. Мы с вами технари и нечего на идеалы блогеров ориентироваться. В этом случае такого рассказа мы никогда не дождемся. Большое дело делаете, увековечиваете ценные мысли таких крутых людей как Михаил.
Вообще не вижу проблем ни в формате разговора, ни в том как вы работаете в кадре! Получится скорректироваться по тому как просят в комментах - хорошо, не получится - я с удовольствием с вами "общаюсь" глядя это видео. Пошел смотреть второй раз!
Спасибо :) Следующие несколько роликов уже сняты, поэтому коррективы в сам материал можно будет внести только на уровня монтажа. При съёмке последующих материалов конечно будем стараться учитывать пожелания.
@@RLAB-sq2jv очень здорово. Покорно ждем продолжения. Бесценно для любого, кто любознателен (в том числе и для специалиста в этой области), но сам до такого докопаться не сможет
Огромное спасибо! Очень ценная информация, кругозор расширен.
Очень интересная лекция. Спасибо, с нетерпением жду продолжения!
Ребята молодцы - смотрел на одно дыхании! Жду продолжения.
Спасибо :)
Ну то, что диск должен работать в определённом температурном диапазоне, довольно легко осознаётся при знании школьного курса физики о температурном расширении веществ. Даже для ssd этот фактор не последний.
ждем продолжения
Будет 27.10.2021
Подскажите как устроено форматированте ntfs с точки зрения работы ос с диском по интерфейсу
На низком уровне (структуры, логика связей, заморочки с MFT и битмапом, и прочее)? Понятия не имею!
Мне категорически не интересен "логический уровень" (файловый системы и прочая белиберда) - тут есть свои супермены и гуру.
Погуглите про NTFS, я уверен, что всё давно уже разжёвано до байтика и битика.
В той же ReactOS поизучайте исходники, например.
Ребятушки, родненькие - ну поднажмите!
Давайте постараемся набрать первую 1,000 просмотров для первого ролика.
Ребята, вы крутые)
Выпускайте видео почаще)
Первые 16 минут можно пропустить.
Зачем приглашать специалиста, если не давать ему слова.
Как оказалось не так просто взять интервью, чтобы это хорошо смотрелось. Буду стараться, спасибо.
расскажите о подшипнике - как лучше эксплуатировать HDD вертикально/горизонтально/без разницы? подшипник механический или в магнитном поле вращает шпиндель диска
абсолютно без разницы, как его эксплуатировать :)
На МКС тоже HDD тоже пользуются.
хм... так то механические подшипники давным давно канули в лету, гидродинамические там...
@@chainsaw_09 но всё-таки не наклонно 😄
Я не слышал о том, чтобы где-то можно было найти статистику по надёжности дисков, в зависимости от положения в пространстве. Но мы на основе своего опыта и мнения Михаила Маврицина считаем, что с точки зрения надёжности разницы в пространственном расположении диска с гидродинамическим подшипником в гравитационном поле в процессе эксплуатации нет.
Производители заявляют что разницы нет (с момента появления гидродинамических подшипников), но настоятельно рекомендуют эксплуатировать жесткие диски в одном из положений, в котором ребро корпуса параллельно вектору гравитационного поля.
58:40 интересное наблюдение, ибо дома у меня в truenas стоят накопители mg04 в количестве 8 штук и mg08 в количестве 4 штук (или N300 серии, не знаю как правильно сейчас), реально ни один из них за несколько лет работы не вышел из строя и по сей день работают идеально, а вот с X300 накопитетелями у меня лично не сложилось, 3 из 8 посыпались через 2 года, хотя как посыпались, тесты поверхности проходили нормально, но 05 атрибут в смарте увеличивался и truenas (тогда еще freenas) постепенно выкидывал их из raidz
Больше интересно именно техническая часть, а так воды много.
Принято, спасибо за обратную связь (см. закреплённый комментарий).
Хотелось бы найти контакты Михаила, если это возможно.
Спасибо весьма интересно и полезно!
Очень интересный видеоролик с отличным специалистом,благодарю.
В общем и целом здорово, пожалуйста продолжайте. Часто перебиваете друг друга, мешает усвоению материала.
Осветите вопрос про виндовый грязный бит, например ситуация когда втыкаешь в винду sd карту с Андроида, тот маячит ошибками и зачастую не даёт записать на него пока не форматнешь или не чекнешь.
Спасибо.
По грязному биту вопрос непонятен. В сети полно информации по этой теме, на русском и английском языке. Где он находится, как его вручную снять и т.п. Поясните пожалуйста что конкретно интересует.
На самом интересном месте 😁 Курсы Шахерезады расширяют приём блогеров.
Продолжение в среду :)
45:15 описание 4-х из пяти дисков тощьиба 6 тБ x300 как у меня. смарт показывает 100/11 частота ошибок позиционирования головок, а было 11/11 (показатель висел в состоянии "плохо" несколько дней, а потом восстановился).
С большим удовольствием просмотрел , вчера как раз продал 41 винт ide , столько времени занимался винтами , ремонтами , а вчерашнее видео даже скачал и оставлю для будущих просмотров , думаю не раз . Тема винтов всегда была для меня интересна , инфы мало , в свободном доступе реальных программ практически нет , ася стала сверх дорогой , и практически не окупаемой ! Буду ждать следующего видео , в красной футболке просьба не перебивать парня , и не нужно постоянно говорить про 15 лет работы ! МНЕ ИНТЕРЕСНО СЛУШАТЬ ПАРНЯ СПРАВА , ОН ГУРУ ! Добавлю - говорите про производителей винтов , какие плохие , какие хорошие в смысле работы . Про фуждики понятно , но их сейчас не выпускают , мпж мпф д ,а , это было в прошлом . Что сейчас можно брать , какие фирмы , модели , ваше мнение и инфа очень интересна и познавательна .
Если работать, а не валять дурака, Ася отбивается за месяц-два :) . Что покупать Миша сказал - нативную Тошибу :)
@@VitaliyRozikRoziznany 14 тон окупается за 2 месяца ? И клиенты соглашаются на вашу стоимость ? Это единицы , не лукавьте . И мы с вами общались недавно про нативную тошибу , помните ?
@@offline9218 14 тонн - это 2 куска зелени всего-то :))) А с модулем SSD - 3K вечнозеленых. Как Медведев говорил - надо просто больше работать :)))
@@VitaliyRozikRoziznany 14 тонн зелени за последнюю асю с подпиской и всеми переходниками )
@@VitaliyRozikRoziznany Нет , он говорил ну вы держитесь там , и хорошего вам настроения .
Для длительного хранения информации HDD или DVD-RW ???
HDD. Обычные DVD-RW очень недолговечны. Были случаи, когда меньше чем через год подложка разрушаться начинала. Есть специальные болванки, предназначенные для длительного хранения, но где их купить и можно ли быть уверенным них если найдёте и купите - не знаю.
Самые надежные диски это старые (с интерфейсом IDE) HDD емкостью 40 Гб сделанные в Сингапуре. Им 20 лет, а все работают и хранятся хорошо.
@@RLAB-sq2jv
Что значит "Обычные DVD-RW"? И о каких условиях хранения идёт речь?
@R.LAB
Если HDD определив, что не может прочитать блок или плохо читая его, замещает его из резервной области без перемещения данных (что, вообще-то, странно) (после 01:31:10), то тогда MS в чём-то права пытаясь до последнего всё же прочитать данные для их перемещения силами ФС.
Ребята, большое спасибо. Давно ждал подобных видео. Хоть это и теория и больше разговоры, все равно интересно. Мое предложение. У вас есть список тем, (думаю темы от подписчиков будут тоже приняты во внимание). Постройте пожалуйста видео от простого к сложному по темам. Думаю так будет легче воспринимать и в случае необходимости пересмотреть еще раз, легче будет найти на канале. Удачи и крепкого здоровья.
Спасибо за пожелания :) Да, темы от подписчиков будут приняты в качестве основы для подготовки следующих материалов. Пока, к сожалению, не представляем себе как выстроить список тем так, чтобы в итоге получилась логичная связная структура "от простого к сложному". Но думаем над этим. Ведь в силу специфики области одну и ту же тему желательно давать с разной глубиной и детализацией в зависимости от уровня знаний слушателя. Не получается сделать материал на одну тему сразу для всех. Поэтому есть необходимость делать разные материалы на одну и ту же тему. А тем довольно много. И область знаний весьма обширна. А возможности ограничены. Есть примерное представление об общем перечне вопросов, ответы на которые хотели бы дать в роликах и статьях. Постепенно, вразнобой, заполняем в нём пробелы.
К сожалению, сценария у первых пяти роликов - нет, и всё происходящее, по сути, является потоком сознания в real-time режиме. Но мы старались остаться в рамках формата.
23:22 - 2003 год - bug in the Fujitsu HDD firmware ( _bug bounty_ ).
Можно было ответить примерно так:
私はアカデミー出身です。 これは学習プロジェクトです。
( _обычно_ это не требуется, т.к. в подписи к письму _обычно_ сразу указывается название университета) - хороший образовательный процесс включает практику. В общем¹-частном² случае³, иногда раньше⁴ это приводило к выделению гранта на дальнейшее исследование, но чаще к простому восхищению проделанной работой.
¹ - по различным темам исследований.
² - субъективный опыт.
³ - включая области, где просто так новую версию или ревизию не выпустить - нужно заново проходить сертификацию.
⁴ - до c𝖺н𝗄ций.
1:23:36 … - скорее всего я смотрю не на ту часть кода, но в момент проверки `RetryCount++ < MAXIMUM_RETRIES` не делается различий между UNC и UltraDMA CRC Error² - здесь любая ошибка I/O - это ошибка I/O.
Возможно, предполагается проблема не с самими хранимыми данными (т.е. не UNC), а с интерфейсами и промежуточными узлами, через которые проходят запрашиваемые данные. В качестве частного случая можно рассмотреть проблему с SATA-кабелем¹, которая приводит к UltraDMA CRC Error, следовательно, предпринимается несколько попыток выполнить операцию.
¹ - точнее чаще проблема возникает не с самим кабелем. Наиболее уязвимое место находится внутри коннектора: место крепления жил кабеля к "пинам"¹¹ коннектора - обычно применяется очень ненадежный фиксатор, который не справляется со своей функцией, и при деформации¹² коннектора жилы кабеля попросту выходят из своих фиксаторов. Частичная потеря полного контакта приводит к увеличению сопротивления, т.е. необязательно разбирать коннектор, чтобы обнаружить дефект - достаточно измерить¹³ сопротивление мультиметром. Наиболее чувствительны к возрастанию сопротивления - HDD от Seagate. Частично это может происходить у HDD Seagate из-за используемого SSC (Spread Spectrum Clock), но я не рекомендую отключать SSC (`SeaChest_Configure --sscFeature info`).
На WD по умолчанию SSC отключен - подразделы "5.3.1 Jumper Settings":
| SSC Mode - Spread spectrum clocking feature enabled or disabled
| (jumper on pins 1-2). Default setting is disabled.
• WD40{PURX,PURZ,EVRX} (PR1334M) - страница 41
www.y-ic.ru/datasheet/36/96HD4TB-ST-WD5KA1.pdf
www.grc.com/dev/Spinrite/Drive%20Specs/Western%20Digital%20Purple%20PR1334M%20Technical%20Reference%20Manual.pdf
• WD RE3: WD7502ABYS, WD1002FBYS (XL333M) - страница 42
www.grc.com/dev/Spinrite/Drive%20Specs/Western%20Digital%20WD1002FBYS%20Technical%20Reference%20Manual.pdf
• WD Blue: WD20{SPZX,SPZX} (MN1000M) - страница 60, "5.4 Jumper Settings"
www.grc.com/dev/Spinrite/Drive%20Specs/Western%20Digital%20Blue%20WD20SPZX%20Technical%20Reference%20Manual.pdf
• superuser.com/questions/441817/what-is-the-purpose-of-this-4-pin-interface-on-sata-hdds-and-why-doesnt-it-exis/441840#441840
¹¹ - не знаю, как назвать эти выводы-зажимы-фиксаторы корректнее.
¹² - при изготовлении коннектора используется 2 типа пластика (для 2-х его деталей): один жесткий - для разъема ("ориентирующий элемент" с "контактной площадкой"), другой мягкий - для "корпуса" коннектора. Если кабель изгибается-скручивается в районе коннектора, то со временем и мягкий "корпус" коннектора тоже скручивается. В большинстве дешевых SATA-кабелей "корпус" коннектора изготовлен из мягкого пластика. Мне известна только одна компания ("зеленная"), выпускающая SATA-кабели, которые одновременно и дешевы и не подвержены описанной проблеме ("корпус" из жесткого пластика; кабель более гибкий из-за чуть более мягкой наружной оболочки-изоляции кабеля).
¹³ - предварительно очистив контакты на контактной площадке разъема от возможного окисла.
² - так как в SATA данные передаются по двум LVDS-парам (A и B)²¹, то в S.M.A.R.T. будут зафиксированы UltraDMA CRC Errors только при проблеме с контактом A-парой (передача данных от SATA-контроллера хоста → HDD). Если же проблема с B-парой (SATA-контроллер хоста ← HDD), то о ней, при использовании режима UltraDMA (и интегрированном в чипсет SATA-контроллере), можно узнать²² только(?²³) на современных ПК - поддерживающих PCI Express Advanced Error Reporting (PCIe AER) или APEI (ACPI Platform Error Interface).
²¹ - blog.rlab.ru/wp-content/uploads/2022/05/SATA_spec_pinout.png
www.edaboard.com/attachments/sata-png.155609/
²² - ошибки будут записываться в:
• Windows: журнал "Microsoft-Windows-Kernel-WHEA/Errors",
и источник "WHEA-Logger" в журнале "Система"
(Windows Hardware Error Architecture)
Примеры:
• answers.microsoft.com/en-us/windows/forum/all/event-17-whea-logger-error-flooding-wifi-problem/f2f7e229-a6bb-4b8d-a2b7-1e7d0aa5ba8b
• www.reddit.com/r/Amd/comments/dvv4yz/did_amd_fix_whea_errors_or_just_hide_them/
(Windows и GNU/Linux)
• GNU/Linux: "AER" в dmesg.
• docs.kernel.org/PCI/pcieaer-howto.html
• www.kernel.org/doc/ols/2007/ols2007v2-pages-297-304.pdf
APEI (ACPI Platform Error Interface):
• lwn.net/Articles/368119/
• www.kernel.org/doc/html/v5.3/firmware-guide/acpi/apei/einj.html
• www.kernel.org/doc/html/v5.3/firmware-guide/acpi/apei/output_format.html
Примеры:
• www.linux.org.ru/forum/linux-hardware/12585679
• www.linux.org.ru/forum/general/15930360
²³ - пример `ICRC ABRT` (Interface CRC) при `READ DMA EXT`
superuser.com/questions/641219/possibly-a-dying-hard-drive-but-reads-writes-work-unsure-about-log-entries
libata error message:
• ata.wiki.kernel.org/index.php?title=Libata_error_messages&oldid=5624#Overview
• exception Emask: ATA bus error (chip↔device bus error)
ata.wiki.kernel.org/index.php?title=Libata_error_messages&oldid=5624#Error_classes
• error: { ICRC ABRT }
ata.wiki.kernel.org/index.php?title=Libata_error_messages&oldid=5624#ATA_error_expansion
Апплодирую стоя.
Жги(те) ещё.
@@MikeMavritsin Да, Вы правы, это может сработать. Только нужно не просто жечь (там нет припоя) - для упрочнения соединения¹¹ можно попробовать применить _ультразвуковую сварку_ .
@@MikeMavritsin Как писал Норберт Винер в своей книге «Бывший вундеркинд. Детство и юность» (Ex-Prodigy: My Childhood and Youth):
«Ученому необходимо сохранять за собой право менять свое мнение в любой момент, когда появляются новые факты» - страница 140.
То есть в ответе я надеялась получить новые факты, которые заполнят пустоты‑неопределённости ("возможно", "скорее всего", "(?)", …) и изменят моё мнение.
Toshiba разве не принадлежит с некоторых пор WD?
Какая ОС корректнее работает с жёсткими дисками, винда или линукс?
Toshiba? Принадлежит WD?
Нет уж, спасибо.
Несколько лет назад на Toshiba были попытки "рыночного нападения" со стороны американского хэдж-фонда, который чуть ли не вымогал HDD-бизнес Toshiba в обмен на помощь в реструктуризации и частичного погашения серьёзных долгов в некоторых частях бизнеса корпорации Toshiba.
Подробностей уже не помню, Гугл в помощь.
И факт в том, что Toshiba не сдалась и сохранила HDD-подразделение "под своим крылом" и своим контролем.
И это очень серьёзная ситуация была, где Toshiba вышла (я считаю) победителем в заведомо неравной схватке.
Поясните, какой именно смысл вы вкладываете в выражение "корректнее работает с..." применительно к ОС и доступным ей устройствам?
В драйверах и Linux, и Windows и всех прочих ОС всегда есть спорные моменты.
Но kernel mode driver - это не "Пасьянс" какой-нибудь! И раз уж эти драйвера существуют и являются аж частью ядра - это "Жжжжж!" неспроста и они явно были верифицированы на совместимость и адекватность.
@@mikemavritsin9977 хм... При покупке следующего жёсткого диска обращу внимание на диски от Toshiba. Seagate давно не покупаю, в столе лежат 8 нерабочих дисков этой фирмы, мне даже информацию не удалось скопировать.
@@Valery_AVV Во-первых, не нужно все семейства (продукты) одного производителя смешивать в общую кучу.
У каждого производителя есть и модели-шлак, и "средненький ширпотреб", и серьёзные enterprise.
И я на 98.73% уверен, что все ваши 8 дисков - ни разу не enterprise, а самые обычные "средненькие" с умеренной ценой. А потому любые проблемы с ними - буквально были гарантированны с самого первого дня покупки.
Дальше.
Про Toshiba.
Этот производитель - Самый Странный из оставшихся на рынке.
И если вы хотите купить более-менее надужный диск их производства (а не старые модели HGST под этикеткой Toshiba) - крайне важно определиться с конкретной моделью.
Не всё то золото, что блестит.
В сегодняшних реалиях это чёткая аксиома.
Удачи.
@@mikemavritsin9977 более грамотно, бережно. Вот на винде, например, если слетела MFT , а она слетает легко, часто даже без причины (сидишь себе, работаешь, а жёсткий диск взял и пропал) и пользователь в ужасе бежит в сервисный центр, чтобы восстановить всё ценное или к другу, который может это сделать. Некоторые, понимающие, восстанавливают сами. Но если открыть этот диск в Линукс, то он запросто видит все файлы и их можно просто скопировать на другой диск или кинуть в облако, ему пофигу этот MFT. Под Линуксом я даже не помню, были ли у меня проблемы с жёстким диском, а в винде часто случается какая-нибудь ерунда.
А что такое есть форматирование?
Раньше была команда verify on|off которой можно было включить принудительную проверку записанного, а потом она перестала работать. Не помню точно на какой ОС это перестало включать, то ли ХР, то ли 98, но это произошло. Раньше в основном пользовался включенным режимом т.к. случаи были. Может конечно накопители стали более надежны, но принудительно выключить проверку как-то нехорошо, пусть бы параноидальные могли пользоваться при перекидывании с места на место
Спасибо, очень интересно смотреть)
ещё интересно было бы что то поделать полу профессиональное с ЖД - какие то знания приобрести для его "разгона" "лечения" или перепрошивки. если к этому нужен специальный программатор то сразу так и сказать. т.е. неплохо было бы получать какие то обучалки которые под свой страх и риск можно сделать самому потом
Началось...
В одном из следующих роликов как раз задаю Михаилу вопрос по поводу того, с чего начинать исследование дисков.
Вообще жесткие диски - очень обширная область и рекомендованный начальный путь в изучении зависит от того, куда вы в итоге хотите придти. Если есть желание просто "поиграть" - начните например с изучения стандарта ATA, поотправляйте стандартные команды в диск в ручном режиме с помощью R.tester rlab.ru/tools/rtester.html .
В 2014 году в публичный доступ вышел R.tester и в свободное время я продолжаю его развивать.
В нём есть два инструмента, которые перекрывают 100% всех ваших хотелок именно в плане "на свой страх и риск" - это ATA и SCSI Command Exerciser. Или "диалоги ручной работы с ATA- и SCSI-командами".
Удобнее или более легкодоступной реализации этого функционала я никогда не встречал в общедоступном ПО - и это совсем неспроста, кстати.
Пользуйтесь на здоровье, но на свой страх и риск.
Было бы круто разделить на секции: видео длинное, быстрый переход по секциям позволит зрителям сэкономить время.
В данном случае сделать это затруднительно, к сожалению. Даже просто сделать таймкоды не получается. Потому что возврат к одной теме может происходить несколько раз в течении беседы.
про температурные режимы интересно было бы ..
Принято, запланируем. Тема большая и серьёзная. Если интересно что-то конкретное - уточните вопрос.
@@RLAB-sq2jv интересно мнение Михаила как исследователя об оптимальных/нормальных и не нормальных температурных режимах если его данные расходятся с данными производителей. обычно все ориентируются на статистику гугл/backblaze в этой теме, в общем, возможно и у вас есть что про это рассказать.
@@andykarimov4796 На сколько я знаю, заметно расходятся :) Лучше всего, если об этом расскажет сам Михаил.
@@andykarimov4796 Статистику Гугла я не видел. Статистику Backblaze я иногда посматриваю - на мой личный (привередливый) взгляд это "детский сад", но людям нравится... :|
Напоминаю железобетонный факт про современные накопители - одна и та же "банка" может работать феноменально по-разному только за счёт разных прошивок.
🔥🔥🔥
Спасибо. Безумно интересно, информация просто бесценна. Про жёсткие диски всегда интересно послушать, тем более что нюансов там бездонная пропасть. Надеюсь, что будете продолжать в том же духе и выкладывать видео почаще.))
Рад, что вы оценили. Вот как раз соображение по поводу ценности информации, которой можно поделится, и сподвигло сделать серию подобных сырых роликов. Не дожидаясь отдалённого светлого будущего, когда будет возможность всё красиво оформить.
Просмотров мало, тема для спецов... Парняга молодец, шарит в этом деле, таких единицы...
Круто
Во-первых, bad-block или bad-sector это понятие файловой системы (например в FAT). ФС помечает, что конкретный блок неисправен и использовать его не нужно.
Новые диски, как будто, реаллоцируют сектор и на уровне ФС он, как будто не появляется ("как-будто", потому что я сталкивался со внезапными ошибками чтения блока в конкретном файле на паре современных дисков, причем, и HDD, и SDD, которые не отразились в файловой системе и не были релоцированы прошивкой накопителя).
Во-вторых, счетчик bad-блоков есть в S.T.U.P.I.D. (то есть, в "SMART"; id #5, Reallocated Sector Count и другие - #187, #198 ...).
я придумал что интересно. интересна расшифровка показателей в наиболее популярных программах которые показывают состояние жизни HDD. вроде CrystalDiskMark - чтобы занудно по каждому показателю рассказать (кратко) для того чтобы сложилась целостная картина в голове в каком состоянии жд и что его примерно ждёт в будущем (сколько проживёт) - это популяризирует ролик и кликбейтовое название приветствуется. также если есть опыт с Chia то рассказать как она влияет на жд.
Если я правильно понимаю, то вы спрашиваете о расшифровке значений неких синтетических параметров, которые самой же программой и генерируются на основе показателей SMART. Исследователи жестких дисков относительно этих параметров используют термин "измерение в попугаях". Зачастую эти параметры не отражают в должной мере состояние накопителей и как они конкретно считаются и что означают - знают только разработчики программ. Мы считаем, что они вносят больше путаницы чем что-то проясняют и рекомендуем луче ориентироваться на показатели SMART (которые могут иногда врать) и результаты тестов. Что касается расшифровки показателей SMART - посмотрите что по этому поводу сообщает уже упомянутый мной R.tester. Там не просто показатели расшифрованы, но ещё есть их интерпретация с помощью цветового выделения.
К сожалению, с профессиональной точки зрения - нет ничего бессмысленнее, чем "диалоги о SMART".
(кстати, правильно писать S.M.A.R.T.).
Но будет честно не лишать пользователей виртуальной надежды, поэтому предлагаю "социальный договор": я запишу качественный (по сути) ролик и расскажу про S.M.A.R.T. [почти] всё то, что десятилетиями остаётся в тени и создаёт "непонятки", когда выйдут все пять роликов и суммарно они наберут 100,000 реальных просмотров.
А фуджитсу тошиба с софт банком никак не связаны?
Слишком долгое вступление.
Принято, спасибо.
Михаил Маврицин - это мега-мозг... еще со времен ФИДО... 🙂
Тсссссссссс!!!!!!!!!!!! 😅
Не палите мой возраст, да и всякими FIDOnet можете молодую аудиторию распугать.
нуу, вы прям уж в таком свете выставилии hdd, что ими пользоваться больше на захочется. если так докапываться, любая железка не идеальна. и в ssd есть свои болячки, в любой железке можно найти, в материнской плате, даже в самом безобидном блоке питания. самые надёжные серверные решения могут оказаться не такие надёжные. а люди тем временем пользуются этим годами
Спасибо за видео - всегда интересно послушать мнение знающего человека на полузакрытую тему. Но кое-что вызывает вопросы - утверждение, что драйв может при каких-то условиях втихую произвести ремап и вместо бэда отдать пользователю "типа нормальный" сектор,но на самом деле заполненый мусором.По моим наблюдениям,это невозможно - недопустимость _сознательной_ порчи данных для hdd - это как нарушение Первого Закона Робототехники от А.Азимова для роботов)))) . Так что хотелось бы немного пруфов - например,указать модели, способные на такой беспредел)
Вы серьёзно?
1) Ремап всегда производится именно "втихую" и чаще всего это реализовано через Deferred Procedure Call (DPC, в том или ином виде) в прошивке. В общем-то, поведение при переназначении - ооочень vendor specific.
2) Немыслимо давно уже официально все производители прекратили "рвать на себе волосы", чтобы в момент reassign`а перенести (еле-еле) восстановленные данных из "подозрительного" или [предположительно] дефектного сектора в новое место в резервной области. То есть, это может произойти, но лишь по чистой случайности и только потому, что конкретному FW Developer`у было нелениво дописать пару десятков строк и кое-чего предусмотреть в плане нестандартных ситуаций (это уже за рамками роликов и дискуссии в комментах).
3) Частенько в прошивках содержатся баги, из-за которых новый сектор (тот, которым был замещён исходный с якобы проблемами) не был/будет проинициализирован (перезаписан "ноликами") или что-то пошло не так из-за шифрования и в нём окажется "белый шум" (байт-мусор), и ещё масса причин. Исключать этот фактор - нельзя.
4) Никакие законы дядюшки Азимова в устройствах хранения данных НЕ выполняются. Не будте настолько наивны :)
Производитель любой ценой впаривает нам своё устройство и гарантируешь ЛИШЬ его техническую работоспособность и возможность читать/писать данные "согласно заявленым ТТХ", и т.д.
Но нигде не сказано о том, что нам прям вот гарантируется сохранность наших данных :)
Жёсткие диски - это вершина многих десятков сложнейших технологий нанометрового масштаба, но по этим же причинам эти устройства работают именно что "на честном слове" и весьма хорошо с этим справляются в масштабах годов и даже десятилетий.
С SSD всё хуже в разы - они работают и умудряются читать ваши данные целыми и невредимыми ещё и ещё раз лишь по Чистой Случайности (=очень серьёзным софтовым И аппаратным методам коррекции ошибок с очень жёсткой глубиной и частотой срабатывания).
*NOTE.* Для SSD существует серьёзное исключение: старые устройства с оригинальной железобетонной SLC-памятью. Там всё очень хорошо и они сохраняют данные даже через 8+ лет, но морально они очень стары. :(
Регннератор не ересть, а полностью автоматизированный метод перезаписи диска. Возьми и ручками перезапиши на диске програмный бэд .
Не помню, в этом ли видео Михаил говорил о том, что HDD чувствует вибрацию, но напишу здесь. Наткнулся я на интересное видео об этом - "Shouting in the Datacenter". Человек кричит на массив из HDD и это привносит изменение в их работу.
_>Не помню, в этом ли видео_
18:36
@@user-vapet
Спасибо. Это тоже пригодится, но он об этом говорил более подробно в другом видео.
Шо с arch7 делать?
Понять и простить.
Хорошая задумка и HPA-диски на практике очень надёжны, но... Родить ежа в цельнометаллической оболочке через пластиковое окно 2х2 мм на высоте 29 этажа при сильном ветре, с использованием скотча, зубочистки, зуба дракона, непроверенных грибов и лютой нехватки мотивации со стороны разработчиков (и особенно архитектора этой платформы) - WD не под силу. Ни при каких условиях.
Жаль. Я бы очень хотел посмотреть насколько живучей (во времени) окажется их безумная файловая система в служебной зоне.
как же тогда быть с горячим отключением?
Отключать :)
Очень важно современные харды подключенные к компам под современными ОС явно размонтировать перед отключением питания. Потому что при этом происходит отправка команды, которая вынуждает накопитель сбросить кэш.
Раньше кэш был сильно меньше, не было SMR, медиакэша и т.п. Длительность и глубина отложенных операций были несопоставимо меньше чем сейчас, поэтому это было не так актуально.
На некоторых моделях, отключение питания в момент, когда диск к этому не готов, может привести к повреждению метаданных и даже содержимого ПЗУ (NVC cash в том или ином виде). Что приведёт к тому, что диск после включения не сможет до конца проинициализироваться и восстановление данных в этом случае становится нетривиальной задачей.
18 минут предисловия вначале можно пропустить.
Интересно. Спасибо.
Но возмущение о том, что продают черную коробочку, не раскрывая секрета работы и звучащее от специалиста, по-моему как-то не вяжется. Над этой коробочкой работали и вкладывали туда кучу денег (например, не взирая на дороговизну какого-либо оборудования, озвученного за 100 тыщ долларов) не для того чтобы раскрыть секреты на каких магиях ньюансов оно работает. И этим наработкам десятки лет, кто же таким будет делиться в мире патентов и бабла. Вы вот вроде бы разобрались, что и как работает, поняли принципы, даже выявили недостатки, но почему-то же не выпустили изделие, а почему? А вот предположим выпустили - вам надо отбить кучу денег потраченных на исследования, постройку производства под это, с нуля, между прочим. И что, поделитесь чтобы китай тут же перебил дешевизной и даже не отбили вложенное?
А вы заметили некоторую связь проектипрования и создания этих устройств сирелигиозными и мистическими догмами?
очень странное заявление что диск ремапит непосредственно при ЧТЕНИИ, особенно от специалиста такого уровня. никогда не встречал такого на практике. да это банально противоречит логике сохранности данных. можно примеры моделей таких дисков?
Приходилось иметь дело с ленточными накопителями? Оказалось, не мало людей, которые до сих пор ими пользуются и считают их лучшим выбором для хранения информации, нежели HDD.
55:24 может это не везение а натуральная магия?
2:58… - *(hint)* можно сказать, что в данном случае Николай выступает в роли _инженера по знаниям¹_ , задавая эксперту вопросы, и ~~занося~ответы~в~базу~знаний~~ записывая ответы на видео.
¹ - Wikipedia: «Инженерия знаний» / раздел «Технологии инженерии знаний»: «К _индивидуальным активным методам_ … относят:…».
Однако 4‑я часть: «PC-3000, трансляция SMR и многое другое» - была ближе к _«коллективные активные методы»_ .
P.S.: th-cam.com/video/eIH39GLBVWs/w-d-xo.html
15мин. запрягать - ну вы даёте!
51:04 .. 51:27 - «.. _запись должна работать всегда_ »:
| Запись - совсем иной процесс и, в идеале, не имеет права
| не завершаться успешно. В противном случае, это сигнализирует о
| достаточно серьёзных проблемах (в прошивке, серво-коде,
| состоянии серво-системы, состоянии механики в целом, наличие
| «биения» дисков, и т.п.).
| С точки зрения накопителя, ошибки записи - имеют наивысший приоритет
| после hardware-ошибок серво-системы.
| …
| В моей статистике очень много примеров, когда проблемы с
| «деградирующей сервой» создавали очень серьёзные проблемы при записи,
| но вообще не заметны при чтении.
- из комментария Михаила к заметке "Диски с проблемной записью":
blog.rlab.ru/hard-drives-with-write-errors-62.html#comment-7
Стоит заметить, что вышеописанное относится к CMR/PMR накопителям.
У SMR накопителей ширина дорожки меньше (см, 3-ю серию - про SMR), следовательно, при чтении требуется поддерживать ту же точность позиционирования головки, что и при записи.
И да, и нет (про точность позиционирования при чтении).
Выкручиваю себе руки, чтобы отвечать боту - но уж шибко красиво пишете и слишком уж по существу, я доволен :)
(В разумной степени на не супердопотопном жёстком диске) MR-элемент, вне зависимости от типа и поколения - имеет меньшие размеры (габариты), чем фактически записываемый трек.
При записи в режиме SMR, треки пишутся всё с той же обычной средне-статистической шириной, которая напрямую зависит от физических габаритов пишущего элемента, а так же размеров и формы полюсного наконечника (pole tip).
А меньшей получается лишь фактическая ("выжившие остатки") ширина дорожки после того, как "поверх" неё с существенным перекрытием будет перезаписан предыдущий или следующий трек (зависит от направления наложения дорожек, у разных производителей и в разных зонах направление может меняться) - тут огромную роль играет эффект STE, от которого даже на сегодняшний день избавиться технически невозможно (я думаю, от него принципиально невозможно избавиться).
Это очень интересная тема, мы ещё не раз к ней вернёмся.
@@MikeMavritsin | _А меньшей получается лишь фактическая ("выжившие остатки") ширина дорожки …_
Да, именно фактическую ширину я и имела в виду, когда писала: «У SMR накопителей ширина дорожки меньше …».
Под «эффект STE» Вы имели в виду Side Track Erasure?
| _зависит от направления наложения дорожек, у разных производителей и в разных зонах направление может меняться_
Кстати, для уменьшения _максимального количества_ считываемых/записываемых дорожек при модификации части ленты (т.е. для уменьшения времени на модификацию ленты) - можно вместо обычного способа [№1] наложения дорожек (нижняя дорожка записывается первой, верхняя - последней; дорожки нумеруются слева направо):
_____
_____
_____
_____
_____
, использовать следующий способ [№2]:
_____
_____ _____
_____ _____
Уменьшение количества считываемых/записываемых дорожек можно рассмотреть на примере модификации 2‑й дорожки:
• способ №1: потребуется считать 3-5 дорожки, и записать 2-5 дорожки;
• способ №2: потребуется считать 3‑ю дорожку, и записать 2-3 дорожки.
_Предлагаю рассмотреть самостоятельно_ случай модификации 2-4 дорожки.
Можно упростить процесс записи (логику записи) убрав центральную дорожку, т.е. по сути, разделив ленту на две перекрывающиеся ленты (верхняя дорожка относится ко второй ленте; в каждой ленте 2 дорожки):
_____
_____
_____ _____
Для наглядности, увеличу количество дорожек (в каждой ленте теперь по 3 дорожки), и обозначу "границу" лент:
__|___
___|__
_____ | _____
_____ | _____
@@MikeMavritsin | _Выкручиваю себе руки, чтобы отвечать боту_
Ох уж эти _большие языковые модели_ (GPT, …). Вы не первый человек, который счел мои сообщения - сообщениями от GPT.
А эти сообщения - по большей части мои _заметки_ к конкретным моментам в видео. Раньше было расширение, которое брало метки времени из комментариев и размещало их на _timeline_ плеера видео - наподобие того, как это сделано в SoundCloud.
@@MikeMavritsin Как я вижу, в свой аккаунт на Habr Вы не заходили с 04.03.2021 ;)
_Небольшое ответвление от мысли из первого сообщения._
… следовательно, при чтении дорожки в случае физического повреждения поверхности пластины (длинная¹ и тонкая "царапина" посередине дорожки):
• Логика *CMR* HDD могла переместить головку в другое место дорожки (сместить головку левее/правее центра дорожки), и успешно прочесть данные. Можно сказать, что это возможно сделать благодаря физической избыточности (большая ширина дорожки) хранения данных.
• Логика *SMR* HDD может эффективно воспользоваться данной избыточностью только лишь в случае чтения последней записанной дорожки (широкой дорожки) в ленте.
¹ - в случае _короткой_ "царапины" на "пользовательских данных" сектора - данные могут быть успешно восстановлены благодаря _коду коррекции ошибок_ , если хватит _корректирующей способности_ кода.
_Как следствие:_ выпуск 2.5″ *SMR* HDD, предназначенных для портативного использования, - нонсенс.
за перебивание друг друга каждому прописать в бубен! (музыкальный инструмент)
Эксперты такие экспертные
мог бы кто то один выступить,только кашу создали
Ивангая посмотри!)
Смотреть с 17 минуты!
больше информации о Михаиле
Везёт им на толковых Михаилов
@@merlinfromshadows4016 да это точно
@@merlinfromshadows4016 Это да :)
Спросите что конкретно вас интересует? Я думаю лучше всего будет, если Михаил сам ответит. В комментариях или на видео.
@@RLAB-sq2jv ну совсем осталось за кадром его непосредственный статус и возможные регалии :) про годы практики мы в скользь услышали и про часть навыков (впечатляют) тоже. Но всё-таки хотелось бы подробностей. Разумеется без зацепа каких-то излишне глубоко личных моментов. Если только сам не сочтёт нужным. А то даже как-то странно - СПЕЦ и из ниоткуда. И да, мы слышали, что мимо соцсетей к практике, но обычно шило в мешке не утаишь. Экспертов всё равно упоминают так или иначе.
Можно без лишней воды и не нужной аналогий Вы 5 минут полезной информации запихнули на 1 час
Как называется лубрикант (то что на поверхносте диска) точнее? не гуглится зидол.
Пишется "Z-dol".
Подробнее смотрите, например, в диссертации _"Thermal Fly-height Control Slider Dynamics and Slider-Lubricant Interactions in Hard Disk Drives"_ (eScholarship: content/qt7497r8tz/qt7497r8tz.pdf ):
• глава 7 _"Lubricant Distribution at the Head-Disk Interface of Thermal Fly-height Control Sliders"_ (страница 107):
| Experiments with different lubricant types (ZTMD, Z-tetraol+A20H, Z-dol+A20H) and different lubricant thicknesses show that a larger depletion is observed for the thicker lubricant of each type at a given TFC heater power. Lubricants with a lower bonded fraction show shorter recovery times after the slider is unloaded. The current experiments indicate that Z-dol+A20H (30% bonded) lubricant recovers in a time scale of a few hours, while Z-tetraol+A20H (60% bonded) lubricant of comparable thickness takes a few days, and ZTMD (75% bonded) takes weeks to fully recover.
• раздел 7.1 _"Experiments"_ (страница 107):
| The disks used in this work are coated with different lubricants: Z-dol+A20H (30% bonded) with thickness 9.5 Å and 13.7 Å, Z-tetraol+A20H (60% bonded) with thickness 9.5 Å and 14.5 Å, and ZTMD (> 75% bonded) with thickness 10.5 Å, 12 Å and 14 Å.
• …
Химическую формулу _perfluoropolyether (PFPE) lubricants_ : A20H, Z-dol, Z-tetraol и D-4OH - можно увидеть на рисунке:
Researchgate (226800190): _"The chemical structures of the PFPE lubricants used in this study"_
• из Researchgate (226800190): _"Effects of PFPE Lubricant Properties on the Critical Clearance and Rate of the Lubricant Transfer from Disk Surface to Slider"_ .
*P.S.* ссылки "съел" антиспам‑фильтр TH-cam.
16 минут бла бла о бла бла...
Приму к сведению, спасибо.
Понять, простить... :|
Очень-очень-очень долгое вступление. Оговорки, уточнения, вступления,пояснения, но никак не подойдёте к сути. Да, вы специалисты, но пожалуйста давайте меньше вступлений, оговорок, и быстрее переходите к сути. Спасибо!
Бесконечно много воды и повторов одного и того же. Но главное, чел в красной футболке (сорян, не запомнил имя) в этом видео реально лишний персонаж. Он только мешает.
Ок. В одном из снятых но не выложенных роликов меня нет вообще :)
@@RLAB-sq2jv надеюсь и не увидим! (шутка) на деле я согласен что ответчику надо дать выговориться и только после того как он закончит задавать следующий вопрос.
Это моё первое "выступление" перед аудиторией, которую я не вижу.
И для понимания ситуации - Николай терпеливо потратил целый год, чтобы убедить меня поучаствовать в этой затее.
Я бы предпочёл иметь визуальный контакт с аудиторией - будь это 10 человек или целый стадион, масштаб события не играет особой роли. Лично мне это важно.
Поэтому, как получилось - так и получилось. Понять, простить.
В других роликах мы постарались самоорганизоваться и меняли формат дискуссии - получилось или нет, решать зрителю.
Ставьте лайки, пишите комментарии - мы всё читаем и делаем выводы (о своём поведении).
И будем по возможности улучшать контент.
@@NodsFrend1 :))
В реальной ситуации всё значительно сложнее - если не будет "ведущего" и я начну вещать про то, что мне кажется интересным, то мы с вами тут застрянем как минимум на год без пауз... (o_O)
Поэтому, даже все эти перебивания и прыгания по темам - в некотором смысле мне помогают.
Но смотреть такое сложно - тут я согласен :(
@@mikemavritsin9977 Михаил, так может, мы очень даже не против застрять тут надолго и послушать что-то действительно интересное. ))
Да, я понимаю, что это будет видео не для всех. Оно будет понятно и интересно только тем, кто в теме. Но с другой стороны, видео для простых юзеров может и Николай записать, без Вашего участия. Он знает достаточно, чтобы на пальцах объяснить, что к чему людям далёким от datarecovery. А Вы запишите видео для специалистов, которым не надо на пальцах объяснять очевидные вещи. Например, было весьма любопытно узнать, что в адаптивных параметрах присутствует в том числе кривая зависимости механического сопротивления шлейфа БМГ изгибу в зависимости от его температуры.
Мужик в красном мешает интервьюируемому, зачем?
Сравнение с религией не очень удачно. В религиях нет места пониманию, там просто слепая вера в придуманные сказки.