Руководство поставило задачу.
Нужно хранилище для хранения информации в течение пяти лет.
^{(ежедневные архивные копии 1С)}
Прогнозируемый годовой объем в районе не менее 5Тб. Итого, на 5 лет надо не менее 25 Тб
Мне пришли в голову 3 варианта хранения.
1) Стример.
- Не знаю я их.
- Ценник совсем не гуманный. И это даже не за сетевой, а за встраиваемый вариант.
- Не знаю, какие есть плюсы и минусы у этого варианта хранения.
2) NAS.
Избыточен. Так что подойдет самый дешевый. Но учитывая что нужен RAID 5 и то, что объем хранилища должен быть не менее 25 ТБ - требуется хранилище с 4-5 слотами под диски. А это сразу выводит NAS из бюджетного сегмента.
По прикидкам - сразу же придется выложить не менее 100 тыс руб. Даже ближе к 150 тыс.
За эти деньги я буду иметь что то типа Synology DS418 снаряженного 8 ТБ дисками (WD red или Seagate IronWolf)
Возможности такого хранилища будут сильно избыточны, но зато есть надежда, что нужные данные будут в сохранности весь указанный срок.
К тому же я устраняю компьютер на котором хранятся архивные копии в течение месяца. Сервер будет сразу создавать копии на NAS.
3) Единичный HDD
Каждый год покупается HDD объемом 4-6 Тб. Диск устанавливается в рэк. Так что установить или заменить диск вопрос пары секунд.
Единовременно надо выложить совсем смешную, по сравнению с другими вариантами сумму.
Алгоритм использования - раз в месяц диск устанавливается в рэк и на него сбрасывается месячный архив. Потом по факту заполнения - диск отправляется в реальный архив, где он и хранится в течение 5 лет.
Как бы очень выгодный вариант для хранения данных. И не надо никакой избыточности при покупке дисков. На вырост покупать не надо. Ну закончился диск раньше - просто поставил новый и все.
^{(если raid в nas будет забит под завязку. я даже и не знаю что делать. разве что стирать старые данные и надеяться, что они не понадобятся.)}
Но... Нет никакого резервирования информации. Если по каким то причинам диск помрет - данные за год будут потеряны. Использовать два диска (второй для дублирования)? Нет, конечно можно, но как то это совсем не... В общем - мне это не нравится.
А еще (на уровне ОБС) - ходят слухи, что не все диски больших объемов заработают и выдадут сохраненные данные после 5 лет хранения.

В итоге так и и не решил. Какой же вариант использовать.

p.s. кто нибудь знает про NAS Drobo вообще и Drobo 5N2 в частности?
Производитель у нас совсем не популярный и расширенной информации нет. А очень бы хотелось знать о надежности хранилищ этого производителя. Да и возможных глюках, о которых обычно не пишут в обзорах.
Просто, по ряду возможностей хранилище Drobo 5N2 выглядит даже лучше хранилища от Synology.
Но останавливает то, что в наших краях это темная лошадка. Найти что то по результатам длительной эксплуатации - не реально.
Может эти Drobo дохнут как мухи от дихлофоса? Кто его знает?

alexis69
Нужно хранилище для хранения информации в течение пяти лет.
(ежедневные архивные копии 1С)
Прогнозируемый годовой объем в районе не менее 5Тб. Итого, на 5 лет надо не менее 25 Тб

Насколько часто будут использоваться копии? Необходим доступ к какой-то одной или нескольким одновременно? Сколько времени отводится на восстановление данных? Насколько они ценны, есть ли необходимость защищать их от стихийных бедствий: пожаров, наводнений, действий контролирующих органов?

alexis69
А еще (на уровне ОБС) - ходят слухи, что не все диски больших объемов заработают и выдадут сохраненные данные после 5 лет хранения.
Были случаи когда жестяки пролежавшие энное количество времени в "тепличных" условиях пару лет потом не запускались по электронике. Если память не изменяет - терабайтники.

Я бы поставил NAS + жестяк для сохранения копии архива каждый месяц.
Пусть лучше будет железная избыточность сервера, чем сердечная недостаточность у админа, когда что-нибудь в компе загнется и потеряется информация... :)

1) Стример.
- Не знаю я их.
- Ценник совсем не гуманный. И это даже не за сетевой, а за встраиваемый вариант.
- Не знаю, какие есть плюсы и минусы у этого варианта хранения.
Если кассет меньше сотни - не имеет смысла.
Были проблемы с чтением (хоть и не часто), вплоть до жёванной ленты, разборки и возни со скотчем. Последующее считывание в полном объёме не гарантируется...

3) Единичный HDD
Каждый год покупается HDD объемом 4-6 Тб. Диск устанавливается в рэк. Так что установить или заменить диск вопрос пары секунд.
Единовременно надо выложить совсем смешную, по сравнению с другими вариантами сумму.
Алгоритм использования - раз в месяц диск устанавливается в рэк и на него сбрасывается месячный архив. Потом по факту заполнения - диск отправляется в реальный архив, где он и хранится в течение 5 лет.
Даже проще - коробка USB - SATA. Прочитать потом на любом компе можно.
Для избыточности можно архивировать Винраром с добавлением информации для восстановления, тогда даже битые секторы не страшны.
Чтоб диск совсем не запускался после хранения - такого у меня ещё не случалось. (если во время "хранения" его не швыряли)

Присмотритесь к магнитооптическим дискам.
Был у меня такой в 90-х годах.

123Max
Насколько часто будут использоваться копии? Необходим доступ к какой-то одной или нескольким одновременно? Сколько времени отводится на восстановление данных? Насколько они ценны, есть ли необходимость защищать их от стихийных бедствий: пожаров, наводнений, действий контролирующих органов?
- Насколько часто будут использоваться копии?
От редко, до совсем редко. Но не чаще 1 раза в квартал. Это мой опыт говорит. В среднем где то раз в пол года.
- В 99,999% - доступ нужен всего к одному файлу. Объем которого на текущий момент составляет 7,3 Гб (столько весит один бэкап со сжатием выполненyый sql сервером. без сжатия это более 100 Гб)
- мне еще не приходилось восстанавливать систему после краха (3 раза постучал по дереву). Копии использовал для развертывания второй базы для тестов и других не оперативных мероприятий.
Но даже в случае краха - вполне можно потратить на восстановление 2 часа. Люди будут ругаться, но терпимо.
У меня сейчас на развертывание базы уходит чуть менее часа. Причем 75% времени это время пересылки по сети архива с компьютера хранения на сервер.
^{(к сожалению, у меня у циски основные порты 100 мбит. Поэтому и сеть 100 мбит)}
- Насколько ценны копии? Скажем так. максимальную ценность имеют копии за последнюю неделю. Они "золотые". Далее - ценность бэкапов падает в геометрической прогрессии.
- Конечно хотелось бы защитить бэкапы от пожара. Но опять же, это касается одного дня - недели. При потере старых копий - вполне подойдет термин форсмажер.
- А вот вопрос про контролирующие органы вызвал у меня истерический смех.
Дело в том, что как раз после посещения нас следователями у руководства и возникло требование долговременного хранения архивных данных.
Люди пришли и затребовали актуальную копию данных а также все архивы за период с начала 2018 года.
А у нас на текущий момент хранятся архивы только за месяц. Т.к. для всех вариантов использования бэкапов - больший срок был избыточен (до последнего момента.
^{(законодательство ничего не говорит про хранение элоектронных архивов если не используется электронный документооборот. а у нас используется до сих пор бумажный документооборот)}

Sergey4565
Для избыточности можно архивировать Винраром с добавлением информации для восстановления, тогда даже битые секторы не страшны.
Здесь риск не потери части данных на одном диске, а то, что весь диск умрет при хранении.
Просто возьмет и перестанет работать. Он лежал и его не роняли, но через несколько лет он вдруг взял и откинул кони.

Дмитрий-К
Присмотритесь к магнитооптическим дискам.
А эта технология до сих пор жива?
И что? На текущий момент на таком диске можно сохранить более террабайта данных?
А цена вопроса? Новые стримеры, например, стоят не менее 250 - 300 тысяч.
Думаю, что гипотетическая магнитооптика будет стоить дороже.

цена диска 1,3 Gb приблиз-но ок 5 т/руб. Существуют библиотеки дисков.
Дешевле (и проще), наверное, будет полка (rack-mount) с RAID-массивом.

alexis69
IHMO
Тут как не пляши, но для 25Тb - за "надежное" решение 150т.р. это весьма бюджетно и если влазите в эту сумму то хорошо.

rn9aaa
за "надежное" решение 150т.р. это весьма бюджетно и если влазите в эту сумму то хорошо.
Влазить то я влажу.
А вот насколько надежен будет nas DS418 + 4 HDD серии для NAS (WD red)?
(диски сконфигурированы в RAID 5)
Дело в том, что меня поставщик оборудования стал отговаривать от использования RAID 5 (ну или SHR) в NAS.
У человека большой опыт обслуживания компьютеров/серверов. И он говорит что знает несколько случаев когда массив рассыпался, не смотря на то, что вышел из строя всего один диск. Логика рэйд контролера что то не так отработала и в результате получилась полная потеря данных.
Правда, человек не работает с NAS и по ним таких случаев не знает.
Но как бы по аналогии (там и здесь - RAID 5) - предупреждает.

alexis69

В таком случае, скорее всего, подойдёт пункт под номером 3 (Единичный HDD). Диск, подключается через USB-адаптер или устанавливается в отдельную рабочую станцию, на него копируется свежая резервная копия (получается копия копии), сам диск должен быть от нормального производителя, такого как HGST, Seagate, Toshiba (и конечно, никаких Western Digital и т.д.), объёмом 2 - 3 терабайта, через каждые 4 - 6 месяцев сдавать в архив и ставить новый. Если совсем заморочиться, то можно раз в пол-года забирать их из архива и включать на час - два, заодно можно выборочно проконтролировать целостность данных.

А вот насколько надежен будет nas DS418 + 4 HDD
RAID 5 имеет среднею надежность, следующий шаг RAID 6 и например 5 HDD(можно и 4 это минимум но например по 14 Тb для ваших 25Tb) надежность выше цена больше. Короче чем выше отказоустойчивость системы тем нужен более толстый кошель.

А потом, в случае поломки самого контроллера, RAID "превращается в тыкву". И возникает проблема - как прочитать диски...

Существуют и контроллеры с резервированием. Всё дело в цене вопроса, изучаем предложение

Ну ладно. Вроде бы сделал выбор.
Остановлюсь на NAS c RAID5.

Но появился еще один вопрос.
Хотелось бы защитится от вируса шифровальщика.
Как это сделать?
Самое простое, чтобы избежать поражения архивов вирусом шифровальщиком - необходимо обеспечить доступ к папке на nas по паролю
Но в таком случае я не вижу возможности как с помощью bat(ника)/скрипта обеспечить копирование в папку с авторизацией.
Нигде не встречал командные файлы с авторизацией.
Есть какие нибудь предложения, как решить вопрос авторизации в командном файле?

Ну или как то по другому защититься от шифровальщика, но с условием, что в расшареную папку файлы будут копироваться командным файлом.

p.s. есть у меня одно предположение. Но сработает ли?
Смысл в том, что расшареной папке гостю назначаются права только запись. Т.е. любой может записать файл.
А вот полные права даются авторизированному пользователю.
Шифровальщик не может прочитать файл и поэтому его не может зашифровать.
Но сработает ли такой подход?

Смысл в том, что расшареной папке гостю назначаются права только запись. Т.е. любой может записать файл.
А вот полные права даются авторизированному пользователю.
Шифровальщик не может прочитать файл и поэтому его не может зашифровать.
Но сработает ли такой подход?
Интересная идея.
Но есть и другой вариант, правда с дополнительным компом (на каком-нибудь линухе, или другой нестандартной ОС), который забирает БД из сети и сам пишет в архив, доступ к архиву только с него.

авторизация через коммандную сторку -- powershell
Команды для командной строки в Windows

авторизация через коммандную сторку -- powershell
Через динамическое создание сетевого диска?
Хмм. Не сообразил. Надо будет попробовать.

Вообще-то скопировал, отключился (логически). И вирус не пройдет, если не открыть ему дверь.

Что то лыжи не едут.
Не удается из командной строки подключить сетевой диск с авторизацией.
В проводнике создается без проблем. А если через cmd файл - вылазит ошибка:
системная ошибка 55 сетевой ресурс или устройство более недоступно.

Вот строка которая прописана в *.cmd
net use q: \\ds118\homes\public /user:xxx(это логин) yyyy(это пароль)

Пробовал дома на win 7, пробовал на работе на win server 2012. Везде одно и то же :(

UPD
Сам сочиняю, сам пою
Команда должна выглядеть так: net use q: \\ds118\homes /user:xxx(это логин) yyyy(это пароль)
т.е. без паблика

123Max

сам диск должен быть от нормального производителя, такого как HGST, Seagate, Toshiba (и конечно, никаких Western Digital и т.д.),

Ха-ха!!!Рекомендуете HGST,но против WD.Вы в курсе что это одно и то же?Ну а рекомендовать Seagate после ихних глобальных фейлов-иначе как диверсией не назовешь.

PS.Пользую исключительно WD.Самый старый ихний винт(WD My Book 1 Tb) живет с 2009 г.

ReBeat
Ну а рекомендовать Seagate после ихних глобальных фейлов-иначе как диверсией не назовешь.

На вкус и цвет все карандаши разные, но Seagate, точно, вредители! :(

Дмитрий-К
команнда AT
Да нет. Обойдусь (вернее обхожусь) без этой команды.
Все делается силами sql server(а). Благо, что его агент умеет запускать командные файлы

alexis69
Ну ладно. Вроде бы сделал выбор.
Остановлюсь на NAS c RAID5.

То есть копии, которые если и понадобятся, то раз в квартал, будут размещены на сервере постоянно. И к тому же, все вместе, со всеми вытекающими последствиями.

Sergey4565
на каком-нибудь линухе, или другой нестандартной ОС

И с каких это пор POSIX-совместимые системы стали у нас "нестандартными"? Операционные системы, на которых держится Интернет - "нестандартные"? Ну как-то не ожидал от Вас такого. ;)

ReBeat
Ха-ха!!!

Ха-ха-ха!!! ;)

Ну а рекомендовать Seagate после ихних глобальных фейлов-иначе как диверсией не назовешь.

Что за фэйлы, можно ссылочку?

Пользую исключительно WD

В каком количестве (сотни, тысячи)?

Кстати, у меня осталось одно забавное поделие от WD, HDD WD3200BMVS, это винт ноутбучного форм-фактора. Так вот, если с ним работать постоянно, то всё ОК, а если сделать перерыв на пару недель или больше, то некоторые файлы уже не удаётся скопировать. Но достаточно его в очередной раз продрать низкоуровневым форматированием - и он вновь чист и свеж, и быстр и скор и безошибочен. До очередного длительного перерыва в работе. Ха-ха!!! - говорят в таких случаях специалисты. ;)

123Max

Не нужно ерничать.Все же отлично гуглится. Вот почитайте и комментарии к статье. И ВОТ


Вы так и не ответили на вопрос: Рекомендуете HGST,но против WD.Вы в курсе что это одно и то же?

В каком количестве (сотни, тысячи)?

5 шт. в личном пользовании и более 10 установленных знакомым.

ReBeat
Ха-ха!!!

ReBeat
Не нужно ерничать.

Да, вопрос-то серьёзный, если что случись, то alexis69 будет не до смеха.

Все же отлично гуглится. Вот почитайте и комментарии к статье.

Я сунулся в Яндекс с фразой "массовые сбои seagate", первой в выдаче была ссылка на статью в CNEWS с упоминанием... той же самой статистики от Backblaze. Да, в 2012 году была выпущена партия дисков с браком. Брак порой бывает у самых именитых фирм, например, если ближе к тематике форума, у Yaesu VX-6R одно время была массовая проблема с фильтром ПЧ.

alexis69

Отсюда мораль - перед закупкой оборудования прошерстить IT-новости на предмет подобного.

ReBeat
Вы так и не ответили на вопрос: Рекомендуете HGST,но против WD.Вы в курсе что это одно и то же?

Ну Вы сами посудите: если акционеры одной компании купили другую, а подразделения разработчиков остались там и там в прежнем виде, как это может быть одно и то же?

5 шт. в личном пользовании и более 10 установленных знакомым.

Хорошая статистика, но недостаточно репрезентативная, чтобы рекомендовать в продакшн.

Ну а рекомендовать Seagate после ихних глобальных фейлов-иначе как диверсией не назовешь.

Что за фэйлы, можно ссылочку?

7200.11 это раз.
ST3000DM001 и им подобные, от 1Тб и выше, работают около 20 тыс часов, потом начинаются проблемы ввиде "пластинки от патефона". Причём разваливаться они начинают с конца. Если не форматировать последние 2-3%, то риск снижается. Возле центра диска скорость воздушного потока недостаточная, чтоб удерживать головку от соприкосновения с поверхностью.
Про более новые инфы нет, но если не поменяли конструкцию и "аэродинамику", то будет тоже самое.
(Это мой личный вывод на основе диагностики десятка таких проблемных дисков и разборки "на магнитики")

И с каких это пор POSIX-совместимые системы стали у нас "нестандартными"?
С точки зрения "лузера" и вирусописателя.
Пользователей Linux на ПК мало, а те что имеются, на "развод" не поведутся :) Про QNX и МСВС вообще промолчу :)
Зато пользователей Виндов и Андроидов не "разводит" только ленивый.
С трудом представляю админа, который весь серверный софт качает с непонятного трекера, где всё обвешано баннерами с титьками :-)))

Sergey4565
Про более новые инфы нет, но если не поменяли конструкцию и "аэродинамику", то будет тоже самое.

Про ST3000DM001 пишут, что есть две основные неисправности: сбой кэша и слабые/некачественные головки. Что интересно, отмечалось, что модели 2 Тб и 4 Тб работают нормально. Спасибо за инфу.

alexis69

С Сигейтами, к сожалению, стала твориться неведомая фигня, на всякий случай вычёркиваем. ;)

Про ST3000DM001 пишут, что есть две основные неисправности: сбой кэша и слабые/некачественные головки.
У "моих" диагноз и история болезни одинаковые - сначала на последних гигабайтах появляются медленные секторы, потом их количество растёт, часть уходит в ремап, потом диск начинает издавать нехорошие звуки и уже не определяется. Вскрытие показало пропиленную канавку вокруг вала двигателя. Наработка у всех была около 20000 часов. Диски от 1Тб (тоненькие), до 3Тб (3 пластины).
Диски снятые с эксплуатации (примерно в 2015 году), после появления ремапов, и с отрезанной областью в конце, использую под хлам с торрентов, количество ремапов расти перестало, но включаются они нечасто.