Клубный форум - обо всем, кроме радио
  · Форум про радио здесь! · LPD-Форум · Копилка
  · Наш магазин · Объявления · Рейтинг · Файлы
На сайте: гостей - 33,
участников - 3 [ meteorolog, СЦБист, Плохиш]
 · Начало · Статистика · Поиск · Регистрация · Правила ·
 Клубный Форум —› Компьютеры, сети, программы —› NAS, HDD, Стример?
 Страница:  1  2  »»Поиск в теме
Автор Сообщение
alexis69
Участник
Offline3.1
с окт 2007
Городец
Сообщений: 257

Дата: 24 Апр 2019 20:21:53 · Поправил: alexis69 (24 Апр 2019 20:23:04) #  

Руководство поставило задачу.
Нужно хранилище для хранения информации в течение пяти лет.
(ежедневные архивные копии 1С)
Прогнозируемый годовой объем в районе не менее 5Тб. Итого, на 5 лет надо не менее 25 Тб
Мне пришли в голову 3 варианта хранения.
1) Стример.
- Не знаю я их.
- Ценник совсем не гуманный. И это даже не за сетевой, а за встраиваемый вариант.
- Не знаю, какие есть плюсы и минусы у этого варианта хранения.
2) NAS.
Избыточен. Так что подойдет самый дешевый. Но учитывая что нужен RAID 5 и то, что объем хранилища должен быть не менее 25 ТБ - требуется хранилище с 4-5 слотами под диски. А это сразу выводит NAS из бюджетного сегмента.
По прикидкам - сразу же придется выложить не менее 100 тыс руб. Даже ближе к 150 тыс.
За эти деньги я буду иметь что то типа Synology DS418 снаряженного 8 ТБ дисками (WD red или Seagate IronWolf)
Возможности такого хранилища будут сильно избыточны, но зато есть надежда, что нужные данные будут в сохранности весь указанный срок.
К тому же я устраняю компьютер на котором хранятся архивные копии в течение месяца. Сервер будет сразу создавать копии на NAS.
3) Единичный HDD
Каждый год покупается HDD объемом 4-6 Тб. Диск устанавливается в рэк. Так что установить или заменить диск вопрос пары секунд.
Единовременно надо выложить совсем смешную, по сравнению с другими вариантами сумму.
Алгоритм использования - раз в месяц диск устанавливается в рэк и на него сбрасывается месячный архив. Потом по факту заполнения - диск отправляется в реальный архив, где он и хранится в течение 5 лет.
Как бы очень выгодный вариант для хранения данных. И не надо никакой избыточности при покупке дисков. На вырост покупать не надо. Ну закончился диск раньше - просто поставил новый и все.
(если raid в nas будет забит под завязку. я даже и не знаю что делать. разве что стирать старые данные и надеяться, что они не понадобятся.)
Но... Нет никакого резервирования информации. Если по каким то причинам диск помрет - данные за год будут потеряны. Использовать два диска (второй для дублирования)? Нет, конечно можно, но как то это совсем не... В общем - мне это не нравится.
А еще (на уровне ОБС) - ходят слухи, что не все диски больших объемов заработают и выдадут сохраненные данные после 5 лет хранения.

В итоге так и и не решил. Какой же вариант использовать.

p.s. кто нибудь знает про NAS Drobo вообще и Drobo 5N2 в частности?
Производитель у нас совсем не популярный и расширенной информации нет. А очень бы хотелось знать о надежности хранилищ этого производителя. Да и возможных глюках, о которых обычно не пишут в обзорах.
Просто, по ряду возможностей хранилище Drobo 5N2 выглядит даже лучше хранилища от Synology.
Но останавливает то, что в наших краях это темная лошадка. Найти что то по результатам длительной эксплуатации - не реально.
Может эти Drobo дохнут как мухи от дихлофоса? Кто его знает?
123Max
Участник
Offline1.3
с июл 2007
55.6, 37.3 50RS108
Сообщений: 846

Дата: 24 Апр 2019 21:43:59 · Поправил: 123Max (24 Апр 2019 21:44:43) #  

alexis69
Нужно хранилище для хранения информации в течение пяти лет.
(ежедневные архивные копии 1С)
Прогнозируемый годовой объем в районе не менее 5Тб. Итого, на 5 лет надо не менее 25 Тб


Насколько часто будут использоваться копии? Необходим доступ к какой-то одной или нескольким одновременно? Сколько времени отводится на восстановление данных? Насколько они ценны, есть ли необходимость защищать их от стихийных бедствий: пожаров, наводнений, действий контролирующих органов?
Реклама
Google
Kilim
Участник
Offline3.1
с окт 2013
Белгородская область
Сообщений: 2172

Дата: 24 Апр 2019 21:44:41 #  

alexis69
А еще (на уровне ОБС) - ходят слухи, что не все диски больших объемов заработают и выдадут сохраненные данные после 5 лет хранения.
Были случаи когда жестяки пролежавшие энное количество времени в "тепличных" условиях пару лет потом не запускались по электронике. Если память не изменяет - терабайтники.

Я бы поставил NAS + жестяк для сохранения копии архива каждый месяц.
Пусть лучше будет железная избыточность сервера, чем сердечная недостаточность у админа, когда что-нибудь в компе загнется и потеряется информация... :)
Sergey4565
Участник
Offline4.6
с сен 2007
Москва
Сообщений: 2126

Дата: 24 Апр 2019 23:52:48 · Поправил: Sergey4565 (24 Апр 2019 23:58:05) #  

1) Стример.
- Не знаю я их.
- Ценник совсем не гуманный. И это даже не за сетевой, а за встраиваемый вариант.
- Не знаю, какие есть плюсы и минусы у этого варианта хранения.

Если кассет меньше сотни - не имеет смысла.
Были проблемы с чтением (хоть и не часто), вплоть до жёванной ленты, разборки и возни со скотчем. Последующее считывание в полном объёме не гарантируется...

3) Единичный HDD
Каждый год покупается HDD объемом 4-6 Тб. Диск устанавливается в рэк. Так что установить или заменить диск вопрос пары секунд.
Единовременно надо выложить совсем смешную, по сравнению с другими вариантами сумму.
Алгоритм использования - раз в месяц диск устанавливается в рэк и на него сбрасывается месячный архив. Потом по факту заполнения - диск отправляется в реальный архив, где он и хранится в течение 5 лет.

Даже проще - коробка USB - SATA. Прочитать потом на любом компе можно.
Для избыточности можно архивировать Винраром с добавлением информации для восстановления, тогда даже битые секторы не страшны.
Чтоб диск совсем не запускался после хранения - такого у меня ещё не случалось. (если во время "хранения" его не швыряли)
Дмитрий-К
Участник
Offline1.6
с фев 2012
Краснодар
Сообщений: 29

Дата: 25 Апр 2019 08:46:02 #  

Присмотритесь к магнитооптическим дискам.
Был у меня такой в 90-х годах.
alexis69
Участник
Offline3.1
с окт 2007
Городец
Сообщений: 257

Дата: 25 Апр 2019 09:19:30 · Поправил: alexis69 (25 Апр 2019 09:23:21) #  

123Max
Насколько часто будут использоваться копии? Необходим доступ к какой-то одной или нескольким одновременно? Сколько времени отводится на восстановление данных? Насколько они ценны, есть ли необходимость защищать их от стихийных бедствий: пожаров, наводнений, действий контролирующих органов?
- Насколько часто будут использоваться копии?
От редко, до совсем редко. Но не чаще 1 раза в квартал. Это мой опыт говорит. В среднем где то раз в пол года.
- В 99,999% - доступ нужен всего к одному файлу. Объем которого на текущий момент составляет 7,3 Гб (столько весит один бэкап со сжатием выполненyый sql сервером. без сжатия это более 100 Гб)
- мне еще не приходилось восстанавливать систему после краха (3 раза постучал по дереву). Копии использовал для развертывания второй базы для тестов и других не оперативных мероприятий.
Но даже в случае краха - вполне можно потратить на восстановление 2 часа. Люди будут ругаться, но терпимо.
У меня сейчас на развертывание базы уходит чуть менее часа. Причем 75% времени это время пересылки по сети архива с компьютера хранения на сервер.
(к сожалению, у меня у циски основные порты 100 мбит. Поэтому и сеть 100 мбит)
- Насколько ценны копии? Скажем так. максимальную ценность имеют копии за последнюю неделю. Они "золотые". Далее - ценность бэкапов падает в геометрической прогрессии.
- Конечно хотелось бы защитить бэкапы от пожара. Но опять же, это касается одного дня - недели. При потере старых копий - вполне подойдет термин форсмажер.
- А вот вопрос про контролирующие органы вызвал у меня истерический смех.
Дело в том, что как раз после посещения нас следователями у руководства и возникло требование долговременного хранения архивных данных.
Люди пришли и затребовали актуальную копию данных а также все архивы за период с начала 2018 года.
А у нас на текущий момент хранятся архивы только за месяц. Т.к. для всех вариантов использования бэкапов - больший срок был избыточен (до последнего момента.
(законодательство ничего не говорит про хранение элоектронных архивов если не используется электронный документооборот. а у нас используется до сих пор бумажный документооборот)
alexis69
Участник
Offline3.1
с окт 2007
Городец
Сообщений: 257

Дата: 25 Апр 2019 09:32:35 · Поправил: alexis69 (25 Апр 2019 09:33:11) #  

Sergey4565
Для избыточности можно архивировать Винраром с добавлением информации для восстановления, тогда даже битые секторы не страшны.
Здесь риск не потери части данных на одном диске, а то, что весь диск умрет при хранении.
Просто возьмет и перестанет работать. Он лежал и его не роняли, но через несколько лет он вдруг взял и откинул кони.

Дмитрий-К
Присмотритесь к магнитооптическим дискам.
А эта технология до сих пор жива?
И что? На текущий момент на таком диске можно сохранить более террабайта данных?
А цена вопроса? Новые стримеры, например, стоят не менее 250 - 300 тысяч.
Думаю, что гипотетическая магнитооптика будет стоить дороже.
Дмитрий-К
Участник
Offline1.6
с фев 2012
Краснодар
Сообщений: 29

Дата: 25 Апр 2019 09:54:22 · Поправил: Дмитрий-К (25 Апр 2019 10:04:16) #  

цена диска 1,3 Gb приблиз-но ок 5 т/руб. Существуют библиотеки дисков.
Дешевле (и проще), наверное, будет полка (rack-mount) с RAID-массивом.
rn9aaa
Участник
Offline3.7
с авг 2005
ХМАО-Югра
Сообщений: 200

Дата: 25 Апр 2019 13:31:05 #  

alexis69
IHMO
Тут как не пляши, но для 25Тb - за "надежное" решение 150т.р. это весьма бюджетно и если влазите в эту сумму то хорошо.
alexis69
Участник
Offline3.1
с окт 2007
Городец
Сообщений: 257

Дата: 25 Апр 2019 13:47:39 #  

rn9aaa
за "надежное" решение 150т.р. это весьма бюджетно и если влазите в эту сумму то хорошо.
Влазить то я влажу.
А вот насколько надежен будет nas DS418 + 4 HDD серии для NAS (WD red)?
(диски сконфигурированы в RAID 5)
Дело в том, что меня поставщик оборудования стал отговаривать от использования RAID 5 (ну или SHR) в NAS.
У человека большой опыт обслуживания компьютеров/серверов. И он говорит что знает несколько случаев когда массив рассыпался, не смотря на то, что вышел из строя всего один диск. Логика рэйд контролера что то не так отработала и в результате получилась полная потеря данных.
Правда, человек не работает с NAS и по ним таких случаев не знает.
Но как бы по аналогии (там и здесь - RAID 5) - предупреждает.
123Max
Участник
Offline1.3
с июл 2007
55.6, 37.3 50RS108
Сообщений: 846

Дата: 25 Апр 2019 13:51:22 #  

alexis69

В таком случае, скорее всего, подойдёт пункт под номером 3 (Единичный HDD). Диск, подключается через USB-адаптер или устанавливается в отдельную рабочую станцию, на него копируется свежая резервная копия (получается копия копии), сам диск должен быть от нормального производителя, такого как HGST, Seagate, Toshiba (и конечно, никаких Western Digital и т.д.), объёмом 2 - 3 терабайта, через каждые 4 - 6 месяцев сдавать в архив и ставить новый. Если совсем заморочиться, то можно раз в пол-года забирать их из архива и включать на час - два, заодно можно выборочно проконтролировать целостность данных.
rn9aaa
Участник
Offline3.7
с авг 2005
ХМАО-Югра
Сообщений: 200

Дата: 25 Апр 2019 19:32:02 · Поправил: rn9aaa (25 Апр 2019 19:34:44) #  

А вот насколько надежен будет nas DS418 + 4 HDD
RAID 5 имеет среднею надежность, следующий шаг RAID 6 и например 5 HDD(можно и 4 это минимум но например по 14 Тb для ваших 25Tb) надежность выше цена больше. Короче чем выше отказоустойчивость системы тем нужен более толстый кошель.
Sergey4565
Участник
Offline4.6
с сен 2007
Москва
Сообщений: 2126

Дата: 25 Апр 2019 19:55:41 #  

А потом, в случае поломки самого контроллера, RAID "превращается в тыкву". И возникает проблема - как прочитать диски...
Дмитрий-К
Участник
Offline1.6
с фев 2012
Краснодар
Сообщений: 29

Дата: 26 Апр 2019 08:16:03 · Поправил: Дмитрий-К (26 Апр 2019 08:18:35) #  

Существуют и контроллеры с резервированием. Всё дело в цене вопроса, изучаем предложение
alexis69
Участник
Offline3.1
с окт 2007
Городец
Сообщений: 257

Дата: 26 Апр 2019 11:22:11 #  

Ну ладно. Вроде бы сделал выбор.
Остановлюсь на NAS c RAID5.

Но появился еще один вопрос.
Хотелось бы защитится от вируса шифровальщика.
Как это сделать?
Самое простое, чтобы избежать поражения архивов вирусом шифровальщиком - необходимо обеспечить доступ к папке на nas по паролю
Но в таком случае я не вижу возможности как с помощью bat(ника)/скрипта обеспечить копирование в папку с авторизацией.
Нигде не встречал командные файлы с авторизацией.
Есть какие нибудь предложения, как решить вопрос авторизации в командном файле?

Ну или как то по другому защититься от шифровальщика, но с условием, что в расшареную папку файлы будут копироваться командным файлом.

p.s. есть у меня одно предположение. Но сработает ли?
Смысл в том, что расшареной папке гостю назначаются права только запись. Т.е. любой может записать файл.
А вот полные права даются авторизированному пользователю.
Шифровальщик не может прочитать файл и поэтому его не может зашифровать.
Но сработает ли такой подход?
Sergey4565
Участник
Offline4.6
с сен 2007
Москва
Сообщений: 2126

Дата: 26 Апр 2019 11:34:12 #  

Смысл в том, что расшареной папке гостю назначаются права только запись. Т.е. любой может записать файл.
А вот полные права даются авторизированному пользователю.
Шифровальщик не может прочитать файл и поэтому его не может зашифровать.
Но сработает ли такой подход?

Интересная идея.
Но есть и другой вариант, правда с дополнительным компом (на каком-нибудь линухе, или другой нестандартной ОС), который забирает БД из сети и сам пишет в архив, доступ к архиву только с него.
Дмитрий-К
Участник
Offline1.6
с фев 2012
Краснодар
Сообщений: 29

Дата: 26 Апр 2019 11:40:13 · Поправил: Дмитрий-К (26 Апр 2019 11:42:22) #  
alexis69
Участник
Offline3.1
с окт 2007
Городец
Сообщений: 257

Дата: 26 Апр 2019 12:09:40 #  

авторизация через коммандную сторку -- powershell
Через динамическое создание сетевого диска?
Хмм. Не сообразил. Надо будет попробовать.
Дмитрий-К
Участник
Offline1.6
с фев 2012
Краснодар
Сообщений: 29

Дата: 26 Апр 2019 12:35:20 #  

Вообще-то скопировал, отключился (логически). И вирус не пройдет, если не открыть ему дверь.
alexis69
Участник
Offline3.1
с окт 2007
Городец
Сообщений: 257

Дата: 27 Апр 2019 19:31:04 · Поправил: alexis69 (28 Апр 2019 10:11:12) #  

Что то лыжи не едут.
Не удается из командной строки подключить сетевой диск с авторизацией.
В проводнике создается без проблем. А если через cmd файл - вылазит ошибка:
системная ошибка 55 сетевой ресурс или устройство более недоступно.

Вот строка которая прописана в *.cmd
net use q: \\ds118\homes\public /user:xxx(это логин) yyyy(это пароль)

Пробовал дома на win 7, пробовал на работе на win server 2012. Везде одно и то же :(

UPD
Сам сочиняю, сам пою
Команда должна выглядеть так: net use q: \\ds118\homes /user:xxx(это логин) yyyy(это пароль)
т.е. без паблика
ReBeat
Участник
Offline2.9
с окт 2008
Рядом
Сообщений: 169

Дата: 28 Апр 2019 12:18:26 · Поправил: ReBeat (28 Апр 2019 12:22:57) #  

123Max

сам диск должен быть от нормального производителя, такого как HGST, Seagate, Toshiba (и конечно, никаких Western Digital и т.д.),

Ха-ха!!!Рекомендуете HGST,но против WD.Вы в курсе что это одно и то же?Ну а рекомендовать Seagate после ихних глобальных фейлов-иначе как диверсией не назовешь.

PS.Пользую исключительно WD.Самый старый ихний винт(WD My Book 1 Tb) живет с 2009 г.
Kilim
Участник
Offline3.1
с окт 2013
Белгородская область
Сообщений: 2172

Дата: 28 Апр 2019 14:11:06 #  

ReBeat
Ну а рекомендовать Seagate после ихних глобальных фейлов-иначе как диверсией не назовешь.

На вкус и цвет все карандаши разные, но Seagate, точно, вредители! :(
Дмитрий-К
Участник
Offline1.6
с фев 2012
Краснодар
Сообщений: 29

Дата: 29 Апр 2019 09:03:10 #  
alexis69
Участник
Offline3.1
с окт 2007
Городец
Сообщений: 257

Дата: 29 Апр 2019 11:19:28 #  

Дмитрий-К
команнда AT
Да нет. Обойдусь (вернее обхожусь) без этой команды.
Все делается силами sql server(а). Благо, что его агент умеет запускать командные файлы
123Max
Участник
Offline1.3
с июл 2007
55.6, 37.3 50RS108
Сообщений: 846

Дата: 29 Апр 2019 17:50:06 #  

alexis69
Ну ладно. Вроде бы сделал выбор.
Остановлюсь на NAS c RAID5.


То есть копии, которые если и понадобятся, то раз в квартал, будут размещены на сервере постоянно. И к тому же, все вместе, со всеми вытекающими последствиями.

Sergey4565
на каком-нибудь линухе, или другой нестандартной ОС

И с каких это пор POSIX-совместимые системы стали у нас "нестандартными"? Операционные системы, на которых держится Интернет - "нестандартные"? Ну как-то не ожидал от Вас такого. ;)

ReBeat
Ха-ха!!!

Ха-ха-ха!!! ;)

Ну а рекомендовать Seagate после ихних глобальных фейлов-иначе как диверсией не назовешь.

Что за фэйлы, можно ссылочку?

Пользую исключительно WD

В каком количестве (сотни, тысячи)?

Кстати, у меня осталось одно забавное поделие от WD, HDD WD3200BMVS, это винт ноутбучного форм-фактора. Так вот, если с ним работать постоянно, то всё ОК, а если сделать перерыв на пару недель или больше, то некоторые файлы уже не удаётся скопировать. Но достаточно его в очередной раз продрать низкоуровневым форматированием - и он вновь чист и свеж, и быстр и скор и безошибочен. До очередного длительного перерыва в работе. Ха-ха!!! - говорят в таких случаях специалисты. ;)
ReBeat
Участник
Offline2.9
с окт 2008
Рядом
Сообщений: 169

Дата: 29 Апр 2019 18:54:07 · Поправил: ReBeat (29 Апр 2019 19:09:38) #  

123Max

Не нужно ерничать.Все же отлично гуглится. Вот почитайте и комментарии к статье. И ВОТ


Вы так и не ответили на вопрос: Рекомендуете HGST,но против WD.Вы в курсе что это одно и то же?

В каком количестве (сотни, тысячи)?

5 шт. в личном пользовании и более 10 установленных знакомым.
123Max
Участник
Offline1.3
с июл 2007
55.6, 37.3 50RS108
Сообщений: 846

Дата: 29 Апр 2019 19:49:40 · Поправил: 123Max (29 Апр 2019 19:50:47) #  

ReBeat
Ха-ха!!!

ReBeat
Не нужно ерничать.

Да, вопрос-то серьёзный, если что случись, то alexis69 будет не до смеха.

Все же отлично гуглится. Вот почитайте и комментарии к статье.

Я сунулся в Яндекс с фразой "массовые сбои seagate", первой в выдаче была ссылка на статью в CNEWS с упоминанием... той же самой статистики от Backblaze. Да, в 2012 году была выпущена партия дисков с браком. Брак порой бывает у самых именитых фирм, например, если ближе к тематике форума, у Yaesu VX-6R одно время была массовая проблема с фильтром ПЧ.

alexis69

Отсюда мораль - перед закупкой оборудования прошерстить IT-новости на предмет подобного.

ReBeat
Вы так и не ответили на вопрос: Рекомендуете HGST,но против WD.Вы в курсе что это одно и то же?

Ну Вы сами посудите: если акционеры одной компании купили другую, а подразделения разработчиков остались там и там в прежнем виде, как это может быть одно и то же?

5 шт. в личном пользовании и более 10 установленных знакомым.

Хорошая статистика, но недостаточно репрезентативная, чтобы рекомендовать в продакшн.
Sergey4565
Участник
Offline4.6
с сен 2007
Москва
Сообщений: 2126

Дата: 29 Апр 2019 21:23:43 #  

Ну а рекомендовать Seagate после ихних глобальных фейлов-иначе как диверсией не назовешь.

Что за фэйлы, можно ссылочку?

7200.11 это раз.
ST3000DM001 и им подобные, от 1Тб и выше, работают около 20 тыс часов, потом начинаются проблемы ввиде "пластинки от патефона". Причём разваливаться они начинают с конца. Если не форматировать последние 2-3%, то риск снижается. Возле центра диска скорость воздушного потока недостаточная, чтоб удерживать головку от соприкосновения с поверхностью.
Про более новые инфы нет, но если не поменяли конструкцию и "аэродинамику", то будет тоже самое.
(Это мой личный вывод на основе диагностики десятка таких проблемных дисков и разборки "на магнитики")

И с каких это пор POSIX-совместимые системы стали у нас "нестандартными"?
С точки зрения "лузера" и вирусописателя.
Пользователей Linux на ПК мало, а те что имеются, на "развод" не поведутся :) Про QNX и МСВС вообще промолчу :)
Зато пользователей Виндов и Андроидов не "разводит" только ленивый.
С трудом представляю админа, который весь серверный софт качает с непонятного трекера, где всё обвешано баннерами с титьками :-)))
123Max
Участник
Offline1.3
с июл 2007
55.6, 37.3 50RS108
Сообщений: 846

Дата: 29 Апр 2019 22:04:58 #  

Sergey4565
Про более новые инфы нет, но если не поменяли конструкцию и "аэродинамику", то будет тоже самое.

Про ST3000DM001 пишут, что есть две основные неисправности: сбой кэша и слабые/некачественные головки. Что интересно, отмечалось, что модели 2 Тб и 4 Тб работают нормально. Спасибо за инфу.

alexis69

С Сигейтами, к сожалению, стала твориться неведомая фигня, на всякий случай вычёркиваем. ;)
Sergey4565
Участник
Offline4.6
с сен 2007
Москва
Сообщений: 2126

Дата: 29 Апр 2019 22:22:08 #  

Про ST3000DM001 пишут, что есть две основные неисправности: сбой кэша и слабые/некачественные головки.
У "моих" диагноз и история болезни одинаковые - сначала на последних гигабайтах появляются медленные секторы, потом их количество растёт, часть уходит в ремап, потом диск начинает издавать нехорошие звуки и уже не определяется. Вскрытие показало пропиленную канавку вокруг вала двигателя. Наработка у всех была около 20000 часов. Диски от 1Тб (тоненькие), до 3Тб (3 пластины).
Диски снятые с эксплуатации (примерно в 2015 году), после появления ремапов, и с отрезанной областью в конце, использую под хлам с торрентов, количество ремапов расти перестало, но включаются они нечасто.
Реклама
Google
 Страница:  1  2  »» 

Создавать сообщения могут только зарегистрированные участники форума.


Войти в форум :: » Логин » Пароль
 
Начало
Рации, приемники, антенны. Радиостанции Motorola, Yaesu, Vertex.
Время загрузки страницы (сек.): 0.037. Поддержка: miniBB / radioscanner © 2004