Verschlüsselte NAS

Ich überlege mir einen eigenen Tower zu bauen, welcher nur Speicherplatz zur Verfügung stellen soll. Auf dem System soll ein Storage und Backupsystem laufen. Insgesamt soll das System etwa 200tb Umfassen. Wird einmal etwas darauf geschrieben, wird es kaum verändert und wird danach meistens nurnoch „lesend“ verwendet. Bei Nichtnutzung wird es heruntergefahren.

Jetzt kommen wir zum Problem. Ich will das ganze in einem RAID laufen lassen und es muss mit Veracrypt (für maximale Sicherheit) verschlüsselt werden.
Nun meine Fragen:
Wie setze ich es am besten um?
Sollte ich lieber ein Softwareraid nutzen oder ein Hardwareraid?
Wie merke ich, ob eine HDD ausfällt und kann ich diese dann einfach austauschen? Wird bei einem austausch es automatisch synced?

  1. Einige tausend Euro beiseite legen, wenn es netto im Ergebnis 200TB Speicherplatz sein sollen! Da du dafür z.B. bei RAID1 brutto 400TB an Speicher einsetzen müsstest, um die Redundanz erzielen zu können.
  2. Da Raid-Systeme und deren Einsatzplanung schon fast eine Wissenschaft für sich sind, solltest du dich VORHER erst einmal in die Thematik einlesen. Als ganz grobe Grundlage, könntest du hier einmal reinschauen → https://www.tecchannel.de/a/raid-im-ueberblick-grundlagen-raid-0-bis-7,401665 Ist wirklich nur angerissen dort, da nur ein paar gängige RAID-Level dort zur Sprache kommen. Derer Level gibts nämlich noch sattig mehr

Die etwas irreführenden Begriffe Hard- beziehungsweise Software-RAID - letztlich benötigen beide Varianten zum Betrieb Software - beziehen sich auf die Art und Weise der Implementierung.

Beim Software-RAID übernimmt eine auf der CPU des Hosts laufende Software die Steuerung des Plattenverbunds. Oft bringt bereits das Betriebssystem entsprechende Komponenten mit. So beherrschen Windows Vista und XP sowohl RAID 0 als auch RAID 1 und 5 - letztere allerdings nur in der Server-Version. Linux verwaltet generell Arrays der Level 0, 1, 4 und 5 sowie ab Kernel 2.6 auch solche des Levels 6.

Software-RAID stellt also meist die preisgünstigste und einfachste Lösung dar. Zudem lässt es sich - etwa per Prozessor-Upgrade am Host - relativ schnell an erhöhte Anforderungen anpassen. Andererseits verursacht es eine hohe CPU-Belastung und arbeitet naturgemäß plattform- und betriebssystemgebunden. Auch stehen zur Ansteuerung der Laufwerke meist nur zwei oder vier Anschlüsse zur Verfügung. Dies beschränkt die mögliche Parallelisierung der Plattenzugriffe und damit auch die Performance.

Dagegen übernimmt bei Hardware-RAID ein eigener Controller die Ansteuerung des Arrays. Das bringt eine Entlastung der Host-CPU und eine höhere Performance mit sich. Zudem binden RAID-Controller die Laufwerke über mehrere Kanäle an, was gleichzeitige Laufwerkszugriffe und damit hohe Transferraten ermöglicht. Dafür gilt es aber, einen deutlich höheren Preis zu zahlen. Hardware-RAIDs arbeiten zwar plattformunabhängig. Auch sie benötigen aber zur Verwaltung Software, die natürlich auf ein bestimmtes Betriebssystem zugeschnitten ist.

Bei deiner geplanten Speichermenge ist ein Hardware-RAID unumgänglich! Alleine ein vernünftiger Controller wird allerdings mit 700 - 1500€ (je nach Hersteller und Ausstattung) zu Buche schlagen!

Diese Fragen beantworten sich dadurch, welches RAID-Level zu einsetzt! Allerdings zeigt die Frage auch, dass du wohl momentan null Plan von der ganzen Materie hast…

Fertig konfektionierte RAID-Systeme mit weniger Speicher, wie z.B. das SANDISK PROFESSIONAL SANDISK PROF HDD G-RAID SHUTTLE 8 160TB SDPH48H-160T-MBAAB
schlagen mal eben mit knapp 13.000€ ein. Was bei den ganzen Komponenten auch kein Wunder ist!

Siehe → https://www.jacob.de/produkte/sandisk-professional-sandisk-sdph48h-160t-mbaab-artnr-7692583.html

Alleine schon die HDDs für 200TB Netto-Speicherplatz, belaufen sich bei RAID1 die extra NAS-Festplatten hier im Beispiel (20 Stück bei RAID1) auf insgesamt 9.180 Euro

Siehe z.B. hier → https://www.notebooksbilliger.de/seagate+ironwolf+pro+20tb+35+zoll+sata+6gbs+rescue+746993
Und die sind schon reduziert! :wink:

Du wärst also bei Controller + HDDs schon bei ca. 10.000€ Hinzu kommt noch die Hardware eines hochpreisigen PC bzw. einer Workstation → Mainboard + CPU + RAM + SSD (Fürs OS und Verwaltung) + Netzteil(e) und einen Tower, der mal eben 40 Platten aufnimmt…

Muss ja jeder selber wissen, was ihm ein Storage wert ist!!! :wink:

Du solltest mal erzählen, was das genaue Einsatzgebiet sein soll.

Cryptomator funktioniert mit jeder Cloud, die mit einem Ordner im Dateisystem synchronisiert werden kann. :+1:

Nun ja…aber das war nicht das Anliegen des User oben. Er will ja nun mal eine Büchse bauen nach seinen Vorstellungen!

BTW: Wenn man sehr viele Google Drives hat, die unlimited sind :innocent: und diese gerne mit sensiblen Daten füllt, kann ich auch AxCrypt-Premium zum Schutz echt empfehlen!

Will er das? Er überlegt ja noch.

Das war der Gedanke! Voll billig! Und im Gegensatz zu anderen Verschlüsselungsprogrammen wie VeraCrypt speichert Cryptomator die Dateien nicht in einer großen Containerdatei, sondern in einzelnen Dateien. Dadurch können sie dann einfacher mit einer Cloud synchronisiert werden; es muss nicht bei jeder Änderung der gesamte Datenbestand des Tresors neu hochgeladen werden.

– no comment –

0

:thinking:

Geplant war ein Raid 1 mit 22x22tb Platten und einer epyc CPU sowie 256gb ram.

Da ich aber von Raid Systemen keine Ahnung habe, wollte ich mich vorher informieren, bevor ich was dummes mache. Auch wie ich das Raid System mit veracrypt verschlüsseln kann, ist mir (leider) nicht vollends klar.

10-15k ist mir das ganze schon Wert, sofern ich

  1. Eine Ausfallsicherheit habe und meine Daten nicht verliere
  2. Das Teil vollverschlüsselt ist und ich es an- und ausmachen kann, wann ich es brauche.

Und dann willst du das alles selbst administrieren? I salute your optimism! Was hast du eigentlich genau vor?

Da ich Photograph bin, meine Gesamten Werke speichern. Aktuell ist es verrückt verteilt auf vielen Festplatten.

Da bietet sich doch eine gängige Cloud-Lösung an! 200 TB brauchst du im Leben nicht. Und mit dem erwähnten Cryptomator verschlüsselst du alles.

Wer garantiert mir, dass der Anbieter nicht morgen pleite geht. So hab ich meine Daten lokal und offline.

Könnten wir bitte wieder zum eigentlichen Thema zurück kommen?

Google wird nicht pleite gehen, da raucht dir eher deine selbstgebaute Lösung ab. Lies dir durch was Vip geschrieben hat, wenn du tatsächlich selbst bauen willst. Aber ehrlich gesagt, rate ich dir davon ab!

Wieviel kostet 200tb monatlich bei Google Drive?

Du brauchst keine fixen 200 Tb. Das geht dynamisch. Wenn du mehr brauchst, gibt es mehr.

https://www.google.com/intl/de/drive/

https://nextcloud.com/de/

https://www.strato.de/cloud-speicher/deutsche-cloud-anbieter/

Ich hab dir doch meine genauen Anforderungen genannt, aus welchem Grund, versuchst du mir die „CLOUD“ vorzuschlagen, wenn ich doch nur ein LOKALES (Ich betone extra nochmal das Wort LOKAL) System haben will?

Du hast doch gefragt! Aber wenn du unbedingt selber bauen willst, dann bau! Durch Schaden wird man klug.

Ich woltle dir damit den Vergleich ziehen. In mein System muss ich nur einmal eine Summe x investieren. Bei Festplattenproblemen natürlich eine neue besorgen.

Bei der Cloud muss ich, wenn ich es mir nochmal ansehen will, erstmal alles herunterladen. Danach kommen die monatlichen Kosten dazu. Mein System soll eine lange Laufzeit haben und ich habe extra viel Speicher angegeben, weil ich mit vorraussicht das baue, damit ich es lange nutzen kann, ohne dass ich mir jedes Jahr was neues überlegen muss, weil mir der Speicher ausgegangen ist.

Wie gesagt, mach! Vip hat ein paar gute Ideen geliefert.

Fixkosten sind eine Sache, Datensicherheit eine andere, und das ist der Punkt, an dem dein Szenario scheitert.

Edit:
guck dir auch mal an, was du aktuell gespeichert hast und was das an Platz belegt.

https://www.kuketz-blog.de/nextcloud-auf-dem-raspberry-pi-nextcloudpi-teil1/

…ok
Fehlen nur noch Mainboard und SSD und RAID-Controller…außer, wenn du ein passendes Board zu dem EPYC-Prozzi nimmst, also Server-CPU und Server-Mainboard - sollte ein RAID-Controller an Bord sein! Stellt sich aber die Master-Frage der Anzahl der Anschlüsse (Datenleitungen) und der kompletten Stromversorgung. Hinzu kommt auch noch eine redundante Netzwerkanbindung, einmal als quasi Steuerleitung zur allgemeinen Verwaltung des Gerätes und einmal als reine Datenleitung.
Und was die wenigsten bedenken, ist eine verdammt gute Kühlung, die auch noch mit rein muss. Und das alles dann final in ein Gehäuse gequetscht.

Im Ergebnis hättest du dann einen potenten Server mit eigenständigen OS (Windows-Server oder Linux) auf der SSD. Dort wird auch die Crypto-Software installiert, die auf deinen RAID-Verbund zugreift. Du musst dir diesen RAID-Verbund einfach wie ein internes Laufwerk (z.B. D:) vorstellen. Ob dieses nun, wie in einem normalen PC event. 1 TB hat oder bei dir dann 200 TB im RAID1, spielt dabei (verwaltungstechnisch) keine große Rolle…

Das ist erstmal so eine grobe Einschätzung zur Technik / Hardware an sich.

Auch wenn du handwerklich sehr geschickt wärst, muss klar sein, dass jeder blöde Fehler echt teuer oder im schlimmsten Fall auch unumkehrbar werden kann!!

Hast du dich vielleicht auch mal mit dem Gedanken beschäftigt, solch eine lokale Speicherlösung (NAS / SAN etc.) auch fertig vorkonfektioniert bei einem Systemhaus zu erwerben??
Ein Systemhaus / IT-Consulting würde dich für deine Aufgabenstellung entsprechend beraten, dir die Hardware liefern und dich ins System einweisen. Natürlich machen die so etwas nicht umsonst. Aber andererseits ist das in der Netzwerktechnik Tagesgeschäft und letzten Endes (ein wichtiger Punkt dabei!!) geht es auch um Garantien, Gewährleistungen im Falle eines GAU !!
Wenn du solch ein System selber baust und administrierst, quasi von A bis Z, dann bist du immer bei technischen oder logischen Problemen auf dich selber angewiesen. Dann passiert es zumeist sowieso, dass man sich an Fachleute wendet, um die Karre nicht noch mehr in den Dreck zu ziehen…

Wenn dir die Preise eines solchen Systems bewußt sind und du beruflich / finanziell auf diese Daten und deren Sicherheit / Verfügbarkeit angewiesen bist, wäre vllt. eine professionelle Begleitung von Anfang an echt ratsam!?!