NAS migration – NLS's Pit

NAS (and Home Server) version 4 (part 6) – Using it for years. A retrospective.

Ένα μικρό post, ίσα ίσα για να ξυπνήσω το κοιμισμένο μου blog και να διαφημίσω την επιλογή που (ξανα)έκανα πριν 3 χρόνια να επιστρέψω στο UNRAID.
Έχοντας για οδηγό το προηγούμενο post (part 5), ουσιαστικά κάνω up-to-date την τότε πληροφορία.

Το array που έφτιαξα πριν 3 χρόνια έχει αναβαθμιστεί αρκετά και την περίοδο αυτού του post έχει φτάσει τα 47TB (usable), αλλά έχω περίπου 6 ελεύθερα.
Οι δίσκοι είναι πια 2 x 8TB (ο ένας είναι ο parity) + 9 x 4TB + 1 x 3TB + 1TB M.2 cache disk. Ουσιαστικά σιγά σιγά άλλαζαν οι 3TB (δυνατότητα που έχεις λόγω UNRAID και χωρίς να αφήνεις unused space λόγω μεγέθους δίσκων) και πριν φύγει ο τελευταίος, μια ζημιά (που έφταιγα) οδήγησε στο να μεταβώ στην υποστήριξη πια έως 8TB δίσκων (αφού το parity έγινε 8ΤΒ, μπορώ σιγά σιγά να αλλάξω όποιο δίσκο θέλω με 5άρη, 6άρη, 8άρη).
Το υπόλοιπο hardware επίσης αναβαθμίστηκε, έχει αρκετά δυνατό CPU (non-server βέβαια), έχει 32GB RAM για να είμαι άνετος με τα (λιγοστά) VM που έχω και ενδιαφέρον έχει ότι έχει πια 10Gbit LAN, σε 10Gbit switch. Βέβαια μόνο το main PC μου “ανταποκρίνεται” με ανάλογο 10Gbit LAN, αλλά αυτό μου αρκεί. Στην πράξη το main PC είναι σαν να χρησιμοποιεί εσωτερικό του δίσκο (συνήθως).
Τα shares ε΄ίναι πια αρκετά οργανωμένα (αν και ειδικά τα προσωπικά δεδομένα, θέλουν πάντα πολύ μάζεμα), τα υπόλοιπα μέλη του σπιτιού έχουν και προσωπικά δικά τους κλπ.
Τα ενεργά (και μη ενεργά αλλά έτοιμα προς χρήση – μου αρέσει να τα ανοιγοκλείνω όταν τα χρειάζομαι τα μη βασικά) docker containers είναι πια αρκετά (σχεδόν 40), η υποδομή εξακολουθεί να βασίζεται σε NethServer (σε αναμονή για NS8 ή αν εμφανιστεί κάτι καλύτερο free, που από ότι έχω δει, δεν περιμένω κάτι).
Ουσιαστικά ότι στο part 4 εμφανίζεται σαν εκκρεμότητα, έχει κλείσει. Κυρίως έχει κλείσει με λύση (ακόμα και καλύτερη από ότι σχεδίαζα), αν και 2-3 non-critical απλά δεν ασχολήθηκα ποτέ.
Δε θα μπω σε παραπάνω λεπτομέρειες. Αν ενδιαφέρει κανέναν, ρωτάει συγκεκριμένα.

Γενικά τη λύση UNRAID + NethServer τη συνιστώ τόσο πολύ, που έχει μπει και σε πελάτη πια. Υπόψη ότι π΄άντα φροντίζω να μαθαίνω (και να δοκιμάζω σε VM) τις εξελίξεις “ανταγωνισμού” στα δυο αυτά προϊόντα, αλλά δεν έχω βρει κάτι ακόμα να με κάνει να πω ότι θα αλλάξω κάτι.

NAS (and Home Server) version 4 (part 5) – Almost Done

Αυτό πιθανότατα είναι το τελευταίο part, αφού μένουν μεν εκκρεμότητες, αλλά το πράγμα έχει πάρει ροή και πιστεύω θα καλυφθούν οι ανάγκες (ή κάποιες θα προσαρμοστούν).

Οι αντιγραφές τελείωσαν. Έγιναν όλες οι μεταφορές από τους δίσκους data που ήταν NTFS (και μετά έμπαιναν στο array με XFS), ο τελευταίος έγινε parity. Είχα κάποια errors αλλά recoverable (περισσότερο transient) και -ΕΚΠΛΗΞΗ- ΚΥΡΙΩΣ από τους δυο Seagate που μου έχουν μείνει (έχω πει ότι δεν θα ξανα-αγοράσω Seagate;…).
Επίσης έκανα mount το παλιό σύστημα (δυο partitions) και πήρα από αυτό ότι “every day” αρχεία είχαν μείνει εκεί (και κάποια setting files που θέλω να έχω φυλαγμένα ακόμα και να μην έχω SBS). Ο δίσκος αυτός (SSD 480GB… θα δω τι θα τον κάνω) και ο 1TB που είχα για backups (και τώρα δεν χρησιμοποιείται αφού τα backups των πιο σοβαρών αρχείων μένουν στο array), έχουν μείνει unmounted μέσα στο μηχάνημα, μέχρι να χρειαστώ το χώρο (να μπουν άλλοι δυο δίσκοι στο array).
Το array είναι στα 27TB με περίπου 8 ελεύθερα, με “συντηρητικούς” δίσκους 3TB. Άρα άνετα μεγαλώνει ΠΟΛΥ περισσότερο, αφού είπαμε έχω δυο κενές θέσεις και μετά από αυτές, μπορώ σιγά σιγά να αντικαθιστώ και με μεγαλύτερους αν θέλω (αυτό είναι το πλεονέκτημα του RAID4… μπορείς να μεγαλώνεις και ένα ένα δίσκο, απλά κρατώντας μεγαλύτερο ή ίσο δίσκο για parity). Αλλά όμως ο χώρος περιέχει μερικά TB που είναι προς καθάρισμα έτσι κι αλλιώς, οπότε αυτά είναι μακρινά.
Οι δίσκοι εννοείται κάνουν spin-down όταν δεν χρησιμοποιούνται ενώ και τα folder listing κρατιούνται σε cache οπότε δεν κάνουν spin-up χωρίς λόγο.
Τα shares έχουν όλα το security που πρέπει (με απλό SMB αυτή τη στιγμή, χωρίς ο unRAID να είναι μέρος κάποιου AD – more on this later – καθώς και 1-2 shares σε NFS λόγω NethServer), καθώς επίσης και ρυθμίσεις για το πως να “σπάνε” τα folders στους δίσκους όταν χρειαστεί (τα καλά του RAID4 και του unRAID, αφού οι δίσκοι ΚΑΙ χωριστά μπορούν να χρησιμοποιηθούν άνετα και να έχουν συγκεντρωμένα – όσο γίνεται – τα αρχεία που ανήκουν στους ίδιους φακέλους, αντί να είναι σκόρπια παντού).

Μια παρένθεση άσχετη, για το πόσο καλό είναι το 100/10 από το FttH σπίτι. Σε άλλο χώρο (γραφείο) που έχει επίσης 100/10 (και μια χωριστή 200/20), άνοιξα share (απευθείας, χωρίς χρήση streaming servers) και έβαλα να παίξει full HD ταινία από το server μου σπίτι. Δηλαδή διπλό click στο video file και άνοιγμα με VLC. Έπαιξε ΚΑΝΟΝΙΚΑ. Ακόμα και το seek έκανε 2-3 δεύτερα να “φτάσει”.

Με την ευκαιρία την παραπάνω να πω ότι εννοείται έλυσα το θέμα με το 100Mbit Ethernet. Την παλιά κάρτα (που παίζει να είναι απλώς 100άρα τελικά και όχι να υπάρχει πρόβλημα) την άφησα μέσα (μέχρι να χρειαστώ το χώρο) αφού υποστηρίζεται backup connection από το unRAID και μια PCIe 1000άρα “ανάσανε” το δίκτυο. Μάλιστα ήθελε ΚΑΙ αυτό να με κουράσει, αφού στην αρχή δεν την έβλεπε, άλλαξα PCIe θέση, την είδε αλλά δεν φαινόταν στην πραγματικότητα πριν γίνει κάποιο configuration στο unRAID (και μετά όχι απλά να τη δει, αλλά να τη δει και πρώτη).

Όσο αφορά τις υπόλοιπες εκκρεμότητες που προχώρησα…

Μπήκε docker με duplicate finder. Ανοίγει δικό του web tab με γραφικό interface (δηλαδή σύνδεση σε γραφικό περιβάλλον μέσω VNC), επιλέγω φακέλους που θέλω να τσεκαριστούν αν έχουν duplicates και ψάχνει. Είναι εφάμιλλο με αυτό που είχα συνηθίσει στα Windows.
Μπήκε docker με JDownloader2. Εκεί τελειώνουν οι downloaders οπότε δεν έχω κάτι να συζητήσω για αυτό.
Μπήκε docker με sync σύστημα. Ακόμα το “στρώνω”, αλλά φαίνεται να μπορεί να καλύψει και το scheduled duplication (backup) κάποιων φακέλων προσωπικών που το… απλό RAID δεν με καλύπτει. Το duplication γίνεται σε άλλους δίσκους του array (πράγμα που μόνο λύσεις σαν το unRAID το κάνουν και όχι κανονικά RAID συστήματα).
Αν παίξουν σωστά τα schedules ΚΑΙ μπορέσει να χρησιμοποιηθεί εύκολα και για το περιοδικό mirroring που κάνω με USB δίσκους (με emulation stuff), θα είμαι καλυμμένος.
FTP δεν θα βάλω. Δεν μου χρειάζεται ακόμα. Υπάρχουν έτοιμες λύσεις και στο unRAID και στο NethServer και σε plug-ins πιο “σπέσιαλ”.
Στρώθηκε αρκετά το NethServer, είναι σε λειτουργική κατάσταση (σχεδόν) πλήρως. Υπάρχουν θεματάκια που κοιτάμε.
Σε ότι αφορά το mail, τα PST files μπήκαν σε ένα share (NFS και όχι “στεγνό” mount αφού το CentOS δεν υποστηρίζει 9p filesystem τελικά) και έγιναν “αρκετά καλά” import κατευθείαν στο WebTop service. Υπάρχουν πράγματα που δεν δούλεψαν σούπερ (ειδικά σε ότι αφορά δευτερεύοντες φακέλους), αλλά δεν είναι πρόβλημα, γιατί το Outlook δουλεύει κανονικά (και mobile clients επίσης) και έτσι “εκκρεμότητες” του PST μπορούν να καλυφθούν και απευθείας από το Outlook (drag-n-drop). Το web client είναι άριστο. Υπάρχει ένα θέμα ακόμα με το αν συγχρονίζουν σωστά επιπλέον φάκελοι. Πιστεύω θα στρώσει το θέμα.
Γίνεται κανονικά λήψη (με IMAP connector) και αποστολή (με smarthost). Ακόμα δεν δοκίμασα να φέρνω gmail και yahoo (που έκανα στον SBS) αλλά υποψιάζομαι ότι θα δουλέψει.
Τα rules φαίνεται να παίζουν. Φτιάχνω όμως νέα, δεν έχω μεταφέρει τα παλιά (δεν ξέρω αν γίνεται καν, ευκαιρία για καθάρισμα).
Σε ότι αφορά contacts και calendar και για αυτά δούλεψαν ΧΟΝΤΡΙΚΑ τα import scripts, με αντίστοιχα θέματα που μπορούν να λυθούν από το Outlook. Υπάρχει ακόμα όμως θέμα για να παίξουν σε Outlook και mobile clients. Υποτίθεται το ActiveSync θα το έλυνε αυτό αλλά κάνει νάζια, όπως και το CardDAV/CalDAV. Θα δείξει.

Τι άλλο έκανα που δεν το είχα σχεδιάσει;

Έβαλα plug-in να μου λέει τι ανοιχτά streams παίζουν από το server (και αν θέλω να πετάξω κάποιον).
Έβαλα πρόβλεψη για S3 (sleep), αλλά θα δω αν το αξιοποιήσω και πως.
Έβαλα άλλα χρήσιμα scripts που δεν χρειάζεται χωριστή αναφορά.
Έβαλα… HandBrake (σε Docker) και μπορώ να κάνω ότι media θέλω recode εκεί απευθείας στο server.
Έβαλα MediaInfo (σε Docker) για να βλέπω απευθείας στο server τι CODECs χρησιμοποιεί κάποιο media file.

Τι μένει να γίνει;

Οι εκκρεμότητες mail/contact/calendar που λέω από πάνω.
Media stream plug-ins. Να μπορώ να streamάρω απευθείας στην TV θα ήταν σούπερ. Ή μέσω web όπου θέλω. Υπάρχουν λύσεις, αλλά ψάχνω ποια είναι καταλληλότερη.
Τα PC έχουν μείνει σε workgroup. Στην πραγματικότητα δεν με καίει τρομερά να ξαναμπούν σε domain (που υπάρχει στον NethServer), θα δείξει. Δεν τρελαίνομαι να κάνω και συνεχώς migration των profiles.
(άσχετη παρένθεση, το HTCP χάλασε, δεν ανάβει καν… δεν έχω προλάβει να ασχοληθώ… ένας λόγος που θέλω να παίξει streaming στην TV).
Στο ίδιο θέμα, δεν έχει μπει ούτε ο unRAID είπαμε σε domain. Είναι προβληματική διάβασα η σύνδεση, όταν δεν υπάρχει χωριστός Windows ή SAMBA server, είναι πολύπλοκη η διαδικασία να γίνει join ενώ ο SAMBA server είναι σε VM μέσα στο ίδιο το unRAID. Θα χρειαστεί προσωρινό VM σε άλλο μηχάνημα, θα βγαίνει εκτός domain σε κάθε στραβή… Θα δείξει. ΔΕΝ με καίει γιατί και το απλό SMB παίζει άριστα (ειδικά εφόσον τα user credentials τελικά είναι ίδια).
Δεν έχει δοκιμαστεί το Jabber, ούτε το Mattermost.
Ψάχνω μήπως βρω καλύτερη λύση για DNS, αλλά δεν με καίει τρομερά γιατί τη δουλειά μου την έκανα (αφού ξέρω πως να “μπερδέψω” τέτοια πράγματα ώστε να δουλεύουν).
Δεν ασχολήθηκα ακόμα με το rClone για να φέρω “τοπικά” τα cloud services μου. Αν θέλω.
Δεν έβαλα ακόμα torrent client γιατί ψάχνομαι τι ακόμα (υπάρχει και ο αγαπημένος μου qBitTorrent, αλλά προτιμώ να κάνω re-evaluate πρώτα).

Αυτά. Πιθανά για τις λεπτομέρειες που μένουν να μην γραφτεί άρθρο (κούρασες μεγάλε), οπότε, με γεια!

(έγιναν προσθήκες την ίδια μέρα)

NAS (and Home Server) version 4 (part 4) – No Turning Back

Κατέληξα λοιπόν, unRAID + NethServer + various extras.

Το μεγάλο ρίσκο ήταν η μεταφορά των υπαρχόντων profiles σε δυο βασικούς υπολογιστές στο σπίτι. Ο ένας έχει μόνο ένα account (είναι το home cinema PC), ο άλλος είναι ο κεντρικός υπολογιστής που είχε τρία domain accounts σε πλήρη χρήση (τρία μέλη οικογένειας), συν ένα τοπικό λογαριασμό που δεν ήταν σε χρήση (αλλά θα χρειαζόταν για την αλλαγή των άλλων profiles). Ευτυχώς διαπίστωσα ότι αυτός ο λογαριασμός μπορεί να δημιουργούσε conflict βγαίνοντας από το domain, αφού έχει ίδιο user name με το δικό μου domain account. Οπότε έφτιαξα έναν άλλο τοπικό διαχειριστή. Μετά άρχισα να δοκιμάζω το migration από το πιο “ανώδυνο” λογαριασμό (αυτόν τον μόνο του στο HTPC). Αποφάσισα αντί μεταφορά από domain σε domain, αφού τα domain δεν θα συνέπεφταν να γυρίσουν όλοι σε workgroup στο οποίο θα μείνουμε “με την ησυχία μας”, μέχρι να υπάρξει σταθερό domain (και αν υπάρξει, γιατί σε εκείνο το σημείο σκέφτηκα αν χρειάζεται τελικά – που αποφάσισα ότι ναι το θέλω). Η πρώτη αλλαγή έγινε μια χαρά. Ο λογαριασμός πήγε στο workgroup και έγινε και migrate ταυτόχρονα. Μάλιστα συνέχισα να βλέπω τα share του server (του SBS) αφού τα credentials παρέμειναν.
Συνέχισα στο κεντρικό μηχάνημα. Το πιο εύκολο profile έγινε πράγματι εύκολα. Τα άλλα δυο είχαν μια ιδαιτερότητα που αποδείχτηκε ότι δεν ήταν έτοιμο να αντιμετωπίσει το tool του migration. Είχα μεγάλο μέρος του profile σε άλλο δίσκο (E:\). Στο ένα profile δεν είχε άμεσα μετά την αλλαγή access στους φακέλους του “παλιού” profile στο Ε:\, αλλά αφού και ο νέος χρήστης ήταν τοπικός διαχειριστής, εύκολα τελικά είδε μέσα. Το σύστημα τελικά αναγνώρισε και αυτούς τους φακέλους ως μέρος του profile (αν και στο συγκεκριμένο ίσως υπήρχε κάποιο μικρό χάσιμο σε αρχεία… ευτυχώς ότι σοβαρό υπάρχει φυλαγμένο).
Το τελικό και μακράν μεγαλύτερο profile, φρόντισα να το αντιγράψω ολόκληρο (ότι είχε και στο C:\ και στο Ε:\) σε ένα προσωρινό φάκελο για σιγουριά. Τελικά δεν χρειάστηκε. Με το τελευταίο migration έστειλα και το μηχάνημα σε workgroup, φρόντισα μετά να ξαναδεί ότι είχε στο Ε:\ και δεν φαίνεται να επήλθε κανένας “τραυματισμός”. Μάλιστα πάνω από μια μέρα δούλεψα κανονικά το μηχάνημα στο παλιό server, αν και ήμουν σε workgroup (απλώς χρειαζόταν αρκετές επιβεβαιώσεις credentials σε διάφορες περιπτώσεις).
Άνοιξα και το Outlook μετά από καιρό (δουλεύω πολλούς μήνες μόνο μέσω web), έβαλα να δει τα mailbox όλα (και direct access όχι cached) και το έβαλα να κάνει τα πάντα PST export, ενώ είχα κλείσει τον POP Connector για να μην έρθουν νέα mail (και στην ανάγκη να βλέπω στους “μητρικούς” mail server μέχρι να στρώσουν τα πράγματα).
Μετά από αυτό ήταν η ώρα της αλλαγής…

Έκλεισα τον SBS2011 (δεν με ένοιαζε να πάρω κάτι από εκεί αφού τους δίσκους του θα μπορούσα να τους κάνω mount και να τους διαβάσω), έβαλα πρώτο στο boot order το stick, ξεκίνησε το unRAID. Η μια μέρα (με διαλείμματα φυσικά) πέρασε βάζοντας βασικά τα plug-ins για να γίνει πιο άνετο στη χρήση. Πράγματι δούλευε αρκετά άνετα. Φυσικά ακόμα δεν υπήρχε ούτε docker σε χρήση, ούτε VM. Το μόνο πράγμα που μπήκε online είναι το cache (SSD) disk, που το χρειάζεται και για την αποθήκευση πραγμάτων που θέλει ο ίδιος ο unRAID να χρησιμοποιεί γρήγορα (πέρα από πραγματικό write cache για το array). Εκεί βάζει by default τα docker και VM – και μετά πρέπει φυσικά να φροντίσεις να κάνεις backup όπου θες (πχ. μέσα στο array) με ειδικά plug-ins. Αυτά ρυθμίστηκαν.

Με την ευκαιρία άρχισα την πρώτη μεταφορά (αφού είναι μεγάλος ο όγκος και θα πάρει μέρες). Βρήκα ποιος δίσκος είναι ο παλιός parity, τον καθάρισα, τον πρόσθεσα στο array και έβαλα να δει τον επόμενο δίσκο NTFS… τον είδε και τότε έβαλα και το πρώτο docker, που είναι ο Krusader, δηλαδή πρόγραμμα α λα Opus, α λα Norton Commander (για τους PCάδες), α λα Midnight Commander (για τους Linuxάδες). Για την ακρίβεια υπάρχει Midnight Commander ήδη αν κάποιος θέλει να δουλέψει πάνω στην τοπική κονσόλα του unRAID… αλλά η ευκολία του Krusader είναι ασύγκριτη, αφού το docker το βλέπεις σε ένα ωραίο web tab με VNC. Έτσι ξεκίνησε η πρώτη μεταφορά. Μάλιστα διαπίστωσα ότι είχε ξεπεραστεί και το πρόβλημα με τις κωδικοσελίδες, μια και παλιά στο unRAID είχα πρόβλημα τα Ελληνικά να φανούν Ελληνικά. Βέβαια τότε ήταν ακόμα η εποχή που δεν είχαμε καθαρό UNICODE.

Δυστυχώς τότε διαπίστωσα και το πρώτο πρόβλημα του server. Για κάποιο λόγο η κάρτα δικτύου έπαιζε στα 100. Αυτό ακόμα δεν ήταν θέμα, αλλά θα ήταν στην κανονική χρήση. Μάλιστα ήμουν σίγουρος ότι στον SBS έπαιζα στα 1000 και έφταιγε κάτι στο Linux. Τελικά ΠΙΘΑΝΑ έκανα λάθος. Με τα πολλά διαπίστωσα ότι η κάρτα δικτύου η on-board ενώ δεν έδινε κανένα error, δεν δούλευε καθόλου (δεν έδειχνε connected)… …πράγμα που κάποτε ήδη ήξερα (!?) γιατί όπως φαίνεται είχα βάλει κάποια στιγμή (δεν το θυμόμουν ΚΑΝ), μια PCI κάρτα δικτύου και με αυτή έπαιζα στον SBS. Όμως αυτή η κάρτα αν και 1000άρα (νομίζω) έπαιζε στα 100 (πράγμα που διαπιστώθηκε ότι δεν ήταν ούτε θέμα καλωδίου, ούτε πόρτας switch). Ακόμα πεπεισμένος ότι στα SBS είχα 1000, διέκοψα την αντιγραφή και πήγα να ξαναbootάρω στα Windows απλά για να δω αν ισχύει… Αμ δε! Δεν ξέρω τι έπαθε ο SBS (τσαντίστηκε;…) αφού οι δίσκοι που του χρειαζόντουσαν ήταν απείραχτοι (ο C:\ και ο D:\), αλλά ενώ ξεκίνησε να φορτώνει, έμεινε πολύ πολύ ώρα σε μαύρη οθόνη (υποτίθεται κάνοντας κάτι, αφού οι δίσκοι ήταν σε λειτουργία, άλλοτε λίγο άλλοτε περισσότερο). Πάρα πολύ ώρα. Ίσως αν το άφηνα κάνα… δίωρο να αποφάσιζε να ξεκινήσει, αλλά δεν υπήρχε λόγος. Όσο ήταν στην μαύρη οθόνη το δίκτυο ήταν στα 100 (φαινόταν από το LED του switch) – μάλιστα νεότερο σενάριο λέει ότι μπορεί να ήταν πράγματι 100άρα η κάρτα (πράγμα που θα δω όταν την αφαιρέσω) και είχα bottleneck και στον SBS (ίσως την είχα βάλει προσωρινά και έμεινε μόνιμα… ούτε θυμάμαι). Οπότε shutdown στον… τσαντισμένο SBS και επιστροφή στο unRAID. Συνέχισα τις τοπικές αντιγραφές και αποφάσισα ότι θα δοκιμάσω (μάλλον απόψε) με μια PCIe 1000άρα κάρτα (10 ευρώ έχει).

Όσο προχωρούν οι αντιγραφές (που και αυτή τη στιγμή που γράφεται αυτό συνεχίζουν, έχουν ενταχθεί 4 δίσκοι από τους 10) εγώ “κουρδίζω” ακόμα το unRAID και ξεκίνησα επιτέλους το δεύτερο βασικό component. Να φτιάξω VM με NethServer. Αρχικά πήρα μια τρομάρα. Ενώ χρησιμοποίησα το έτοιμο preset για CentOS (αφού σε αυτό βασίζεται ο NethServer) με μικροαλλαγές, ξεκίνησε το στήσιμο και ξαφνικά… μαυρίλα. Αυτό το έκανε 2-3 φορές. Μετά ξανάφτιαξα το VM με κάποιες παραλλαγές και αυτή τη φορά είδα κανονικό setup να προχωράει.
Μπήκε και ο NethServer. Άρχισα όλες τις ρυθμίσεις που μπορούσα χωρίς να χρειαστεί LDAP. Είχα για μπούσουλα και το δοκιμαστικό VM NethServer που είχα στήσει αλλού. Μπήκε και ο SAMBA AD, αλλά δεν έχω τολμήσει να γυρίσω μηχανήματα σε domain ακόμα (και πάλι migration accounts). Σιγά σιγά. Τα μηχανήματα παίζουν ΟΚ και έτσι με τοπικούς λογαριασμούς. Έχω ανοίξει ένα σωρό θεματάκια στα support communities και του unRAID και του NethServer, αλλά προχωράω αρκετά καλά. Σίγουρα κάποια δεν θα “κάτσουν” ΑΚΡΙΒΩΣ όπως τα σχεδίαζα (άλλο το “επί χάρτου”), αλλά βρίσκονται λύσεις.
Μπήκε και ο mail server (και δοκιμάστηκε το πολύ καλό web του) ΑΛΛΑ ακόμα δεν έχει μπει σε πραγματική λειτουργία (δηλαδή να λαμβάνει). ~~Νομίζω~~ δουλεύει ήδη η αποστολή πάντως. Επίσης ακόμα δεν δοκιμάστηκε IMAP σύνδεση από Outlook, που αν γίνει θα ξαναρίξω τα παλιά mail μέσα (γιατί πολύ απλά ήταν βασικό για μένα να ψάχνω και να βρίσκω email του 2003, μέσω το web mail). Μάλιστα όπως είπαμε υπάρχει script που μπορεί να τα κάνει import απευθείας μέσω server console (αρκεί να καταφέρω να κάνω mount ένα share του unRAID μέσα στο NethServer, που ακόμα το ψάχνω πως).
Ένα καλό νέο είναι ότι μπόρεσα (πράγμα που είχε χαλάσει από την εποχή που μπήκε οπτική ίνα σπίτι και άλλαξα το router – και ενώ ήταν στημένος σωστά) να ξαναδώ μέσω VPN το σπίτι, οπότε προχώρησα τη διαδικασία ακόμα και από μακριά βλέποντας κανονικά τα FQDN που θέλω (ενώ αρχικά αναγκαστικά είχα ανοιχτό το PC σπίτι για να βλέπω από “τοπικά”). Αυτό ήθελε κάποιες DNS ταρζανιές λόγω του περιορισμένου DNS server του NethServer – αλλά έγινε.

Οπότε έχουμε:

Συνέχεια των αντιγραφών δίσκο – δίσκο (μεταφέρω στο array, προσθέτω στο array και πάμε πάλι).
Συνέχιση βασικών plug-ins στο unRAID.
Συνέχιση “στρωσίματος” του NethServer.
Μεταφορά των profile και μηχανημάτων πάλι στο (νέο) domain.
Λύσιμο θέματος κάρτας δικτύου.
Σύνδεση Outlook IMAP, αν και δεν θα είναι μόνιμη τουλάχιστον να ξαναμπούν τα παλιά mail πίσω.
Σύνδεση mobile clients και -προσοχή- λύση και για contacts, calendars (και tasks).

Για να δούμε…

(2019-10-22 – μικρό update)

NAS (and Home Server) version 4 (part 3)

(μην ξεχάσετε να διαβάσετε τα 2 προηγούμενα)

Πρώτα από όλα η αλλαγή θα είναι (σχεδόν) εξ’ ολοκλήρου σε software. Δεν θα είναι αλλαγή hardware.
Οι μόνες αλλαγές που θα γίνουν, είναι
(α) Να μεταφέρω το license του unRAID σε ένα κάπως μεγαλύτερου χώρου (για άνεση, στην πράξη και τα 2GB είναι μια χαρά) και μικρότερου όγκου (για να μην εξέχει πολύ αφού θα είναι μόνιμα επάνω).
(β) Να βάλω επάνω στο μηχάνημα (ports υπάρχουν) έναν SSD για να εξυπηρετήσει το caching + το να τρέχουν από εκεί Docker containers και VMs.
(γ) Κάποια στιγμή οι δυο δίσκοι που “περισσεύουν” (500άρης με OS και running data + 1TB backup), θα βγουν για να μπουν στη θέση τους μεγαλύτεροι για να αυξηθεί ο χώρος του array. (ο χώρος στο κουτί είναι για 12 x 3.5″ δίσκους – ενώ το 2.5″ caching θα βιδωθεί κάπου στο κουτί)

Όμως πέρα από το unRAID που από μόνο του ΔΙΝΕΙ κάποιες λειτουργίες πέρα από το να είναι array… τι άλλο θα βάλω για να καλύψω ότι έκανε ο SBS2011;
Αρχικά έψαξα μπας και τη γλυτώσω με σπαρτιάτικα Docker containers. Όχι. Μακριά από πλήρη κάλυψη. Οπότε θα μπει στο χορό και κάποιο virtual machine.
Υπάρχουν λύσεις Open Source. Έκανα evaluate 4-5. Ξέμειναν 3, ClearOS, NethServer, Zentyal (αλφαβητικά). Γρήγορα έφυγε και το ClearOS. Η τωρινή “πάλη” είναι μεταξύ των δυο. Έχει γίνει αρκετό evaluation (έχουν ξαναστηθεί 2-3 φορές το καθένα)… Έχω αρχίσει να καταλήγω.

Όλα δείχνουν ότι θα πάω στο NethServer. Το γιατί, θα το αναλύσω, αλλά ας δούμε όμως πρώτα τι θα καλύψει το unRAID από μόνο του.

unRAID

Το unRAID, από την εποχή που το ξαναχρησιμοποιούσα, όπως είπα άλλαξε πολύ.
Από ένα ερασιτεχνικό “fan” project που ο προγραμματιστής του είχε βιαστεί να το κάνει commercial, έχει γίνει ένα προϊόν που υπάρχουν εταιρίες που το εμπιστεύονται πια.
Σαν features, ο πυρήνας του και η λογική του δεν έχει αλλάξει τρομερά (είναι κατά βάση μια flexible RAID4 λύση), αλλά τελικά έχει ασπαστεί τη φιλοσοφία των plug-ins (πράγμα για το οποίο ήμουν ένας από αυτούς που είχαν αγωνιστεί 10+ χρόνια πίσω να γίνει και είχα γίνει και κακός – αλλά ΑΛΛΗ ΜΙΑ ΦΟΡΑ, story of my life – έγινε ότι έλεγα ότι πρέπει να γίνει… έχω τουλάχιστον 2-3 άλλα παραδείγματα σε άλλα προϊόντα που το έχω “ξαναπάθει” αυτό). Ότι προσφέρει αυτή τη δυνατότητα αλλάζει ΤΕΛΕΙΩΣ το σύστημα. Αν βάλουμε ότι πίσω από την plug-in δυνατότητα, δίνει δυνατότητα για Docker containers αλλά και full Virtual Machines, καταλαβαίνει κανείς ότι ανάλογα πόσο αντέχει το μηχάνημα μπορεί κάποιος να κάνει ότι θέλει. Πχ. θα μπορούσα να ξαναστήσω τον SBS2011 μέσα σε VM αν ήθελα.

Ας δούμε για τι πράγματα θα χρησιμοποιήσω το unRAID “αμιγώς”…

Πρώτα από όλα το file sharing θα γίνει εννοείται από εκεί (αυτό είναι όλο το νόημα). Μάλιστα όπως φαίνεται υπάρχει δυνατότητα τα permission να είναι από Active Directory, πράγμα που μάλλον θα χρησιμοποιήσω. Το που θα βρω Active Directory το συζητάμε αλλού.
Το backup όποιων πραγμάτων πρέπει να γίνονται backup, θα το αναλάβουν plug-ins του unRAID.
Φαίνεται να υπάρχουν Dockers για Drobox sync, αν και μάλλον θα παίξει κάποια πιο γενική λύση cloud sync, όπως το RClone.
Φαίνεται να υπάρχουν plug-ins σχετικά με duplicate discovery (μου είναι απαραίτητο), μέσω hash checking βέβαια.
Μάλλον γίνεται να έχω JDownloader2 στο unRAID! (πάλι Docker!)
Υπάρχει εννοείται ενσωματωμένο file transfer (για να γίνονται τοπικά πράγματα που δεν χρειάζεται να εμπλέκεται PC).
Υπάρχει δικό του FTP.
Υπάρχουν διάφορα plug-ins για media services (πχ. Plex) και φυσικά θα διερευνηθεί το θέμα για την καλύτερη περίπτωση.
Υπάρχει torrent client σε plug-in.

Η όλη διαχείριση γίνεται από web.

Όμως τι γίνεται με όλα τα άλλα που μπορούσα να κάνω στον SBS2011 που τελικά ήταν ένα Windows desktop με όλες τις ευκολίες του; Εκεί θα αναλάβει τα ηνία κάποιο (ή κάποια) Virtual Machine. Με αρχηγό όπως φαίνεται το…

NethServer

Ο NethServer νίκησε στο… νήμα το Zentyal, για να αναλάβει το κομμάτι των services που έχω καλομάθει να έχω τοπικά (αν και ξέρω την τάση να φεύγουν όλα στο cloud – όμως το μηχάνημα υπάρχει ήδη, το Internet του σπιτιού είναι πια μια χαρά και δεν θέλω περαιτέρω κόστη).

Ας δούμε τι θα κάνει ο NethServer και μετά βλέπουμε γιατί νίκησε στο νήμα το Zentyal (αλλά μετά τη γραμμή τερματισμού συνεχίζει να μεγαλώνει την απόσταση από τον αντίπαλο του)!

Προσφέρει πλατφόρμα Chat. Για την ακρίβεια πλατφόρμες Chat. Προσφέρει το κλασικό Jabber, αλλά προσφέρει και Mattermost που επιτρέπει full collaboration σαν το Slack ή το Microsoft Teams.
Προσφέρει (ΒΑΣΙΚΟ), Active Directory. Γίνεται κανονικά Domain Controller (Samba 4), οπότε τα Windows 10 Pro μηχανήματα μου θα συνεχίσουν να έχουν κεντρική διαχείριση access (θα γίνει profile migration). Οι δυνατότητες είναι βασικές, αλλά φαίνεται να υπάρχουν extensions από άλλους που εμπλουτίζουν τη διαχείριση.
Για ότι αφορά τις δυνατότητες του Exchange, αυτές έρχονται με δυο τρόπους και μάλλον θα χρησιμοποιήσω το δεύτερο, που στις δοκιμές μου φάνηκε πιο πλούσιος. Υπάρχει και “σκέτο” email μέσω RoundCube που είναι αγαπημένο των Linuxάδων, αλλά δεν θα το πλησιάσω (το δοκίμασα), δεν είμαι τόσο μαζοχιστής.
- SOGo. Μια συμπαθέστατη πλατφόρμα email, με Contacts και Calendar, αλλά και ActiveSync. Φυσικά και web access πέρα από POP/IMAP.
- WebTop5. Μια ακόμα πιο συμπαθής πλατφόρμα. Έχει ότι η παραπάνω, σε πιο “πλούσιο” βαθμό. Παίζει να έχει και δικό της chat (δεν το έχω βρει ακόμα) και ίσως και με video! (ίσως δεν υπάρχει στο Team edition)
Σε συνέχεια των δυνατοτήτων του Exchange, υπάρχει Anti-Spam, υπάρχει Anti-Virus (ClamAV), υπάρχει mail connector (χρησιμοποιούσα τον POP Connector του SBS2011), υπάρχει δυνατότητα Smarthost. Υπάρχει και δυνατότητα Graylist που δεν είχε ο Exchange.
Τέλος δίνονται αρκετά (όχι όσο πλούσια θα ήθελα) network services, όπως DNS (φτωχό, α λα router) και DHCP. Αν και το δεύτερο ίσως δεν το δουλέψω πια (και βάλω το router να κάνει τη δουλειά όπως όλοι). Το συγκεκριμένο θέμα θα το ψάξω περισσότερο, ίσως βρω καταλληλότερα plug-ins του unRAID ή και χωριστό VM (pfSense). Δεν σκοπεύω να χρησιμοποιήσω το NethServer για firewall, proxy κλπ. αν και έχει και τέτοιες δυνατότητες.

Πολλά από τα παραπάνω τα προσφέρει και το Zentyal. Αλλά στήθηκαν και τα δυο σε VM, δοκιμάστηκαν μέρες και ενώ η αρχική μου τάση ήταν στο Zentyal (είναι πιο “όμορφο” και εύκολο), θα πάω προς NethServer. Εδώ παραθέτω τα στοιχεία σύγκρισης που ασχολήθηκα. Δεν ήταν πλήρης σύγκριση, αλλά μόνο σε στοιχεία που ενδιέφεραν εμένα. Όμως και πάλι είδα ότι και σε αυτά που δεν χρησιμοποιώ, ο NetServer έδινε περισσότερα. Για να δούμε μια μικρή σύγκριση των δυο λοιπόν…

Το Zentyal έχει πολύ πιο “σωστό” web interface. Ωραία χρώματα, χωρίς υπερβολές και τα περισσότερα πράγματα είναι εκεί που πρέπει. Ο NethServer έχει δυο web interfaces. Το παλιό που είναι περισσότερο σαν μια μεγάλη λίστα με options αριστερά και το νέο που χρησιμοποιεί μεγαλύτερο βάθος από παρακλάδια, αλλά δυστυχώς δεν είναι ακόμα μοιρασμένα όπως πρέπει και γενικά θέλει δουλειά. Υποθέτω αυτό θα βελτιωθεί γιατί τώρα ήταν το πρώτο release με αυτό το interface ενεργό για όλους. Ωστόσο υπάρχει το φαινόμενο ότι υπάρχουν features που τα βρίσκεις άνετα στο παλιό και στο νέο μπορεί και να μη τα βρεις καθόλου, αλλά και το αντίθετο (νέα “apps” έχουν προστεθεί μόνο στο νέο). Επίσης στο νέο interface υπάρχουν και πράγματα σε ΑΣΧΕΤΑ σημεία! Ωστόσο λειτουργικά κάνεις ότι χρειάζεσαι, απλά μπορεί να χρειαστεί βόλτα προς το παρόν και στα δυο interfaces. Παρ’ όλη την δικαιολογημένη γκρίνια στο interface του NethServer, το νέο του GUI, προσφέρει και κάποια πράγματα που δεν προσφέρει καθόλου το Zentyal (εκτός αν μπεις με ssh που έτσι κι αλλιώς έχει και το άλλο). Πρώτα από όλα έχει κονσόλα εκεί μέσα στο web interface του! Δεν χρειάζεσαι ssh! Επίσης όλα τα logs είναι σε λίστα και τα βλέπεις άνετα.
Το Zentyal επίσης έχει και πιο “streamlined” Active Directory configuration. Βλέπεις το directory, βάζεις πράγματα, μπορείς να φτιάξεις units κλπ. Το NethServer αν και το έχει “κάτω από το καπό” (εξάλλου και οι δυο με Samba 4 παίζουν), δεν στο δείχνει, αλλά αν θες “βάθος” υπάρχουν κάποια plug-ins να βοηθήσουν.
Εκεί είναι και το μεγάλο κόλπο του NethServer. Πολύ περισσότερα plug-in apps. Είναι πολύ πιο πλήρες. Τα παραπάνω του Zentyal είναι ότι έχει RADIUS (δεν μου χρειάζεται), έχει καλύτερο DNS (θα ήθελα, είναι η μεγαλύτερη έλλειψη), έχει πραγματικό Certificate Authority (επίσης σημαντικό σχετικά, στα δικά μου setup). Αλλά κάπου εκεί τελειώνει το Zentyal. Ο NethServer έχει πραγματικά περισσότερα services (από FAX, μέχρι 2-3 groupware και private cloud). Μάλιστα (και κάπου εκεί τελείωσε το θέμα για μένα) φαίνεται ότι ο Zentyal είναι επικεντρωμένος στους developers του, ενώ ο NethServer (όπως και το unRAID που είναι από κάτω του) επιτρέπει την προσθήκη (δυστυχώς μέσω κονσόλας ακόμα) άλλων “repositories” και άλλοι προγραμματιστές έχουν εμπλουτίσει ΠΟΛΥ το σύστημα. Εγώ θα χρησιμοποιήσω τουλάχιστον 2-3 επιπλέον plug-ins που δεν δίνονται καν στο “core” NethServer.

Οπότε φτάνουμε στο δια ταύτα. Κάποιες τον ημερών θα αρχίσει μια διαδικασία που περιγράφεται περιληπτικά (χωρίς τα έκτακτα) ως εξής:

Σήκωμα των βασικών email accounts σε PST μέσω Outlook.
(Δεν χρειάζεται backup αρχείων γιατί οι δίσκοι που χρησιμοποιεί ο SBS θα παραμείνουν μέχρι νεωτέρας στο μηχάνημα και θα μπορούν να γίνουν mount στο unRAID για διάβασμα ή και να ξαναbootάρει ο SBS αν χρειαστεί).
Βασικό στήσιμο unRAID. Βάζω τα βασικά docker container και ένα VM με το NethServer.
Βασικό στήσιμο του NethServer.
Profile migration σε νέο domain για τα PC (υπάρχει εργαλείο).
Αφού έχω (εκτός απροόπτου) βασικό “δίκτυο” με email, domain και κάποια βασικά services, βάζω το Outlook να συνδεθεί και “ρίχνω” πίσω από τα PST τα mail στο νέο server (μάλιστα φαίνεται να υπάρχει και script που το κάνει!). Αυτό ήταν βασικό για εμένα (και με σταμάτησε από πολλά Internet based mail services), αφού έχω πιάσει ΕΠΑΝΕΙΛΗΜΜΕΝΑ τον εαυτό μου να ψάχνει mail ίσως και 10 ετών πίσω (κάποιου πελάτη, κάποιας αγοράς, οτιδήποτε) και δεν θέλω να το χάσω. Ο όγκος δεν είναι τόσο μεγάλος, αλλά είναι αρκετά μεγάλο για ιδιωτικά hosting (δηλαδή θα με κάλυπταν μόνο cloud services από Google ή Microsoft, που σήμαινε ετήσιο κόστος).
Σιγά σιγά πέρασμα ένα ένα δίσκο του παλιού array. Mount το NTFS, πέρασμα του content σε δίσκο του array, φορμάρισμα του NTFS, πέρασμα στο array – μέχρι να τελειώσουν οι 10 δίσκοι.
Οι δυο τελευταίοι (SBS + live data + bare metal backup), πιθανά θα φύγουν μετά από καιρό όταν εμπιστευτώ το νέο σύστημα και θα δοθεί χώρος για άλλους 2 δίσκους στο array.

Αυτό είναι το τελευταίο άρθρο που αφορά τη σχεδίαση και επιλογή του νέου NAS/home-server και μάλλον θα υπάρξουν επόμενα (όπως παλιότερα) που αφορούν την πραγματική υλοποίηση.

Stay tuned.

(2019-10-16 – μικρό update)

NAS (and Home Server) version 4 (part 2)

Πρόσφατα λοιπόν ψαχνόμουν αν (και πως) θα συνεχίσω με το SBS2011. Είχε ενδιαφέρον που ξαναδιάβασα τη διαδρομή για ΝΑ φτάσω στο SBS2011 και βλέπει κανείς πως αλλάζουν οι ανάγκες, πως είναι κάποια πράγματα διαφορετικά από ότι τα περιμένουμε κλπ.

Αυτή τη στιγμή χρησιμοποιώ ένα server system που έχει καταργήσει η Microsoft εδώ και καιρό και ΔΕΝ θα αντικαταστήσει (κατάργησε όλο το “είδος”). Μου βγάζει θέματα, ως σύστημα, αν και έχω απενεργοποιήσει αρκετά services που δεν χρησιμοποιώ (πχ. WSUS και Sharepoint). Αλλά μου τρώει πολλά resources ένας SQL που πρακτικά δεν χρησιμοποιώ. Επίσης δεν έχω μόνιμο parity (μόνο snapshots με χειροκίνητο τρόπο), ούτε καν merging των folders ή των volumes, οπότε έχω χωριστά share, σπασμένα σε δίσκους (πχ. “Videos” και “Videos 2”). Ο κύριος FlexRAID δεν ξέρω καν αν ζει (ποτέ δεν ήταν εμπιστοσύνης – η πλάκα είναι ότι πήγα σε αυτόν επειδή αυτό ήταν το θέμα του developer του unRAID).
Άρα δεν είμαι και σε σούπερ κατάσταση. Απλά κρατάμε ένα σύστημα από τα “κορδόνια” για να μας δώσει το 70% των πραγμάτων που θέλαμε.

Η επόμενη λύση αν έμενα σε Microsoft, είναι full fledged servers (με action pack licenses) προφανώς σε VM. Δεν έχω τόσο δυνατό μηχάνημα στο σπίτι.
Όσο αφορά τα data, να έπαιζα με πιο “industry standard” RAID λύσης, πράγμα που μπορούσε να γίνει επειδή είχα πια όλο ίδιου μεγέθους δίσκους (10 x 3TB), αλλά θα μου στερούσε την (απαραίτητη) ευκολία να αλλάζω ΕΝΑΝ ΕΝΑΝ δίσκο σε μεγαλύτερο όποτε μπορώ. Επίσης με πάει σε ένα σύστημα που οι single δίσκοι έχουν unrecoverable data (και δεν έχω full backups). Το RAID4 του FlexRAID και SnapRAID (και unRAID) επιτρέπει οι δίσκοι να μπορούν ΣΕ ΑΝΑΓΚΗ να ξανα-είναι ανεξάρτητοι με ότι data έχουν μέσα. Ακόμα και αν χαλάσουν… 5, χάνεις τα data των 5 αλλά μένουν των άλλων (αν χαλάσει 1 δεν χάνεις τίποτα βέβαια).

Φίλοι πρότειναν (βασικά ακόμα προτείνουν) να πάω σε “συννεφάκια” όπως GSuite και αντικειμενικά έχουν δίκιο. Αλλά γουστάρω και το “project” ενώ με το (σκέτο) cloud χάνεις αρκετές ευκολίες και flexibility. Κερδίζεις φυσικά άλλα πράγματα (πχ. απείρως πιο ήσυχο μυαλό).

Τι σκέφτομαι λοιπόν; ΕΠΙΣΤΡΟΦΗ μετά από 10 χρόνια (!!!) στο unRAID συν κάποια λύση για να μου δώσει τα features (κάποια) που “χάνω” αν φύγω από Windows Server. Φυσικά και άλλα που ΔΕΝ μου δίνει ο Windows Server. Η λύση αυτή λέγεται ή Zentyal ή NethServer, στα οποία ήδη κάνω evaluation σε VM. Ήδη απέρριψα άλλα δυο.

Πρόσφατα, είπα να δω αν το (pro unlimited) license μου του unRAID δουλεύει. Έχουν περάσει 10 χρόνια με ΔΥΟ major versions και άπειρα minor. Ο Tom μεγάλωσε (έχει και εγγόνια) και εμπλέκονται και άλλα άτομα στην εταιρία του (που ήταν μόνος του και εξαφανιζόταν), αφού πια έχει μεγάλους πελάτες (ενώ χρησιμοποιείται φουλ από μεγάλους vloggers όπως ο Linus της LTT). Δεν είχε πια λοιπόν το “αφήνω ένα beta για 8 μήνες και εξαφανίζομαι”. Τα προβλήματα λύνονται, ενώ υπάρχει και τεράστιο fan base με wizards.
Το ίδιο το σύστημα έχει εξελιχτεί πολύ. Επιτρέπει πια plug-ins, Docker containers (!!!) και VMs (!!!). Αυτά λοιπόν, πρακτικά λύνουν ΚΑΘΕ περιορισμό (στην τελική ακόμα και Windows ξαναβάζω σε VM).

Παίρνω λοιπόν το στικάκι μου που είχα φυλάξει (μην ξεχνάμε το unRAID bootάρει από USB stick και είναι δεμένο με το UID του, δεν βάζεις όποιο να ‘ναι). Ένα Corsair 2GB. 😀 Παίρνω όλα τα περιεχόμενα και τα πετάω σε ένα φάκελο στο PC μου. Βάζω το installer του (νέου) unRAID και ξαναρίχνει μέσα στο στικάκι τα “φρέσκα”. Παίρνω το key file και το ρίχνω στο στικάκι. Κάνω να bootάρω…
…bootάρει!!!
Βλέπω την αρχική κονσόλα, ΑΛΛΑ με έχει σε demo mode. Δεν είδε το κλειδί. Απογοήτευση. Αλλά μπας και;…
…ψάχνω μήπως μετά από τόσα χρόνια έχω δικαίωμα φρέσκου κλειδιού (γράφω στην εταιρία) ΑΛΛΑ ψάχνω και αν πρέπει πια να είναι το κλειδί σε κάνα φάκελο μέσα… …ναι στο φάκελο config… το βάζω… ξανάbootάρω…
…ΚΑΙ ΤΟ ΒΛΕΠΕΙ! Ναι είμαι Pro user μετά από 10+ χρόνια του stick σε ένα κουτάκι!

Ο δρόμος είναι πια ανοιχτός (αν και αν λάβουμε υπόψη τους προηγούμενους γεμάτος ταλαιπωρία). Μένει να κάνω κάποιες επιλογές στην σχεδίαση και να πάρω απόφαση να προχωρήσω.

Για τις επιλογές θα μιλήσω στο part 3.

NAS (and Home Server) version 4 (part 1)

Μετά από καμιά 20αριά (!!! …δεν είχα ιδέα ότι ήταν τόσα) παλιά blog-posts για το home server μου, φτάνει η ώρα για την επόμενη μεγάλη του αλλαγή. Που θα είναι σε software.
Για να ακολουθήσουμε την πορεία μέχρι τώρα:

(χάνεται στα βάθη του χρόνου… δεν θυμάμαι καν λεπτομέρειες) Κάτι βασισμένο σε Windows 2003 R2 SBS. Δεν ξέρω πότε. Υποψιάζομαι γύρω στο 2005.
Αρχές 2008. Αλλαγή σε unRAID. Αύξηση δίσκων, ταλαιπωρία. Δεν ξέρω τι έκανα με τα email (νομίζω τα δούλευα από το domain hosting μου απευθείας, με απλό -τότε- POP3).
Τέλη 2009. Ξαναφεύγω από το unRAID, για λόγους που εξηγώ στο άρθρο https://blog.ilogic.gr/nas-or-something-like-that-part-iii/ και έχει πλάκα να ξανα-ανακαλύπτω τι έλεγα τότε και πόσο δίκιο τελικά είχα (θα φανεί πιο κάτω). Windows Home Server + FlexRAID (snapshot based). Κατάργηση ενός μηχανήματος (είχα τρία, δεν το θυμόμουν) με τον ένα “server” να παίζει τη δουλειά των δυο. Πολύ ταλαιπωρία να ξαναπάω σε Windows, πήρε κάπου 2 μήνες.
Αρχές 2010 και ήδη δεν δουλεύω FlexRAID λόγω κάποιου θέματος, ενώ το WHS δείχνει τους μεγάλους περιορισμούς του. Αρχίζω τη σκέψη για SBS2008.
Τέλη 2010. Η αλλαγή δεν είχε γίνει ακόμα, είχα ένα WHS μισοδιαλυμένο. Με αλλαγές hardware (δεν εννοώ δίσκους αυτοί αλλάζονται κατά καιρούς χωρίς αναφορά) και περνάω τελικά σε SBS2011 που ήταν σε preview (δεν μπήκε ποτέ SBS2008)! Αυτός είναι ο πυρήνας και το χοντρικό στήσιμο του παρόντος μηχανήματος μου.
Μέσα στο 2011 πέρασα σε τελικής μορφής SBS2011, ξαναστήθηκε το FlexRAID.
Μέχρι σήμερα, είμαστε ακόμα σε SBS2011, έχουν αλλάξει πολλά κομμάτια hardware (το μηχάνημα έχει άλλο motherboard, RAM, έχει δυο PCIe SATA/SAS controllers κλπ.). Το FlexRAID το παράτησα γιατί άλλη μια φορά το παράτησε ο developer του (υπόψη ήμουν beta tester του, είχα ότι υπάρχει free, είχα τα email του κλπ. αλλά εξαφανίστηκε). Κάποια στιγμή πριν κάποιους μήνες πέρασα σε SnapRAID, ώστε να έχω έστω (όπως πριν χρόνια) snapshot based parity. Όμως και αυτό έχει θέματα, δεν μπορώ να γεμίζω αρκετά τους δίσκους γιατί το parity του δεν έχει αντιστοιχία χώρου 1:1, γιατί είναι file based και έχει overhead. Το SBS2011 έχει παρουσιάσει κάποια θέματα, τα χοντρά τα λύνω, αλλά αρχίζω να κοιτάω το επόμενο βήμα…

…το οποίο είναι να ξαναπάω στο unRAID!

(τέλος 1ου μέρους)

NAS or Something Like That, Version 2, Part I, addendum

Λοιπόν, όπως έγραψα σαν σχόλιο στο προηγούμενο άρθρο μου, βρήκα και τον τρόπο να κάνω το μηχάνημα και media server (uPnP/DLNA με transcoding κλπ.).

Αυτό μεγάλωσε τις απαιτήσεις προς το μηχάνημα.

Μέσα σε αυτά άρχισα να βλέπω ότι το μηχάνημα αυτό (ένας μια χαρά Windows Server 2003), αν ήταν αρκετά ισχυρό θα μπορούσε να εξυπηρετήσει και άλλες ανάγκες, όπως την ανάγκη του να έχω ένα “mail aggregator” (δεν λέω mail server γιατί απλά θέλω να είναι ένας client που μαζεύει όλα τα accounts μου), αλλά και την επιθυμία να έχω έναν συμπαθητικό Virtual Machine Server!

Όλα αυτά ξεφεύγουν από την κλίμακα ενός παλαιού Pentium 4 (έστω και στα 3.2GHz με Hyper-Threading, με 2GB RAM που είναι ο unRAID μου).

Εκεί άρχισαν να μου μπαίνουν “μαμούνια” για κάτι πιο δραστικό (από το ήδη δύσκολο έργο του να μετατραπεί αναίμακτα ΜΕ ΤΑ ΔΕΔΟΜΕΝΑ ΤΟΥ ο unRAID σε WHS)…

Πέρα από το NAS μου, έχω ένα HTPC στο σαλόνι μου, αρκετά σύγχρονης τεχνολογίας (Core2), αλλά και άλλα δυο μηχανήματα “γραφείου”. Εδώ είναι το… κόλπο. Το ένα μηχάνημα του γραφείου μου είναι ένα Core2Quad με 2 καλές VGA σε SLI, Windows 7 Ultimate κλπ. Αυτό το μηχάνημα θεωρητικά το είχα μόνο για gaming (πότε τρομάρα σου;…) και πράγματα απαιτήσεων (πχ. Photoshop και τέτοια). Το άλλο μηχάνημα, επίσης σύγχρονης τεχνολογίας (Core2) αλλά πιο αδύναμο, πολύ πιο ισχυρό πάντως από το P4, με Windows… Server 2008 (είναι η δουλειά μου και έπρεπε να έχω τριβή), το οποίο είχε αναλάβει το δύσκολο έργο του να είναι το main workhorse μου. Εκεί έρχονται τα mail μου, γίνεται το activesync μου κλπ. Θεωρητικά είχε φτιαχτεί πριν φτιάξω τον χωριστό file-server, ώστε ΑΥΤΟ να είναι το μηχάνημα που θα μένει ανοιχτό (torrents, mail aggregation κλπ.). Όταν μπήκε ο NAS και όταν έβαλα τα (ΠΟΛΥ ΚΑΛΑ) Windows 7 στο “καλό” μηχάνημα, αυτό εδώ άρχισα να το ανοίγω όλο και λιγότερο.

Πήρα λοιπόν την μεγάλη απόφαση… Αυτό το μηχάνημα θα καταργηθεί! Ένα μηχάνημα λιγότερο στα πόδια μου (κυριολεκτικά) και ένα πολύ ισχυρότερος NAS (που Ο Θεός να τον κάνει NAS με όσα θα κάνει)!

Ένα μηχάνημα έτοιμο για τις αυξημένες απαιτήσεις, έτοιμο και για το επόμενο WHS που θα είναι 64bit (βασικά και ο P4 μου είναι 64μπιτη σειρά), με PCI και PCIe (που χρειάζεται για σοβαρές SATA2 κάρτες).

Αυτό βέβαια οδηγεί σε ένα migration plan σαφώς πιο πολύπλοκο. “Χαρίζει” όμως έναν επιπλέον (μικρό πάντως, 320GB) δίσκο για το NAS. Χρειάζεται και επιπλέον μια κάρτα IDE/SATA όμως (βρήκα μια PCIe 1xIDE+2xSATA2+2xeSATA2) μια και αυτό το μηχάνημα έχει ένα IDE bus λιγότερο (άρα θα έπρεπε να θυσιάσω δυο IDE δίσκους από το NAS) αλλά και έναν επιπλέον SATA που δεν θα είχε bus να μπει… Με αυτή την κάρτα λύνω το θέμα ΣΥΝ είμαι έτοιμος για τον τελευταίο μου δίσκο πριν αρχίσω αντικαταστάσεις (έχοντας αισίως φτάσει στους 11 δίσκους σε κουτί που χωράει 12).

Για… γούστο θα αναφέρω χοντρικά τη διαδικασία. Για τους PCάκηδες αυτό είναι “ελαφρύ διάβασμα”, για τους άλλους ανυπόφορο κείμενο. Φυσικά δεν είναι πράγματι για γούστο (δεν θα έγραφα όλα αυτά για πλάκα) αλλά το παρακάτω θα είναι το πραγματικό guideline μου για το migration:

1) Μεταφέρω στο unRAID ότι δεδομένα θέλω να κρατήσω από το server 2008.

2) Φυλάσσω (βασικό) όλες τις ρυθμίσεις/rules κλπ. του Outlook!

* Σε αυτό το σημείο το Server 2008 μηχάνημα είναι έτοιμο να “πεθάνει” αλλά πριν γίνει αυτό πρέπει να γίνουν βήματα στο άλλο. *

3) Αλλάζω τον unRAID server από την έκδοση που τρέχει τώρα (αλλά επιτρέπει torrent client κ.α.) στην τελευταία beta όπου όμως βλέπει τον PCI SATA controller μου που τώρα έχει δυο 320GB δίσκους που… κάθονται (πράγμα που τελικά θα βοηθήσει).

4) Προσθέτω τον ένα (ο άλλος δεν μου χρειάζεται).

5) Μεταφέρω όλα τα δεδομένα από έναν από τους 320GB IDE σε αυτόν που πρόσθεσα.

6) Αφαιρώ όλες τις εξαρτήσεις του unRAID από τον συγκεκριμένο IDE.

7) Τον αφαιρώ.

8) Ανοίγω πάλι το μηχάνημα και του λέω να ξαναυπολογίσει το parity του (ένα βήμα ίσως περιττό αλλά θα επιτρέψει να έχω μέχρι αρκετά αργότερα ένα λειτουργικό unRAID με δεδομένα που λειτουργούν για πιθανότητα ανάγκης ή… επιστροφής).

* Σε αυτό το σημείο έχω έναν άδειο IDE 320GB στο χέρι και ένα unRAID server που εξακολουθεί να είναι λειτουργικός, αλλά και έναν ακόμα άδειο SATA 320GB. *

9) Μπαίνει ο IDE 320GB στο μηχάνημα που είχε τα Server 2008.

10) Εδώ, αντικαθιστώ την VGA του Server 2008 που ως WHS δεν θα την χρειαστεί, που είναι μια DX11 compliant (!), ATI HD4000-κάτι (!) με 1GB RAM (!!!) με την κατώτερη (HD3400 νομίζω) που έχω στο καημένο HTPC μου (και παίζει 1080p… νομίζω θα “χαρεί” με το boost pου θα του δώσω).

11) Εγκαθιστώνται σε αυτόν το δίσκο τα WHS (θέλει 20GB partition)

* Σε αυτό το σημείο βρίσκομαι στο “πρώην server 2008” με εγκατεστημένο το WHS στο IDE 320GB και ελεύθερα 300GB σε αυτό το δίσκο για data, συν ο 320GB SATA που ήδη ήταν μέσα ο οποίος φορμάρεται και προστίθεται στο data pool. *

* Εδώ να εξηγηθεί ΓΙΑΤΙ έγινε η ιστορία με τον IDE… Γιατί πολύ απλά οι IDE παρά την αρχαιότητα τους θα είναι οι τελευταίοι δίσκοι που θα αλλαχθούν στο NAS μου… Γιατί; Γιατί έχω σε σύνολο IDE+SATA buses όσα bays έχει για δίσκους το μηχάνημα μου (12), άρα δεν υπάρχει λόγος να αφαιρέσω έναν IDE για να πάρει τη θέση του ένας SATA (δεν έχω άλλα SATA bus) και εφόσον η SATA τεχνολογία είναι η ζωντανή, πιθανότερο είναι να φτάσω να έχω αντικαταστήσει όλους τους SATA εν καιρώ (έχουν φτάσει στην αγορά και 2TB πια), παρά να αλλάξω τους μικρούς IDE. Θα πρέπει να φτάσω στο σημείο οι δίσκοι SATA να είναι ΑΧΑΝΕΙΣ αλλά ταυτόχρονα να μη με φτάνουν 8 SATA bus (!), ώστε να προτιμήσω κάποια στιγμή να πάρω κι άλλη SATA (SATA3;) κάρτα και να θυσιάσω IDE δίσκο (αλλά και πάλι θα πρέπει να φτάσω να θέλω ακόμα τέσσερεις SATA για να θυσιάσω και τον τελευταίο IDE). Αυτό με κάνει να θέλω να βάλω το WHS σε έναν IDE γιατί θα μείνει τον περισσότερο χρόνο απείραχτος. *

12) Κλείνω το unRAID και αφαιρώ (“ξερά” όπως λένε) έναν δίσκο του ακόμα αρχίζοντας από τους μικρότερους (320GB).

* Το “ξερά” γίνεται ώστε το unRAID να θεωρήσει ότι έχασε ένα δίσκο του (αυτό ήταν και το νόημα του ότι το array το είχα διατηρήσει υγειές μέχρι τώρα) με αποτέλεσμα αν κάτι δεν πάει καλά με το επόμενο βήμα, να βάλω το δίσκο πίσω και ότι και να έχει πάθει (format κλπ.) το unRAID θα τον “ξαναχτίσει” και δεν θα έχω χάσει τίποτα! *

13) Προσθέτω τον δίσκο που έβγαλα στο WHS μηχάνημα. Θυμίζω αυτός ο δίσκος είναι ReiserFS και έχει μέσα δεδομένα!

14) Βάζω ReiserFS driver για Windows, δοκιμάζω αν πράγματι βλέπει το δίσκο που έχω προσθέσει!

15) Αν όλα πάνε καλά μεταφέρω όλα τα δεδομένα από τον ReiserFS δίσκο στον 320άρη (NTFS) που κάποτε είχε το Windows 2008!

16) Αν όλα πάνε καλά και αδειάσει αυτός ο ReiserFS, τότε τον φορμάρω NTFS και τον προσθέτω στο data pool μου!

* Λόγω των βημάτων 8 και 12, μέχρι τώρα δεν έχω ρισκάρει τίποτα! Θα μπορούσα να ξαναξηλώσω το δίσκο αυτόν, να τον ξαναβάλω στο unRAID και το unRAID να επισκεύαζε ότι έκανα! Από το επόμενο βήμα αυτή τη δυνατότητα τη χάνω, αλλά την είχα όσο ακριβώς χρειαζόταν, να επιβεβαιώσω δηλαδή ότι μπορώ να κάνω mount το ReiserFS και να μεταφέρω δεδομένα! *

17) Εδώ αρχίζει ένα μεγάλο χειρωνακτικό κομμάτι. Εφόσον έχω εξασφαλίσει ότι τα βήματα μου “παίζουν”, κλείνω τα δυο μηχανήματα και…

18) Βγάζω το P4 motherboard την PCI SATA κάρτα και τροφοδοτικό από το κουτί του (πρώην) unRAID.

19) Βγάζω το σύγχρονο motherboard, το τροφοδοτικό και τους τρεις δίσκους (έφτασα στους τρεις αν θυμάστε: IDE με λειτουργικό + αυτός που ήταν ήδη μέσα + αυτός ο πρώην ReiserFS) από το κουτί του (πρώην) Server 2008 (και νυν WHS).

20) Τα βάζω… ανάποδα. Προσθέτω την PCI SATA και την νέα PCIe SATA2+IDE στο νέο σύστημα.

* Εδώ το P4 σύστημα χωρίς δίσκο μένει στο κουτί του πρώην Server 2008 και μπαίνει στην άκρη… (τυχερέ μπαμπά, πριν ένα μήνα σου αναβάθμισα το PC, τώρα θα στο ξανα-αναβαθμίσω). Το (πρώην) unRAID έχει πια το σύγχρονο hardware και ΟΛΟΥΣ τους δίσκους! Έχει όμως σε αυτό το σημείο, τρεις έτοιμους και… ΟΚΤΩ μη έτοιμους! Όλοι είναι συνδεμένοι ώστε να γίνουν mount. Bonus στην κατάσταση είναι (α) ότι ο ένας 750GB από τους δυο ήταν unRAID parity που τώρα είναι άχρηστο και (β) έχω έναν 320άρη SATA που είναι άδειος (γιατί δεν είχε χρησιμοποιηθεί ακόμα από το unRAID αν θυμάστε). Αυτά θα βοηθήσουν το επόμενο βήμα. Ξεκινάει πια η δουλειά σε λειτουργικό μηχάνημα. *

21) Ο 750GB που ήταν το parity του unRAID μπορεί να φορμαριστεί σε NTFS, να μπει στο WHS pool και να πάρει τα δεδομένα του άλλου 750GB.

22) Προσθέτω στο pool μου και τον άδειο 320άρη.

23) Αδειάζοντας ο 750GB πάνω στο χώρο του pool, ελευθερώνεται. Τελικός σκοπός αυτού του δίσκου (και εφόσον δεν έχω ακόμα δίσκους μεγαλύτερους από 750GB) είναι να γίνει parity δίσκος για το FlexRAID. Σε αυτό το βήμα λοιπόν, εγκαθίσταται το FlexRAID και φτιάχνω ένα αρχικό “snapshot” της κατάστασης ως έχει: 300GB (320-20) + 320GB + 320GB + 320GB + 750GB δίσκοι με δεδομένα πάνω στον 750GB που θα γίνει parity.

* Αυτό το βήμα γίνεται ώστε να δοκιμαστεί και το FlexRAID αλλά και να έχω μια υποτυπώδη ασφάλεια τουλάχιστον για τα δεδομένα που έχω ήδη μετακομίσει. Εδώ πια έχω έξι δίσκους σε χρήση και πέντε που έχουν δεδομένα και δεν έχουν μετατραπεί. Από το επόμενο βήμα και πέρα δεν χρειάζεται ιδιαίτερη διαδικασία, αλλά προσοχή θέλει το εξής. Ανάλογα τι ελεύθερο χώρο θα έχει αυτή τη στιγμή το pool (δεν θα κάτσω να υπολογίσω τώρα, θα δω εκείνη τη στιγμή τι θα βγει), θα συνεχίσω τη μεταφορά είτε ξεκινώντας από τους μικρότερους δίσκους (320GB), είτε από τους μεγαλύτερους που έχουν μείνει (500GB), ώστε να χωρέσουν όλοι και ο τελευταίος, ουσιαστικά μετά τη τελευταία μεταφορά να μείνει ελεύθερος! (αλλιώς θα χρειαστώ ΚΙ ΑΛΛΟΝ δίσκο έστω και προσωρινά σε USB για προσωρινή μεταφορά δεδομένων) *

24) Ανάλογα ποιος θα αποφασιστεί από τη σημείωση επάνω, θα μεταφερθούν δεδομένα από τον έβδομο δίσκο (ReiserFS) και αφού αδειάσει θα γίνει μέρος του pool.

25) Το ίδιο με τον όγδοο.

26) Το ίδιο με τον ένατο.

27) Το ίδιο με τον δέκατο.

28) Ο ενδέκατος αν όλα πάνε καλά, θα μεταφερθεί ολόκληρος στο κενό που θα έχει το pool, θα μπει ο ίδιος στο pool και θα μείνει προσωρινά άδειος μέχρι να αποφασίσει το WHS ότι τον χρειάζεται ή μέχρι το μεθεπόμενο προαιρετικό βήμα.

29) Εδώ πρέπει το FlexRAID να ξανατρέξει επειγόντως και να μου ξαναδώσει ασφάλεια!

30) Προαιρετικά, εδώ θα τρέξει ένα add-in του WHS που εξισορροπεί τα δεδομένα μεταξύ των δίσκων (μην ξεχνάμε έχω μείνει με έναν άδειο). Θα δω αν θα το κάνω αυτό το βήμα, αν το add-in τρέχει με τον τρόπο που θέλω (δηλ. φροντίζει τα shares να είναι το καθένα όσο γίνεται μαζεμένο σε έναν δίσκο).

31) Αν το #30 τρέξει, μετά ξανατρέχω το FlexRAID για να ησυχάσω.

32) Και την έβδομη μέρα, θα κάαααθομαι να απολαύσω τη δημιουργία μου. 🙂 Βασικά δεν το βλέπω να κάθομαι γιατί θα ξεκινήσει το… tweaking του WHS με το να κάνει αυτά που έχω σχεδιάσει να κάνει.

Πείτε τα σχόλια σας (“χαρά στο κουράγιο σου” και τέτοια) και ευχηθείτε μου καλή δύναμη.

Αν έχετε καμιά ένσταση για το σχεδιασμό μου θα χαρώ να την ακούσω ΠΡΙΝ αρχίσω τη διαδικασία or forever hold your peace (μετά θα είναι αργά και δεν θα με νοιάζει να ακούσω τι λάθος έκανα).