Ceph Cluster

  • Hi zusammen,


    hat schon mal jemand im Verbund mit den Storage Servern einen Ceph Cluster gebaut und wie ist er dort vorgegangen?

    Für Admin/Monitor/Metadata Server dann die normalen Root-Server benutzt?


    Ich überlege gerade, wie ich das am besten realisieren könnte.


    Viele Grüße

  • Hier noch ein interessantes HowTo https://www.howtoforge.com/tut…-cluster-on-ubuntu-16-04/


    ich habe im Moment zwei Storage Server S 8000 G7 mit jeweils 10 TB (9,5 TB netto). Im Hintegrund sorg NetCup durch ein klassische RAID für die Datensicherheit. Dann habe ich noch zwei Maschinen RS 4000 G8. Dort kommt dann ein Docker mit Postgres Cluster drauf. Ist auch nutzbar für Admin und Monitor. die bieden lassen sich verteilen. Verbunden wird es über ein eigenes VLAN mit NICs in den Maschine.


    Insgesmat habe ich einen Kubernetes Master plus 2 Nodes implementiert.

  • Ich habe und betreibe immernoch ein Ceph-Cluster hier.

    Allerdings keine OSDs mehr. Warum siehe hier: https://forum.netcup.de/netcup…latency-iowait/#post85517


    Falls wer von euch noch einen 10TB Server haben möchte, habe ich derzeit einen zur Übernahme abzugeben (nur 54€ pro Monat): https://forum.netcup.de/netcup…?highlight=10TB#post97444


    Ich nutze für MONs drei Server: 2 VPS 500 und 1 RS Xmas 2015 (2 Cors; 4GB RAM)

    Metadata-Server benutze ich nicht, da ich nicht das shared-filesystem verwende, sondern lediglich Blockdevices.

  • Hi,


    ja ein eigenes VLAN + vNICs habe ich auch, das ist perfekt um beispielsweise SSH abzusichern.

    Wähle mich über VPN dann in mein VLAN.


    Bin leider noch nicht dazu gekommen Ceph auszuprobieren.


    Wie ist das mit den Platten? In den Tutorials wird überall von sdb gesprochen, wir haben ja bei netcup nur eine virtuelle Festplatte, wie geht Ceph damit um?


    Grüße

  • Moinsen nochmals,


    ich nutze im übrigen das VLAN-Produkt für Server mit einem extra NIC (Netzwerkkarte). Dadurch wird ein internes Netzwerk aufgebau, dass von außen auch nicht einsichtig ist.

    35€ je NIC finde ich nicht lohnenswert. Ich fahre ein VLAN über L2-VPN.

  • Privet! Kak dela?

    Wie ist das mit den Platten? In den Tutorials wird überall von sdb gesprochen, wir haben ja bei netcup nur eine virtuelle Festplatte, wie geht Ceph damit um?


    Ich habe derzeit auch ein Ceph-Cluster in der Installation. Aus der "Not" heraus habe ich die große Festplatte, /dev/sda in vier Partitionen aufgeteilt. Der Punkt ist, und da sind wir eben bei den Tutorials, dass Ceph vermutlich unbedingt eine eigene Festplatte benötigt, die nur seitens NetCup als /dev/sdb installiert werden kann? Ceph tielt sind bei der Initialisierung der Festplatte diese wohl in ein Journal-Teil und einen Data-Teil auf, also partitioniert. An der STelle stehe ich gerade.


    Also daher meine Frage ans NetCup-Team, was ich tun muss, meine Storageplatten als /dev/sdb zu sehen und zu nutzen? Und ob ich das selbst verwalten kann?


    Beste Grüße

  • Also daher meine Frage ans NetCup-Team, was ich tun muss, meine Storageplatten als /dev/sdb zu sehen und zu nutzen? Und ob ich das selbst verwalten kann?

    Das ist doch hier eh alles virtuell.

    Partitionier dir die Platte sda halt in sda1 (System), sda2 (Ceph-Journal) und sda3 (Ceph-Data).

    Ist hier das selbe als wenn du /dev/sdb hättest (weil eh virtuell). Unten drunter liegt dann ja eh nochmal ein RAID... Das ist keine andere Platte, nur weil es sdb statt sda2 heißt.

  • Partitionier dir die Platte sda halt in sda1 (System), sda2 (Ceph-Journal) und sda3 (Ceph-Data).

    Moinsen Timo,


    Danke nochmals für den Server. Ich komme erst die Tage dazu den Ceph Cluster zu bauen. Ohne, dass ich lange suchen muss, wie bekommt Cheph und ceph-deploy mit, welche Partitionen dann zu nutzen sind? Also in meinem Fall wären dass dann /dev/sda4 (ceph-journal) und /dev/sda5 (ceph-data)?


    Danke für Deine Antwort vorweg und schönes Wochenende.


    Mit den besten Grüßen auf Kaliningrad!

  • Danke nochmals für den Server. Ich komme erst die Tage dazu den Ceph Cluster zu bauen. Ohne, dass ich lange suchen muss, wie bekommt Cheph und ceph-deploy mit, welche Partitionen dann zu nutzen sind? Also in meinem Fall wären dass dann /dev/sda4 (ceph-journal) und /dev/sda5 (ceph-data)?

    Huiui,

    das ist schon gut was her. Die späteren OSDs hab ich händisch eingebunden und nicht mehr über ceph-deploy. Im Endeffekt steht auf dem Storage-Node in der /etc/ceph/ceph.conf dann der JournalPath und DataPath. Wie ceph-deploy dahin kommt, weiß ich leider ausm Stehgreif nicht.


    // Edit: Ich glaube mit volume prepare habe ich auch bei mir gearbeitet.

  • Ganz andere Frage bzgl. ceph. Ceph verwendet das Kommando ceph. Ist auch sinnvoll. ;) Dazu kann das Kommando auf allen für den Cluster definierten Rechern ausgeführt werden, so die Idee. Doch bis auf den Rechner, der als Monitor mon definiert ist, kann das Kommando nicht arbeit. Als Beispiel sei angeführt:


    ceph -h (Anzeige der Hilfe)


    wird mit einem satten "Cluster connection interrupted or timed out" abgebrochen. So natürlich auch bei allen anderen ceph Kommando-Varianten, insbesondere beim Erzeugen von OSDs.


    Frage ist, ob jemand eine Idee hat, was das sein kann? Verbindung zum initialen Monitor? Etc.? Netzwerk rennt und die Maschinen sehen sich über das VLAN untereinander.


    Best!

  • Die oben gestellt Frage hat sich mittlerweile beantwortet bzw. das Problem - das keines war - habe ich lösen können.


    Ich habe nun einen Ceph-Cluster mit insgesamt drei OSDs - basiereden auf drei S 8000 G7 - am Start. Wie ich zu einer optimalen und weitgehend robusten Lösung gekommen bin, werde ich dokumentieren und gerne den Link dazu hier veröffentlichen. Zudem werden die OSDs durch drei Monitor MONs und entsprchenden Managern MGR begleitet.


    Die nächsten Schritte werden sein, diesen Ceph-Cluster für einen Kubernetes Cluster nutzbar zu machen und dort hinein entsprechenden Container mit Anwendungen sowie flexiblen persistentem Storage aufzusetzen.


    Happy Projects, einstweile!