Ceph funktioniert im Grunde nur auf physischer Hardware gut, wenn man auch physische Festplatten ansprechen kann. Dazu kommt, dass es auch wirklich erst ab einer gewissen Größe ausreichend Performance liefert. Auf virtuellen Systemen mit nur einer Disk, bei der sich OS, Dienste + OSDs die Performance teilen müssen, kann man es als PoC gerne ausprobieren. Praktischen Nutzen hat so ein Setup aber nicht. Da ich schon einige Ceph Cluster (teilweise bis zu 2PB) geplant und gebaut habe, kann ich da durchaus aus Erfahrung sprechen, dass das auf virtuellen Systemen nicht wirklich zufriedendstellend läuft. Selbst dann sollten es schon 10GBit/s Netzwerke sein + getrennte Netze für das Public und das Cluster Netz. Dann würde ich auch empfehlen, mindestens 5 Nodes zu nutzen. Bei einer Minimal Konfiguration von 3 Nodes verliert man sonst 33% Brutto Kapazität, falls mal ein Node ausfallen oder einfach nur weg sein sollte. Das Rebalance killt dir in diesem Fall jeden Cluster.
Versteht mich nicht falsch, Ceph ist eine verdammt coole Storage Lösung
Aber um das wirklich produktiv einzusetzen, braucht es schon etwas mehr als ein paar virtuelle Server. Sonst hat man damit einfach keinen Spaß und ärgert sich am Ende nur über die schlechte Performance.