Hohe DiskLatency / iowait

  • Hallo,


    Meine drei Storage-Server liegen was iowait und latency angeht etwas über allen anderen, aber dort findet auch relativ viel I/O statt (ceph-cluster), sodass das generell ok ist. Einer der drei Storage-Server sticht jedoch (negativ) heraus, was sich leider auch unmittelbar auf die Performance des Clusters auswirkt. Bei allen drei Servern handelt es sich um S 8000 G7.


    Als Quelle für meine Messungen habe ich mal munin herangezogen:


    Bezeichnung Server g Server i Server k
    CPU cpu_week_g.png
    Avg iowait:
    0.28
    cpu_week_i.png
    Avg iowait:
    0.69
    cpu_week_k.png
    Avg iowait:
    0.28
    Disk Latency
    Achtung:
    unterschiedliche Skalen
    diskstats_latency_week_g.png
    Avg (ms):
    50
    diskstats_latency_week_i.png
    Avg (ms):
    235
    diskstats_latency_week_k.png
    Avg (ms):
    50
    Disk Throughput diskstats_throughput_day_g.png
    Avg read / write (MB/s):
    5.3 / 3.7
    diskstats_throughput_day_i.png
    Avg read / write (MB/s):
    5.0 / 3.1
    diskstats_throughput_day_k.png
    Avg read / write (MB/s):
    6.7 / 3.2
    Disk Utilization Avg:
    0.32
    Avg:
    0.72
    Avg:
    0.39


    Gestern habe ich einen neuen Server eines anderen Anbieters mit als OSDs in den Cluster eingefügt, weshalb von k, g und i so viel gelesen wurde.

    i hat einen viel höheren iowait-Wert und Disk Latency als g und k bei vergleichbarem Durchsatz. Ich finde keine Erklärung dafür. Alle Server sind einzig und alleine dafür da, dem ceph-Cluster als OSD bereit zu stehen; es laufen keine sonstigen Anwendungen darauf, die nicht für den Betrieb notwenig sind (und selbst dann laufen sie auf allen drei Servern).


    Derzeit lasse ich i leer räumen, um ihn sauber rauszunehmen und einmal neu aufzusetzen & neu einzugliedern.


    Übersehe ich etwas? Woran kann es liegen? Hat jemand vielleicht ähnliche Probleme oder Ideen wie ich dem Ganzen auf die Spur kommen kann?


    Viele Grüße aus Hamburg

    Produkte: 3x S8000; 3x RS1000+ G7; RS X-mas 2015 & 2016; RS M (alt); VPS: 10, 50, 100, A Ostern, B Ostern, 2x500

  • i hat einen viel höheren iowait-Wert und Disk Latency als g und k bei vergleichbarem Durchsatz. Ich finde keine Erklärung dafür. Alle Server sind einzig und alleine dafür da, dem ceph-Cluster als OSD bereit zu stehen; es laufen keine sonstigen Anwendungen darauf, die nicht für den Betrieb notwenig sind (und selbst dann laufen sie auf allen drei Servern).


    Übersehe ich etwas? Woran kann es liegen? Hat jemand vielleicht ähnliche Probleme oder Ideen wie ich dem Ganzen auf die Spur kommen kann?


    Du übersiehst eventuell, dass du dir das Hostsystem, auf dem unter anderem auch einer deiner virtuellen Maschinen S 8000 G7 installiert ist, noch mit weiteren Kunden teilst und du somit nicht exklusiv die Leistung des Hostsystem nutzen kannst. Von daher auch diese unterschiedlichen Ergebnisse der einzelnen VM´s S 8000 G7.