GlusterFS nicht nutzbar

venomone · Jul 15th 2020

Hallo,

ich hab bei netcup einige meiner Server (KVM Root Server) mit einem VLAN-Giga untereinander verbunden allerdings kann ich unter GlusterFS sobald das VOlume angelegt und eingehangen ist

keine files schreiben oder lesen da die performance exterm langsam ist. Wenn ich 1 minute oder so warte bekomme ich einen file-handle durch allerdings ist das nicht Sinn und Zweck der Sache ...

Ist jemanden diese Problematik bekannt?

Hab es auch schon mit und ohne direct_io versucht bei den mount option, leider ohne besserung.

Langsam hab ich das Gefühl dass es das Netz/vLAN darunter ist, wer kann helfen?

Das ganze sieht bei mir aktuell so aus:

Code

gluster volume create datastore replica 3 transport tcp sto{1..6}:/glusterfs/datastore force


gluster volume set datastore cluster.lookup-optimize on
gluster volume set datastore cluster.min-free-disk 5%
gluster volume set datastore cluster.ensure-durability on
gluster volume set datastore cluster.self-heal-daemon on
gluster volume set datastore performance.cache-refresh-timeout 10
gluster volume set datastore performance.write-behind-window-size 64MB
gluster volume set datastore performance.flush-behind off
gluster volume set datastore performance.cache-size 128MB
gluster volume set datastore performance.io-thread-count 16
gluster volume set datastore performance.client-io-threads off
gluster volume set datastore performance.stat-prefetch off
gluster volume set datastore performance.readdir-ahead on
gluster volume set datastore nfs.disable on # Disable NFS
gluster volume set datastore nfs.addr-namelookup off
gluster volume set datastore server.event-threads 8
gluster volume set datastore rebal-throttle normal
gluster volume set datastore performance.rda-cache-limit 10MB
gluster volume set datastore network.compression.compression-level -1
gluster volume set datastore network.compression off
gluster volume set datastore auth.allow 10.10.10.*
gluster volume set datastore client.event-threads 8



gluster volume create config replica 3 transport tcp sto{1..6}:/glusterfs/config force


gluster volume set config cluster.lookup-optimize on
gluster volume set config cluster.min-free-disk 5%
gluster volume set config cluster.ensure-durability on
gluster volume set config cluster.self-heal-daemon on
gluster volume set config performance.cache-refresh-timeout 1
gluster volume set config performance.write-behind-window-size 2MB
gluster volume set config performance.flush-behind on
gluster volume set config performance.cache-size 64MB
gluster volume set config performance.io-thread-count 16
gluster volume set config performance.client-io-threads on
gluster volume set config performance.stat-prefetch on
gluster volume set config performance.readdir-ahead on
gluster volume set config nfs.disable on # Disable NFS
gluster volume set config nfs.addr-namelookup off
gluster volume set config server.event-threads 8
gluster volume set config rebal-throttle normal
gluster volume set config performance.rda-cache-limit 10MB
gluster volume set config network.compression.compression-level -1
gluster volume set config network.compression off
gluster volume set config auth.allow 10.10.10.*
gluster volume set config client.event-threads 8



gluster volume start datastore
gluster volume start config


Mount optionen:

sto1:/datastore /mnt/datastore glusterfs defaults,_netdev 0 0
sto1:/config /mnt/config glusterfs defaults,_netdev 0 0

Display More

H6G · Jul 15th 2020

Quote from venomone

ich hab bei netcup einige meiner Server (KVM Root Server)

Welche Server verwendest du?

Verhält sich die Config genau so, wenn du das über die public Interfaces testest?

Wie sind die Interfaces konfiguriert? Wie der DNS?

vmk · Jul 15th 2020

Also generell funktioniert GlusterFS mit dem kostenlosem vLAN. Ich hatte da keine negativen Erfahrungen mit gemacht.

michaeleifel · Jul 15th 2020

Ich gehe mal von aus dass die Konfiguration entsprechend auf die internen Interface gelegt ist und nicht rein zufällig doch die public nutzt?

Hatte zuerst glusters, mittlerweile Ceph und kann mich nicht über Performance beschweren. MTR zeigt avg. 0.4ms zwischen den Nodes bei meinen AdHoc Tests:

Code

HOST: srv1               Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 172.16.0.11       0.0%   100    0.4   0.4   0.3   0.7   0.1

Hab auch mal in mein altes Ansible Playbook für glusterfs geguckt. Hab dabei immer die Internen IPs und keine Hostnamen etc. verwendet für alle Fälle. Hast du paar Details bereit welches OS, GlusterFS Version etc?

Tags