IOPS-Testvergleich zwischen der Generation RS XXXX G11 und RS XXXX G9.5

andreas. · 8. März 2024

Ich habe da mal ein IOPS-Test für einen RS 8000 G11 und einen RS 8000 G9.5 durchgeführt.

Schaut man sich folgende Werte an, so nehmen sich die beiden Generationen in Bezug der IOPS nichts.

Schaut man sich aber das Ergebnis des RS 8000 G9.5 genauer an, so ist das Ergebnis für die IOPS bezogen auf die Schwankungsbreite sehr unruhig und von daher gegenüber der neueren Generation extrem schlecht. Mehr siehe folgende Meßergebnisse:

RS 8000 G11

Code

time fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=8G --readwrite=randrw
test: (g=0): rw=randrw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=64
fio-3.19
Starting 1 process
test: Laying out IO file (1 file / 8192MiB)
Jobs: 1 (f=1): [m(1)][100.0%][r=34.3MiB/s,w=34.5MiB/s][r=8784,w=8841 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=2499: Fri Mar  8 21:49:30 2024
read: IOPS=8311, BW=32.5MiB/s (34.0MB/s)(4098MiB/126240msec)
bw (  KiB/s): min=26698, max=36248, per=100.00%, avg=33280.85, stdev=1988.63, samples=251
iops        : min= 6674, max= 9062, avg=8320.09, stdev=497.14, samples=251
write: IOPS=8301, BW=32.4MiB/s (34.0MB/s)(4094MiB/126240msec); 0 zone resets
bw (  KiB/s): min=26267, max=37112, per=100.00%, avg=33240.71, stdev=2153.39, samples=251
iops        : min= 6566, max= 9278, avg=8310.07, stdev=538.37, samples=251
cpu          : usr=3.70%, sys=11.31%, ctx=1396554, majf=0, minf=8
IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
issued rwts: total=1049199,1047953,0,0 short=0,0,0,0 dropped=0,0,0,0
latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
READ: bw=32.5MiB/s (34.0MB/s), 32.5MiB/s-32.5MiB/s (34.0MB/s-34.0MB/s), io=4098MiB (4298MB), run=126240-126240msec
WRITE: bw=32.4MiB/s (34.0MB/s), 32.4MiB/s-32.4MiB/s (34.0MB/s-34.0MB/s), io=4094MiB (4292MB), run=126240-126240msec

Disk stats (read/write):
vda: ios=1048769/1047428, merge=0/0, ticks=4081577/3972517, in_queue=8054095, util=100.00%

real    2m31,726s
user    0m6,421s
sys     0m30,422s

Schwankungsbreite der IOPS (read): min=6674, max=9062, avg=8320.09, stdev=497.14, samples=251
Schwankungsbreite der IOPS (write): min=6566, max=9278, avg=8310.07, stdev=538.37, samples=251

Alles anzeigen

RS 8000 G9.5

Code

time fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=8G --readwrite=randrw
test: (g=0): rw=randrw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=64
fio-3.19
Starting 1 process
test: Laying out IO file (1 file / 8192MiB)
Jobs: 1 (f=1): [m(1)][100.0%][r=21.8MiB/s,w=22.3MiB/s][r=5575,w=5701 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=14385: Fri Mar  8 21:54:21 2024
read: IOPS=8356, BW=32.6MiB/s (34.2MB/s)(4098MiB/125556msec)
bw (  KiB/s): min=   32, max=95297, per=100.00%, avg=34890.72, stdev=28408.01, samples=239
iops        : min=    8, max=23824, avg=8722.54, stdev=7101.99, samples=239
write: IOPS=8346, BW=32.6MiB/s (34.2MB/s)(4094MiB/125556msec); 0 zone resets
bw (  KiB/s): min=   40, max=97940, per=100.00%, avg=34847.66, stdev=28356.16, samples=239
iops        : min=   10, max=24485, avg=8711.77, stdev=7089.01, samples=239
cpu          : usr=2.39%, sys=12.20%, ctx=682393, majf=1, minf=7
IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
issued rwts: total=1049199,1047953,0,0 short=0,0,0,0 dropped=0,0,0,0
latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
READ: bw=32.6MiB/s (34.2MB/s), 32.6MiB/s-32.6MiB/s (34.2MB/s-34.2MB/s), io=4098MiB (4298MB), run=125556-125556msec
WRITE: bw=32.6MiB/s (34.2MB/s), 32.6MiB/s-32.6MiB/s (34.2MB/s-34.2MB/s), io=4094MiB (4292MB), run=125556-125556msec

Disk stats (read/write):
vda: ios=1048707/1047193, merge=0/0, ticks=4038994/4072494, in_queue=8165280, util=99.67%

real    2m39,126s
user    0m5,290s
sys     0m41,094s

Schwankungsbreite der IOPS (read): min=8, max=23824, avg=8722.54, stdev=7101.99, samples=239
Schwankungsbreite der IOPS (write): min=10, max=24485, avg=8711.77, stdev=7089.01, samples=239

Alles anzeigen

Vergleicht man die IOPS-Werte der Generation G11 mit einem Dedicated Server vom Mitbewerber, so sieht man daran auch gut, dass derzeit die Generation G11 wirklich gut sind.

Dedicated Server mit NVMe SSD´s, Software-RAID 1

Code

time fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --bs=4k --iodepth=64 --size=8G --readwrite=randrw
test: (g=0): rw=randrw, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=libaio, iodepth=64
fio-3.19
Starting 1 process
test: Laying out IO file (1 file / 8192MiB)
Jobs: 1 (f=1): [m(1)][100.0%][r=31.9MiB/s,w=32.3MiB/s][r=8155,w=8268 IOPS][eta 00m:00s]
test: (groupid=0, jobs=1): err= 0: pid=6219: Fri Mar  8 22:02:07 2024
read: IOPS=7106, BW=27.8MiB/s (29.1MB/s)(4098MiB/147630msec)
bw (  KiB/s): min=15360, max=32904, per=100.00%, avg=28461.64, stdev=3168.60, samples=294
iops        : min= 3840, max= 8226, avg=7115.37, stdev=792.17, samples=294
write: IOPS=7098, BW=27.7MiB/s (29.1MB/s)(4094MiB/147630msec); 0 zone resets
bw (  KiB/s): min=15312, max=33512, per=100.00%, avg=28426.83, stdev=3273.65, samples=294
iops        : min= 3828, max= 8378, avg=7106.67, stdev=818.43, samples=294
cpu          : usr=5.59%, sys=10.16%, ctx=1020045, majf=1, minf=7
IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=0.1%, 32=0.1%, >=64=100.0%
submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
issued rwts: total=1049199,1047953,0,0 short=0,0,0,0 dropped=0,0,0,0
latency   : target=0, window=0, percentile=100.00%, depth=64

Run status group 0 (all jobs):
READ: bw=27.8MiB/s (29.1MB/s), 27.8MiB/s-27.8MiB/s (29.1MB/s-29.1MB/s), io=4098MiB (4298MB), run=147630-147630msec
WRITE: bw=27.7MiB/s (29.1MB/s), 27.7MiB/s-27.7MiB/s (29.1MB/s-29.1MB/s), io=4094MiB (4292MB), run=147630-147630msec

Disk stats (read/write):
vda: ios=1049681/1047681, merge=0/0, ticks=4774103/4644927, in_queue=9427663, util=100.00%

real    2m56.692s
user    0m10.146s
sys     0m33.332s

Schwankungsbreite der IOPS (read): min=3840, max=8226, avg=7115.37, stdev=792.17, samples=294
Schwankungsbreite der IOPS (write): min=3828, max=8378, avg=7106.67, stdev=818.43, samples=294

Alles anzeigen

sla · 8. März 2024

Für eine ganzheitliche Analyse müsste netcup mal droppen, wie sie das mit den IOPS handhaben. Bei KVM kann man die nämlich limitieren. Ohne diese Info tappt man eigentlich nur im dunkeln.

Dennoch finde ich es erschreckend, dass eine NVMe mehr oder weniger die selben IOPS liefert wie eine SAS SSD (oder SATA, keine Ahnung was netcup verbaut). Da hat vielleicht jemand vergessen das Template für die VMs anzupassen bzgl. NVMe und IOPS...

H6G · 9. März 2024

Zitat von sla

Dennoch finde ich es erschreckend, dass eine NVMe mehr oder weniger die selben IOPS liefert wie eine SAS SSD (oder SATA, keine Ahnung was netcup verbaut).

Warum? Zwei SAS Kanäle sind auch Vollduplex mit entsprechenden Bandbreiten dahinter.

Der limitierende Faktor wird da wahrscheinlich der RAID Controller sein.

Tags