Low-Profile GPU (Mini-ITX) für VT-d Passthrough?

  • Ich brauche mal euer Schwarmwissen: Ich würde mit so einem Setup gerne mittels Proxmox VE experimentieren, mit Linux und Windows als Gastsystem. :)


    Ich habe allerdings absolut keine Ahnung, was am GPU-Markt derzeit abgeht und worauf man achten sollte. Habt ihr da irgendwelche Hardwareempfehlungen im leistbaren Bereich? :/


    Das Ding muss keine aktuellen Games mit max. FPS schaffen, das Leistungsniveau von aktuellen iGPUs würde theoretisch schon ausreichen. Je weniger Abwärme es gibt, umso besser. Hardware die es nur noch auf dem Gebrauchtmarkt gibt, kommt durchaus auch in Frage. Wichtig ist halt nur, dass die Grafikkarte garantiert problemlos an eine KVM-VM durchgereicht werden kann. Vielleicht hat damit schon jemand Erfahrungen gesammelt.

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

    Edited 2 times, last by KB19 ().

  • Zum Thema welche Grafikkarte kann ich leider nicht viel beitragen.

    Wichtig ist halt nur, dass die Grafikkarte garantiert problemlos an eine KVM-VM durchgereicht werden kann. Vielleicht hat damit schon jemand Erfahrungen gesammelt.

    Derzeit arbeite ich daran, meinen Router zu virtualisieren. Hierbei habe ich mir eine Netzwerkkarte mit SFP+-Ports besorgt und diese Karte reiche ich komplett an die VM durch. Wichtig war, dass das Mainboard (AMD-Umgebung) auch IOMMU unterstützt. Hier sollte VT-d das äquivalent sein, welches du schon erwähnst hast.


    Mir ist hier nicht bekannt, dass eine Grafikkarte das noch extra unterstützen müsste. Bei Netzwerkkarten aber schaut man gerne noch, dass diese SR-IOV unterstützen.

  • Vielleicht hat damit schon jemand Erfahrungen gesammelt.

    Geht mit beiden Herstellern.

    Bei nVidia kann man gut das Noveau Modul blockieren, damit vfio die Karte claimen kann.

    Die VM selbst braucht eine Vendor ID. Kann man eigentlich "GenuineIntel" eintragen - und dann zickt der Treiber Installer nicht mehr.


    Bei AMD gab es IMHO keine Probleme.

    Hier mal meine Anleitung dazu: https://steemit.com/linux/@uni…make-yourself-a-gaming-vm


    Damals noch unter Intel mit einer iGPU für den Host und Nvidia für die VM.

    Heute AMD CPU, eine Radeon PRO WX 2100 für den Host und nvidia GTX 1080 für die VM.


    Gute Anlaufstelle ist auch Reddit: https://www.reddit.com/r/VFIO/

    Da nach Proxmox gesucht gibt es einige Ergebnisse.

  • Mir ist hier nicht bekannt, dass eine Grafikkarte das noch extra unterstützen müsste.

    Mich irrittierte nur, dass ich über einige Beiträge gestolpert bin, in denen immer wieder die Rede von bestimmten inkompatiblen Grafikkarten war.


    Dass einige Programme oder Spiele in VMs den Start verweigern, ist wieder eine andere Geschichte. Dafür kann die Grafikkarte ja nichts. Das sollte mit den richtigen KVM-Argumenten hoffentlich kein Problem sein.

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

  • Ich hab hier noch eine GT710 rumliegen, ca. 2 Jahre alt (ohne Lüfter).. die kann weg.

    Die lief mit Unraid immer 1A. (auch durchgereicht in VMs). Natürlich nichts für Gamer. Fotos gerne auf Anfrage.

    RS 3000 G9.5 SE auch genannt OST22 L - 24 GB RAM, 8 Kerne, AMD Epyc, 960 GB SSD

    Webhosting 8000 SE BF22

    Edited once, last by KrisAusEU ().

  • Ja, die 710er werden auch gerne in Servern verbaut. Z.b. rotes H

    VPS Secret • VPS 200 G8 • 4x VPS piko G11s • 2x RS 1000 G9.5 SE NUE • RS Cyber Quack • VPS 1000 ARM G11 VIE

    c@compi.moe

  • Mich irrittierte nur, dass ich über einige Beiträge gestolpert bin, in denen immer wieder die Rede von bestimmten inkompatiblen Grafikkarten war.

    Die Profikarten von nvidia weigern sich (Tesla, Quadro) - dafür will nvidia nämlich eine Lizenz sehen, damit du die durchreichen kannst. (vGPU Feature).


    Hier steht noch was zur Kompatibilität, vorallem paar AMD Karten haben wohl "Bugs": https://pve.proxmox.com/wiki/Pci_passthrough#GPU_Passthrough

    Damals als ich mit dem Zeug angefangen habe, gab es auch Kompatibilitätslisten - die finde ich auf die schnelle aber nicht.

  • Ich hab hier noch eine GT710 rumliegen […]

    Ok, ein wenig mehr Leistung darf es dann doch sein. Da kommt meine fast 8 Jahre alte iGPU fast auf bessere Werte ^^


    Trotzdem Danke fürs Angebot! :)

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

  • Gab es nicht auch mal die Möglichkeit Grafikkarten künstlich zu erschaffen? Also virtuell, direkt unter der VM?

    Ist 15 Jahre her das ich damit rumgespielt hab und es war eine WindowsVM.
    Ich meine sowas gab es auch für Linux.

    Keine Ahnung ob das weiterentwickelt wurde. Es fraß natürlich viele Ressourcen.

  • Ok, ein wenig mehr Leistung darf es dann doch sein. Da kommt meine fast 8 Jahre alte iGPU fast auf bessere Werte ^^

    Ja, ist wohl eher ne Schildkröte ;( die RTX2060 ist leider schon verkauft..


    Aber bevor sie irgendwann im Müll landet für 20 Euro kann sie weg. Hab btw. auch noch nen arbeitslosen Ryzen 5 3600, ein Mainboard Asus B550 und 32 GB DDR4-Ram.. Garniert mit einen schicken Noctua NH-C14S, Premium CPU Kühler

    RS 3000 G9.5 SE auch genannt OST22 L - 24 GB RAM, 8 Kerne, AMD Epyc, 960 GB SSD

    Webhosting 8000 SE BF22

  • Hab btw. auch noch nen arbeitslosen Ryzen 5 3600, ein Mainboard Asus B550 und 32 GB DDR4-Ram.. Garniert mit einen schicken Noctua NH-C14S, Premium CPU Kühler

    Letzte Preis?

    VPS Secret • VPS 200 G8 • 4x VPS piko G11s • 2x RS 1000 G9.5 SE NUE • RS Cyber Quack • VPS 1000 ARM G11 VIE

    c@compi.moe

  • Gab es nicht auch mal die Möglichkeit Grafikkarten künstlich zu erschaffen? Also virtuell, direkt unter der VM?

    Natürlich, aber entweder funktioniert der ganze 3D-Kram dann gar nicht oder nur sehr eingeschränkt. ;( :)


    Vor allem will ich da explizit einen eigenen Bildschirm an die VM hängen und nicht mit VNC o.ä. Krücken arbeiten. Das Test-Hostsystem selbst hat sowieso nur einen VGA-Anschluss, der über eine mickrige AS2400/AS2500 (BMC) angebunden ist.


    Mir ist hier nicht bekannt, dass eine Grafikkarte das noch extra unterstützen müsste.

    Dazu nochmals eine Ergänzung: Wenn ich an die damaligen Tests (2021) mit einer simplen USB-Erweiterungskarte zurückdenke, spricht das leider eine andere Sprache. Spätestens nach dem Stoppen der VM fingen die Probleme bei einem erneuten Start der VM an, weil viele Controller nicht korrekt resetten werden konnten. Würde mich nicht wundern, wenn manche Grafikkarten genauso verbuggt sind. (Wie von H6G teilweise auch schon erwähnt/verlinkt.)

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

    Edited 2 times, last by KB19 ().

    Like 2
  • Dazu nochmals eine Ergänzung: Wenn ich an die damaligen Tests (2021) mit einer simplen USB-Erweiterungskarte zurückdenke, spricht das leider eine andere Sprache. Spätestens nach dem Stoppen der VM fingen die Probleme bei einem erneuten Start der VM an, weil viele Controller nicht korrekt resetten werden konnten.

    Da gehört halt auch eine ganze Stange Software mit dazu.


    Code
    09:00.0 VGA compatible controller [0300]: NVIDIA Corporation GP104 [GeForce GTX 1080] [10de:1b80] (rev a1)
        Subsystem: NVIDIA Corporation Device [10de:119e]
        Kernel driver in use: vfio-pci
        Kernel modules: nouveau

    Geräte die Initialisiert werden müssen, haben da Einschränkungen.

    In meinen damaligen Tests war es bspw. wichtig, wie schnell ein Kernelmodul lädt.

    Hat das nvidia Modul zu schnell geladen, konnte die Karte nicht mehr an die VM weitergereicht werden.


    Bei Systemen mit zwei nvidia Karten (eine für den Host, eine für den Gast) haben wir teilweise das properitäre Modul genutzt, weil das einfach abgrundtief langsam lädt. Teilweise mit ein wenig Spaß im intiramfs und Neustarts des Display Servers / Managers.


    Das haben wir ins modprobe initramfs reingepackt:


    Bash
    #!/bin/sh
    
    DEVS="0000:09:00.0 0000:09:00.1"
    
    for DEV in $DEVS; do
        echo "vfio-pci" > /sys/bus/pci/devices/$DEV/driver_override
    done
    
    modprobe -i vfio-pci


    Bei Soundchips, die nicht großartig initialisiert werden müssen, braucht man da keine umfangreiche Software.

    Bei USB-VGA Karten? Die werden meistens durch die CPU direkt beschickt, brauchen Framebuffer Initialisierung, haben kein DMA etc.


    Vielleicht lohnt es sich diesmal auch die Kernel Doku zu lesen:

    https://docs.kernel.org/driver-api/vfio.html

    Finde ich jedenfalls interessant. "Well behaved" devices.

  • Ich habe mir von der arbeite eine ausgemusterte Nvidia Quadro K4000 evt. war es auch eine K2000 oder sowas mitgenommen. (Ebay Preis <40 EUR)
    Die unterstützt alles Mögliche und reicht vollkommen aus.
    Leider bekam ich sowohl unter UBUNTU, UnRAID als auch Proxmox kein Bild auf dem Monitor wenn die Karte einer VM zugewiesen wird.


    Hat wohl was damit zu tun, dass der PCI Slot in einer Gruppe mit der CPU ist ?!

    Auch nach viel fummeln, extra Kernel installiere usw. lief es nicht.
    Daher wäre mein Tipp, achte vor allem auf die IOMMU Unterstützung vom Mainboard :D

  • Daher wäre mein Tipp, achte vor allem auf die IOMMU Unterstützung vom Mainboard :D

    Danke für den Hinweis! Daran sollte es bei meinen zwei Boards nicht scheitern, ist alles in eigenen Gruppen. :)

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

    Edited once, last by KB19 ().