Wenn es nicht unbedingt Passthrough sein muss: Ich habe leider erst jetzt von USB/IP erfahren, was wohl generell recht unbekannt zu sein scheint (vielleicht aus gutem Grund?) aber das könnte was für dich sein:
https://www.linux-magazine.com/Issues/2018/208/Tutorial-USB-IP
https://www.heise.de/select/ix/2016/2/1454730392228766
Vom Host zur VM sollte das über Ethernet auch gehen. Je nach Gerät und nötiger Geschwindigkeit wird das aber keine Option sein
Ich benutze das mit einem PI als USB-Server für langsame Geräte (Plotter/Drucker).
Es gibt von SEH recht gut funktionierende Produkte: https://www.seh-technology.com/de/produkte/usb-deviceserver.htm
Haben wir bei uns seit einigen Jahren für Dongles aller Art im Einsatz.