Bist Du wirklich 100% sicher, dass das Problem beim Server zu suchen ist? Vielleicht blockiert irgendwas auf Deinem PC, am Router oder der Internetanbieter den Port?
Eventuell einmal einen zweiten SSH-Port (>50000) eintragen und darüber testen. Und mit irgendwelchen Online-Tools schauen, ob TCP-Ports wirklich über IPv6 erreichbar sind. Gerne kannst Du mir auch mal die IPv6-Adresse und den SSH-Port per PN ("Konversation") senden, dann versuche ich mal eine Verbindung von extern aufzubauen. Zugangsdaten brauche ich dafür ja nicht, es soll ja nur der TCP-Verbindungsaufbau getestet werden. 
Edit: Moment mal, dass Proxmox im Spiel ist, lese ich erst jetzt. Bist Du wirklich ganz sicher, dass andere IPv6-Dienste der Gastsysteme von extern erreichbar sind? Das riecht nämlich nach einer ganz anderen Problematik. (Stichwort NDP)