Wenn Du wie gschrieben einfach nur ein gängiges Minimal Image installiert hast, z.B. "Debian 12 minimal" .. kann es ja eigentlich nicht an Dir liegen.
Auch die muss man erst mal einrichten. Wie hier schon steht: DHCP funktioniert nicht. Man muss eine saubere, händische Konfiguration erzeugen, und dabei Import-Dateien wie die 50-cloud-init.cfg beachten, die gerne mal vor der eigenen Konfiguration geladen werden.
Wie sieht die Analyse bei der IPv6 Konnektivität aus? Routen, Traceroutes von innen und von außen?
Was du auch mal machen könntest: Was kommt bei einem tcpdump alles vorbei? Sind da Pakete deines Routers? Funktioniert die ARP Auflösung bzw. die Neighbour Discovery? Das können alles Hinweise sein, ob es eher an dir oder an der Infrastruktur liegt.