Also nochmal Danke für alle Anregungen.
Ich konnte die doch teilweise langen Zugriffzeiten durch folgende Dinge verringern. Der Aufruf ist schon deutlich besser für den moment geworden.
Dabei hat mir die Seite https://pagespeed.web.dev etwas geholfen.
1. Größe der Bilder (Logos, Hintergrundbild usw.) veringert und teilweise in WebP umgewandelt
2. Forum interne Cronjobs die am Tage nicht benötigt werden, in die Nacht verlegt
3. eine Aufgabe (Cronjob) bei netcup angelegt, die das Forum 1x Stündlich aufruft, damit der Cache erhalten bleibt
4. Bad Crawler Bots ausgesperrt
Die langen Zugriffzeiten zum Server kann ich nicht reduzieren und schwanken stark, das liegt ja denk ich mal leider an netcup
2021-12-13 16_10_51-CN=Microsoft Windows, O=Microsoft Corporation, L=Redmond, S=Washington, C=US.jpg