Vielleicht noch ein paar kleine Anmerkungen, die helfen könnten:
* Wenn du Teile auf den VPS auslagerst, musst du dort auch SSL terminieren (z.B. mit einer extra Domain images.mydomain.tld)
* Beachte aber, dass rein statischer Content auf dem Webhosting auch sehr schnell ausgeliefert wird. Netcup setzt da ja mittlerweile auch einen nginx proxy ein. Ob ein eigener VPS das wirklich so viel schneller kann, bezweifle ich ein wenig.
* Was auf dem Webhosting natürlich langsamer ist, sind die ganzen PHP/DB Abfragen, also der ganze Content, der quasi on-the-fly generiert werden muss. Da würde sich ein eigener VPS natürlich schon lohnen.
* Alternativ brauchst du einen eigenen Caching Server. Das könnte z.B. ein wie von mir oben erwähnter Varnish sein, oder auch ein nginx mit proxy_cache. (Nebenbemerkung: Bei Cloudflare ist es im Grunde auch ein nginx), der dann die "generierten" Seiten aus dem Cache ausliefern kann, so dass das PHP/DB Backend entlastet wird. Das kann allerdings je nach Anwedung/Webseite aufwendig/kompliziert sein. Ist aber definitiv möglich und wäre quasi dein eigener CDN Dienst.
* Von was für einem VPS reden wir denn überhaupt? Bei einem kleinen VPS200 ist das dann natürlich auch wieder viel Aufwand für wenig Nutzen 