Moin,
ich würde immer ein Minimal - Image wählen zur Grundinstallation.
Dann kannst du selbst entscheiden und kontrollieren was installiert wird.
(z. B. bei Ubuntu https://help.ubuntu.com/community/Installation/MinimalCD )
Davon abgesehen gehört ein Desktop, welcher auch immer, nicht auf einen Server.
Wenn du einen Linux Server betrieben möchtest, dann doch bitte auch nur das installieren was du wirklich auf einem Server benötigst.
PS : Kleine Lektüre Empfehlung