Vorweg (sorry ich kann nicht anders):
Es ist eine Schnapsidee auf einem "scharfen" 100MBit Root Server X zu installieren. Das öffnet mehr Lücken als es nutzen bringt. Jede App die unnötig auf einem Server läuft bringt Gefahren mit.
Es empfiehlt sich immer mit einem Webpanel oder gar komplett über ein Terminal zu arbeiten.
Zum Thema:
In wie fern hast Du denn alles Installiert? X11? Gnome? KDE?
Soweit ich weiß (hab es selbst noch nie gemacht) muss eine aktive X11 Session laufen, damit das funktioniert. Sprich man müsste einen Loginmanager wie GDM/KDM/XDM installieren, der X als Dienst startet, und auch "an behält".
Es biete sich auch an, via VNC mit der "Wacke-on-Login" (Weiß nicht wie das richtig heißt) Funktion zu Arbeiten. Dann wird X erst angeschaltet, wenn man sich einloggt. Und das verkleinert das Risiko wenigstens etwas...