Ich persönlich sehe das mit ssh inzwischen recht entspannt.
Langes, sicheres Passwort, das man sich gut merken kann und nirgendwo aufschreiben muss und gut ist.
Man sollte sich eher um die Löcher sorgen, die durch die Anwendungen und den Webserver entstehen.