Abgeschaltet hast du das in der sshd Konfiguration nehme ich an, die VNC-Konsole authentifiziert aber über getty. Da müsste man die getty-Dienste abschalten oder die PAM-Konfiguration ändern.
EDIT: Alternativ kann man natürlich auch den Login in der passwd/shadow deaktivieren und nur sudo nutzen, so wie das meines Wissens in Ubuntu gelöst ist.