Durch deine 3 letzten Punkte hast du schon deutlich mehr als die allermeisten Leute, würde ich mal behaupten.
Ist doch auch so.. man ist ja nicht in Fort Knox. Angenommen man sperrt den Root Login und setzt einen schwierigen Port.
Dann braucht der Angreifer den Port, muss einen beliebigen User erraten, dessen schwieriges Passwort herausfinden und am Ende noch für SU das schwierige Root Passwort ermitteln.
Die Keys sind für mich eigentlich nur interessant damit man keine Klartext Passwörter in Scripts benutzen muss.
Man kann das natürlich Weiterspinnen.. aber das setzt letzendlich voraus, das jemand in unmittelbarere nähe im eigenen Umfeld quasi ein Kollege, Mitbewohner Hacker ist und einem etwas Böses will.