Gewöhn dich daran, dass ist normales Hintergrundrauschen, welches du zwar im Auge behalten solltest, aber nicht weiter beachten musst.
Was meist auch hilft ist das Verlegen des SSH Ports, da hierüber du dir schonmal so gut wie alle "bösen" Script Kiddies vom Hals hälst, dich ganze Blöcke scannen.
Nun denn, deine Lösung nennt sich Denyhosts und SSH Publickey Auth