Wenn Dein SSH-Key keine Passphrase haben soll, musst Du das am Client lösen und nicht am Server. Mit der genannten Konfiguration würdest Du nur die Passwort-Authentifizierungsmethode deaktivieren.
Prinzipiell gibt es für Dein Anliegen zwei Möglichkeiten:
Kann ich die Abfrage Serverseitig für meinen Client deaktivieren?
Nein.
Das ist alles reine Client Sache. Der Server bekommt beim Login nur einen Fingerprint des Keys und danach die entschlüsselte Challenge als Nachweis über den Besitz des Privaten Schlüssels.
Ob du den Privaten Schlüssel auf deinem Client mit einem Passwort schützt, entscheidest du allein auf dem Client. Entweder beim Erstellen des Keys die Frage nach dem Passwort leer lassen, oder nachträglich beim Passwort Ändern das neue Passwort leer lassen.
Die Konsequenz daraus sollte dir aber klar sein: Sollte dir der Private Schlüssel abhanden kommen. Seis durch böswillige Software auf deinem Gerät, oder physischer Verlust des gesamten Geräts, kann sich jeder sofort mit diesem Key einloggen. Du musst dieses in dem Fall also umgehenden vom Server entfernen. (Und hoffen, dass du den Verlust rechtzeitig bemerkst)
