Joa das ist halt das norrmale Grundrauschen, das durch deine default policy in UFW geblockt wird. Nehme ich zumindest an, da du sagst dass du Port 23 nirgends verwendest.
Wird bei dir ähnlich eingerichtet sein nehme ich an?
$ sudo ufw status verbose
Status: active
Logging: on (low)
Default: deny (incoming), allow (outgoing), disabled (routed)
New profiles: skip
To Action From
-- ------ ----
80/tcp ALLOW IN Anywhere
443/tcp ALLOW IN Anywhere
80/tcp (v6) ALLOW IN Anywhere (v6)
443/tcp (v6) ALLOW IN Anywhere (v6)
Alles anzeigen
Der springende Punkt ist der Default-Wert für incoming Traffic: deny (incoming). UFW blockt halt alles, außer das was du explizit freigibst (in meinem Beispiel http/https). Das taucht dann auch je nach Loglevel in den Logs auf. Dank des allwärtigen Grundrauschens sind das üblicherweise viele Einträge, vor allem auf Standardports.
Fail2Ban wiederum fügt erst eigene Block-Regeln hinzu, wenn einer seiner Filter etwas in deinen Logs (zb /var/log/auth.log für ssh) findet und sperrt dann gezielt Ports und IPs, die sonst die eigenen Regeln passieren würden. Und erst hier spricht man dann üblicherweise halt auch von einem (temporären) Ban.
Wie gesagt, löse ruhig selbst einen Ban gezielt aus und prüfe, ob deine Filter auch sauber arbeiten. Vor allem wenn man keine Standardports verwendet, ist es wichtig, dies an allen Stellen zu berücksichtigen und zu testen.