Hi an alle Profis,
in meinen Apache Errorlogs stehen immer solche Einträge: --> Siehe Pastebin: OSSEC - Pastebin.com
Es sind immer die IPs aus dem Range 51.255.65.0/24
Eine Recherche hat ergeben, dass das der Range eines Spiders ist --> Ahrefs - backlinks research tool
Ich würde jetzt gerne diesen Robot von meinem Server verbannen. Dazu habe ich eine robots.txt erstellt die so ausschaut:
In den Logs sehe ich auch, dass ahrefs.com diese robots.txt schon mehrfach abgerufen hat. Das Problem ist jetzt, dass ihn das nur nicht interessiert. Mein Server wird immer noch von denen abgegriffen.
Habt ihr eine Idee, wie ich ahrefs.com, also den kompletten IP-Range aussperren kann?
Für fail2ban habe ich eine ip.blacklist wo ich einzelne IPs sperre. Dort habe ich bereits den kompletten Range eingegeben. Nur irgendwie funktioniert das im Vergleich zu den anderen eingepflegten IPs nicht.
Vielen Dank und Gruß
Hount