ARM Server => DDoS-Schutz & SSD-Performance inklusive ?

DDos Schutz gibt es nur für Root Server und Managed Server, siehe https://www.netcup.com/de/ueber-netcup/ddos-schutz

Einen Root Server nehmen weil die ARM aktuell alle ausverkauft sind

Wie so oft gibt es hierzu offenbar widersprüchliche Informationen. In den Produktdetails steht, dass es einen DDOS-Schutz fürARM-Server gibt.

Ich dachte DDoS wäre überall aktiv - steht zumindest bei den VPS auch als Feature:

Zitat von gem

Ich dachte DDoS wäre überall aktiv - steht zumindest bei den VPS auch als Feature:

Sofern ich mich nich Irre, ist es überall aktiv. Es ist zumindest überall als Feature angegeben, daher wäre es komisch, wenn es anders wäre.

Sonst mit Cloudflare, da kann man ja den Proxy auch manuell umschalten und Under Attack Modus gibt es auch.
Gegen die AI Bots hat mir der DDoS Schutz auf den Root Server nicht so viel gebracht im Vergleich zu VPS.

Zitat von friend_of_root

Gegen die AI Bots hat mir der DDoS Schutz auf den Root Server nicht so viel gebracht im Vergleich zu VPS.

Konntest du auf dem Root-Server durch die AI-Bots mehr negative Auswirkungen feststellen als auf dem VPS, oder hält sich das in etwa die Waage?

Zitat von darkness

Konntest du auf dem Root-Server durch die AI-Bots mehr negative Auswirkungen feststellen als auf dem VPS, oder hält sich das in etwa die Waage?

DDoS scheint nur zu wirken, wenn der Angriff aus einem bekannten Botnetzwerk kommt. Es kommt bei mir bislang noch nie merkbar zum Einsatz.

In der Übersicht ist der DDos-Schutz auch zu sehen:

Aus meiner Sicht sind die Zugriffe der AI Bots kein DDoS. Das sind legitime Zugriffe, wenn auch sehr viele. Die warten auch brav auf Antwort und brechen die Verbindung nicht nach dem ersten Paket ab usw. Nur weil der Server zu klein für die Anzahl der anfragenden Systeme ist, ist das kein DDoS. Eher eine Kapazitätslücke.

Für mein Verständis gehts hier um den Schutz vor klassischem Netzwerk-DDoS das auf die Bandbreite zielt oder die Netzwerkinfrastruktur – nicht auf die Anwendung selbst.

Sehe ich auch so. Natürlich sind das legitime Zugriffe, die nicht unter DDOS-Attacke fallen. Was mich aber nicht hindert, die AI-Bots zu blocken. Für mich haben die keinen Nutzen. Wenn sie mir für die abgesaugten Inhalte was zahlen würden, die sie dann letztlich eventuell an ihre Kunden weiterverkaufen, dann könnte man darüber reden ... So aber müssen sie erst mal mit fail2ban verhandeln.

Zitat von tab

... So aber müssen sie erst mal mit fail2ban verhandeln.

Wie hast du fail2ban für die AI-Bots konfiguriert?

Zitat von tab

Was mich aber nicht hindert, die AI-Bots zu blocken.

https://github.com/ai-robots-txt/ai.robots.txt

Mit einer robots hältst du keine KI-Bots auf

https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker

Zitat von darkness

Wie hast du fail2ban für die AI-Bots konfiguriert?

In Keyhelp gibts ein eigenes Jail für "badbots", da habe ich eben noch einige zusätzliche Bots eingepflegt. Man kann natürlich auch apache-badbots erweitern.

[Definition]

# Mode for filter: normal (default), aggressive
mode = normal

# Bad bots configuration
badbots-normal = ClaudeBot|claudebot|Bytespider|bytedance\.com
badbots-aggressive = ClaudeBot|claudebot|Bytespider|bytedance\.com|facebookexternalhit|python-httpx|GPTBot
badbots = <badbots-<mode>>

failregex =  ^<HOST> - .* "(GET|POST|HEAD) .* HTTP.* ".*(?:%(badbots)s).*" \d+ \d+$

ignoreregex =

Funktioniert recht passabel. Kann man natürlich nach Belieben um andere Bots noch erweitern. Oder man blockt sie irgendwann komplett direkt in der Firewall, die IPs/Subnetze hat man dann ja in der fail2ban.log.

Ich verhindere den Zugriff bisher auch nicht komplett und dauerhaft, sondern bremse sie nur etwas, auch das nur um sie ein wenig zu ärgern. Überlastet haben die mir davor auch keinen Server. Wirklich bösartig sind sie nicht, sie nennen ja brav ihre Namen.

maxretry=1, nach 10 Minuten darf der Bot von der selben IP aus dann prinzipiell wieder. Macht er das, wird er halt für länger gesperrt, irgendwann bei mehrfachen Wiederholungstätern dann auch für mehrere Tage. Außer Microsoft hatte bisher aber noch keiner mehr als 5 IPs gleichzeitig gesperrt bekommen.

Nur und ausschliesslich eine Kapazitätslücke darin zu sehen ist aber auch zu kurz gesprungen. Das könnte man bei den Botnetzen dann ja auch sagen. Wenn das Netzwerk und der Server nimmer mitkommt ist er halt zu klein. Aber wer stellt schon seine Websites mit eigentlich eher geringem Traffic auf einem großen Server ins Netz? Nur damit die KI-Bots schnellstmöglich die Daten bekommen? Wenn die mir die Mehrkosten für die höhere Kapazität zahlen, dann gern auch das. Ansonsten muss ich sie halt leider zumindest runterbremsen.

Zumal es ja nicht nur eine KI gibt und jeder Anbieter meint, das gesamte Internet möglichst mehrfach täglich scannen zu müssen. Irgendwann ist dann halt auch mal gut.

Zitat von Hille

Mit einer robots hältst du keine KI-Bots auf

Das nicht korrekt - Du hältst damit jeden wohlerzogenen KI Bot auf um den sich dein fail2ban nicht mehr kümmern muss.

Ich habs ein dreiviertel Jahr beobachtet: die großen (westlichen) Player sind nicht das wirkliche Problem. Für einen kleinen Webserver können aber auch diese Bots zum Problem werden, wenn sich alle summieren und Crawl-Delay wird oftmals auch ignoriert oder nur pro IP umgesetzt.

Die vielen üblen Bots (oft mit gefälschten UserAgents) kommen aus chinesischen, brasilanischen oder anderen südamerikanischen IP-Ranges und denen ist das tatsächlich alles ziemlich egal. Die letzten Monate war dann auch eine Ausweitung auf IPv6 Adressen zu sehen.

Was bei mir final geholfen hat, sind Proof-Of-Work Lösungen, in denen der Client stateless ein Cookie setzen muss, dass ihn 1-4 Sekunden Rechenzeit im Javascript kostet. Mit diesem Cookie darf er auf die Seite, ansonsten kriegt er besagte Webseite mit der Javascript-Logik und wenn er das Cookie errechnet hat den reload auf die URL. Macht der Bot das nicht, kriegt er auch nichts. Aber die Seite ist quasi statisch ausgeliefert und kostet fast keine Ressourcen.

Zitat von daq4th

Ich habs ein dreiviertel Jahr beobachtet: die großen (westlichen) Player sind nicht das wirkliche Problem. Für einen kleinen Webserver können aber auch diese Bots zum Problem werden, wenn sich alle summieren und Crawl-Delay wird oftmals auch ignoriert oder nur pro IP umgesetzt.

Die vielen üblen Bots (oft mit gefälschten UserAgents) kommen aus chinesischen, brasilanischen oder anderen südamerikanischen IP-Ranges und denen ist das tatsächlich alles ziemlich egal. Die letzten Monate war dann auch eine Ausweitung auf IPv6 Adressen zu sehen.

Was bei mir final geholfen hat, sind Proof-Of-Work Lösungen, in denen der Client stateless ein Cookie setzen muss, dass ihn 1-4 Sekunden Rechenzeit im Javascript kostet. Mit diesem Cookie darf er auf die Seite, ansonsten kriegt er besagte Webseite mit der Javascript-Logik und wenn er das Cookie errechnet hat den reload auf die URL. Macht der Bot das nicht, kriegt er auch nichts. Aber die Seite ist quasi statisch ausgeliefert und kostet fast keine Ressourcen.

Habe ich auch so gemacht. Aber mir gefällt auch die bad bot Lösung oben.