Ich habs ein dreiviertel Jahr beobachtet: die großen (westlichen) Player sind nicht das wirkliche Problem. Für einen kleinen Webserver können aber auch diese Bots zum Problem werden, wenn sich alle summieren und Crawl-Delay wird oftmals auch ignoriert oder nur pro IP umgesetzt.
Die vielen üblen Bots (oft mit gefälschten UserAgents) kommen aus chinesischen, brasilanischen oder anderen südamerikanischen IP-Ranges und denen ist das tatsächlich alles ziemlich egal. Die letzten Monate war dann auch eine Ausweitung auf IPv6 Adressen zu sehen.
Was bei mir final geholfen hat, sind Proof-Of-Work Lösungen, in denen der Client stateless ein Cookie setzen muss, dass ihn 1-4 Sekunden Rechenzeit im Javascript kostet. Mit diesem Cookie darf er auf die Seite, ansonsten kriegt er besagte Webseite mit der Javascript-Logik und wenn er das Cookie errechnet hat den reload auf die URL. Macht der Bot das nicht, kriegt er auch nichts. Aber die Seite ist quasi statisch ausgeliefert und kostet fast keine Ressourcen.