Beiträge von Dragon

Die DNS-Server von Netcup kannst du auch nicht anpingen (hatte ich ja schon angemerkt).

Das hat man den DNS-Servern von Netcup rein gar nichts zu tun...

Das liegt an den stark veralteten Joomla-Installationen, von denen ich schon aus Sicherheitsgründen abraten würde.

Sistrix ist keine Suchmaschine... Deren Vorgehen ist aber wirklich abartig, mehrere Stunden mit 5 gleichzeitigen Verbindungen zu crawlen... Ich würde den anhand des User-Agents sperren, die IPs scheinen zu wechseln.

Ggf. ist das was für dich: Bot-Trap.de Spamschutz fuer Webmaster

Web Proxy Autodiscovery Protocol – Wikipedia

Zitat von schimmelmann

• Ist es tatsächlich so, dass man IPV6 Seiten nur erreichen kann, wenn der eigene Internetanschluss IPV6 fähig ist?
  Das würde ja heißen, das IPV6-Adressen im Augenblick noch keinen wirklichen Sinn machen, zumindest wäre dann meine Internetseite nicht für jeden erreichbar.

Ja, entweder man braucht eine IPv6-Adresse vom Internetanbieter oder man muss mit einem IPv6-Tunnel arbeiten. Eine Seite ausschließlich für IPv6 wäre daher ungünstig, gegen Dualstack spricht aber nichts.

mod_ssl aktiviert?

Das Problem sind vielleicht die verschiedenen Standorte:
Hetzner RZ: Ökostrom: Hetzner Online AG: Umweltschutz
Netcup RZ: wenig Details bekannt (möglicherweise auch Strom über Hetzner bezogen)
Telemaxx RZ: keine Infos bei Telemaxx, wohl kein Ökostrom

Zitat von martin',

Wenn die Webseite nicht mehr genutzt wird, dann geb' ihm doch einen 301 oder einen 404 mit. Dann dürfte der Bot nicht mehr kommen - denke ich.

Das weiß ich nicht genau, die Domain ist mittlerweile wieder in Betrieb. Allerdings sucht er auf der aktuellen Website immer noch Unterseiten, die es schon mehrere Monate oder Jahre nicht mehr gibt (404). Und, die die "erst" mehrere Monate weg sind, sind auch weiterhin im Index. Früher war das jedenfalls nicht so.

Zitat von ferrarajunior

Und das sagt wer ? Die, die Google Verboten haben? Wer Kontrolliert die? in Deutschland muss Google EU Normen erfüllen, die dinger aus China ... wer weiß.

EU Normen für Suchmaschinen-Crawler wären mir neu... Auf meiner Website verhalten sich alle Crawler der großen Suchmaschinen korrekt, darauf achte ich schon...

Zitat von ferrarajunior

Ich mags ned ungefragt in irgendeiner Suchmaschine aufzutauchen, vielleicht wollte ich ja nicht, dass meine Homepage in irgendeiner (nichtmal Google) Suchmaschine auftaucht

Dann leg die robots.txt an, ansonsten ist das Internet öffentlich. Oder fragst du erst in jedem Geschäft, ob du ins Schaufenster schauen darfst?

Zitat von ferrarajunior

und selbst für google muss man sich erst anmelden ... und man hat die Möglichkeit sich wieder austragen zu lassen.

Unsinn, die robots.txt ist das wichtige. Ohne die kommst du auch bei Google nicht aus dem Index.

Zitat von ferrarajunior

Sorry, aber 1. Wurde ich nicht benachrichtigt (whois hätte meine E-mail herausgegeben)
2. finde ich es eine Frechheit, dass irgendwelche Bots meinen Server scannen ... ich lauf auch nicht durch die Straße und schau in "JEDES" Fenster unter der Gardine durch ...

Nochmal, das Internet ist öffentlich, daher ist der Vergleich unpassend. Das Mittel zur Steuerung der Bots existiert ja, man muss es nur anwenden.

Zitat von ferrarajunior

Zumal der Bot vermehrt pro Stunde auf meinem Server kommt ... er spammt mir förmlich die logfiles voll.

"vermehrt pro Stunde". Harmlos... Google kommt bei mir exakt alle 2 Stunden auf eine seit Jahren unbenutzte Seite, die nur einen 403 zurück gibt. Auf der richtigen Website sind die Crawler praktisch rund um die Uhr aktiv. Bing kommt danach und die restlichen sind seltener unterwegs, auch Baidu und Yandex.

Zitat von ferrarajunior

ja aber die Datei müsste dann in jeden "unterordner", damit diese nicht gescannt werden oder schickt das root verz ?

Eine im Root-Verzeichnis reicht vollkommen.

Baidu ist eine seriöse Suchmaschine. Google crawlt da viel häufiger und aggressiver.

Und was steht im Syslog bei der entsprechenden ID?

GMail ist eben in der Datenbank, der Grund liegt ja wohl auf der Hand...

Die Daten stammen aus einer Datenbank bei Mozilla, da wirst du nicht so schnell rein kommen.

Zitat von autoit4you

das dann sofort funktioniert?

Was meinst du?

Du hast einen vServer? Hast du MySQL so konfiguriert, dass es einem nach außen sichtbaren Port läuft?

Nein, das geht dort nicht.

Ich benutze so ein Code und das funktioniert auch. Die Variante mit exec ganz unten funktioniert ebenso, exec muss halt verfügbar sein.

PHP: php_check_syntax - Manual (Funktion wurde mit 5.0.5 entfernt, aber die Kommentare sind interessant)

Wenn du keine Ahnung von vServern hast, würde ich auf jeden Fall davon abraten.