Posts by martin\

    DNS-Server mit einer TTL von 24 Stunden sind ja pervers. Für deinen Fall musst du einen Wildcard-A-Record auf deine Server-IP machen, dann kannst du die Subdomains vom Webserver abgreifen lassen. Das hat aber - wie erwähnt - nichts mit den Nameservern von Netcup zu tun, sondern mit denen, die für die jeweiligen Domains eingetragen sind.

    8 Tage? WTF? Ich hab noch nie länger als einen Tag für einen Transfer gewartet. (Ok vll zwei mit Fax abends abschicken). Weder bei org, net, noch bei de.

    Das Rettungssystem nimmst du, wenn du dich z. B. durch irgendwelche falsch Konfigurierten Scripte vom Server ausgeschlossen hast. Dann kannst du deinen ganzen Server als Ordner auf einen anderen Server mounten und so dein System reparieren. Mit Backups hat das ganze nichts zu tun - jedenfalls wäre es mir neu. :)

    Also ich habe auch nur sehr rudimentäre bind-Kenntnisse, aber schau doch mal, was in allow-query mitgegeben wurde, das hilft vielleicht.

    Über SixXS habe ich bei mir auch die v6 Konnektivität hergestellt. Grundsatz-Artikel zu IPv6 sollte es bei heise ein paar geben, musst mal deren Suchfunktion quälen. Bei mir auf dem Server laufen im übrigen alle Dienste im Dualbetrieb mit v4 und v6 (ftp sogar nur über v6) und es gibt bisher keine Probleme.


    Bei mir läuft SixXS auch ohne Zusatz-Software. Ich habe nur den Treiber installiert und starte beim Systemstart ein Terminal, dass mir die Verbindung aufbaut und sich dann in den Hintergrund verschiebt.

    Datei müsste dann in jeden "unterordner", damit diese nicht gescannt werden oder schickt das root verz ?


    Nein, die muss ins root-Verzeichnis deines Webservers, wo auch in die index.* drin liegt. Mit "Disallow: /" verbietest du dem Crawler, dass er eben genau dieses Verzeichnis auslesen darf. Du kannst Ihm mit Disallow: /bla/ auch einzelne Ordner verbieten oder mit Allow: /bla/ einzelne Ordner erlauben.


    Das ganze funktioniert nur, wenn du sie robots.txt (!) und nicht bot.ini oder bot.txt nennst. Ignorieren wird die Datei keine der größeren Suchmaschinen, das kannst du ja aber ganz einfach in den logs feststellen. Probier das doch einfach mal aus, bevor du mit Kanonen auf Spatzen losgehst und iptables* oder irgendwelche Scripte installierst, schließlich ist die robots.txt für genau diese Fälle gedacht.


    Wenn dir der Bot deine Logs zu voll spammt, dann ist für dich obiges interessant, alternativ auch Crawl-delay: und dahinter eine Sekunden-Anzahl. Das legt fest, wie oft eine Seite gecrawlt werden darf.


    "vermehrt pro Stunde". Harmlos... Google kommt bei mir exakt alle 2 Stunden auf eine seit Jahren unbenutzte Seite, die nur einen 403 zurück gibt.


    Wenn die Webseite nicht mehr genutzt wird, dann geb' ihm doch einen 301 oder einen 404 mit. Dann dürfte der Bot nicht mehr kommen - denke ich. :)

    bot.ini? Eigentlich ist der simpelste Weg eine robots.txt - Probiers mal damit:


    Quote

    User-agent: Baiduspider
    Disallow: /


    Wenn du alle bots aussperren willst, dann kommt statt Baiduspider eine Wildcard hin.

    Also wenn du nur die IP im Browser erreichen willst, dann musst du sie in eckige Klammern setzen [IP]. (fast) Alle Browser prüfen, ob zuerst, ob es eine v6-IP für eine URL gibt, bevor sie die v4 auflösen. Also sollte dein Browser idR immer die v6 ansurfen.