Google Mediapartners Crawl - Zugriff erlauben

  • Hallo,

    hat jemand eine Idee wie ich den Zugriff für Ads und Google Mediapartners erlauben kann?
    Für bestimmte Verzeichnisse sind Bots gesperrt.
    Wo aber die genannten Crawlen sollen.

    Diese robots fruchtet nicht.



    vielen Dank für eure Hilfe.

    Lg

  • Eventuell helfen dir die Google Webmaster Tools dabei weiter.
    Dort kann man die robots.txt analysieren und anpassen lassen.


    Code
    User-agent: *
    Disallow: /example/
    
    
    
    
    User-agent: Mediapartners-Google
    Allow: /example/


    Probier es einmal so herum. Wenn /example/ bereits gesperrt ist, brauchst du die Unterverzeichnisse normalerweise nicht extra anzugeben. Mit Wildcards würde ich übrigens vorsichtig sein, manche Crawler verstehen die noch immer nicht richtig.



    MfG Christian

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)