Google AdSense Analyse (crawling) per robots.txt (text) erlauben (allow/disallow)
Da ich neuerdings Google-AdSense einsetze und festgestellt habe, dass Google-(AdSense) einen eigenen Referer nutzt, nämlich “Mediapartners-Google” und den Webseitencontent selbst crawlt, um die passenden Anzeigen auszuliefern, habe ich meine robots.txt folgermassen angepasst.
User-agent: Mediapartners-Google*
Disallow:
Viel Spass beim Geld verdienen.
