Unabhängig von der Anzeige bei Google noch ein Hinweis: Das Web-Archive (Wayback-Machine) ignoriert robots.txt-Dateien[1]. Wenn man seine Seite also nicht dauerhaft bei dem Web-Archive gespeichert haben will, hilft wohl nur ein Ausschluss via .htaccess etc.
[1] https://www.heise.de/newsticke…g-robots-txt-3693558.html