Google hat am 15.11.2023 ein update in der search console rausgebracht und jetzt können wir endlich den robots.txt Status direkt in der search console sehen.
Hier findest du jetzt direkt in der Google Search Console den Robots.txt Status:
Klicke im Menü rechts auf Einstellungen und du siehst sofort unter „Crawling“ den Status der robots.txt Datei
Wenn du dann noch auf „Bericht öffnen“ klickst findest du alle robots.txt Dateien zu deiner domain die gefunden wurden. Ausserdem siehst du das Datum an dem der Status das letzte Mal geprüft wurde und ob die Robots.txt abgerufen werden konnte. Falls es Probleme gibt werden diese aufgelistet.
Warum ist der robots.txt Status wichtig?
Wenn der robots.txt – Status falsch ist, dann wird deine Seite nicht indexiert und somit wird Sie nicht gefunden. Das ist schlecht!
Was sagt der robots.txt Status aus?
In dieser Textdatei wird notiert ob die Website oder URL gecrawlt & indexiert werden soll oder nicht.
Was ist wenn der robots.txt Status falsch ist?
Dann wird deine Seite nicht indexiert und deine Website wird nicht gefunden.
Was passiert wenn eine Seite blockiert ist?
Der Google oder Bing Crawler wird den Inhalt deiner Seite ignorieren und deine Seite wird nicht in den Index aufgenommen. Also wird diese Seite höchstwahrscheinlich nicht gefunden. Wenn es Absicht ist gut, wenn nicht, wohl eher schlecht und du musst dich um eine Korrektur kümmern.
Der alte Robots.txt Tester wird ab dem 12.12.2023 nicht mehr zur Verfügung stehen, da er ja nun obsolet ist
