Die Robots.txt ist eine Textdatei, die Suchmaschinen vorgibt, welche Bereiche Deiner Website sie crawlen dürfen und welche nicht.
Was ist die Robots.txt?
Die Robots.txt ist eine einfache Textdatei im Stammverzeichnis Deiner Website (erreichbar unter www.deine-praxis.de/robots.txt). Sie sagt Suchmaschinen-Crawlern, welche Bereiche der Website sie besuchen dürfen und welche sie auslassen sollen. Die Datei ist kein Zugriffsschutz. Sie ist eine höfliche Bitte, die seriöse Suchmaschinen respektieren.
Typische Anweisungen in einer Robots.txt sehen so aus: User-agent: * richtet sich an alle Crawler. Disallow: /admin/ bedeutet: "Bitte crawle den Admin-Bereich nicht." Allow: / bedeutet: "Alles andere darfst du besuchen." Am Ende der Datei steht oft ein Verweis auf die Sitemap, damit der Crawler sie direkt findet.
Wofür braucht eine Praxis-Website eine Robots.txt?
Jede Website hat Bereiche, die nicht in Googles Index gehören: Admin-Oberflächen, interne Suchseiten, Testseiten oder doppelte Inhalte durch Filterfunktionen. Ohne Robots.txt crawlt Google all diese Bereiche und verschwendet dabei Crawl-Budget. Das sind die Ressourcen, die Google für das Durchsuchen Deiner Website aufwendet.
Für eine Praxis-Website mit überschaubarem Umfang ist das Crawl-Budget kein kritisches Thema. Trotzdem gehört eine saubere Robots.txt zur technischen Grundausstattung. Mit ihr verbringt Google seine Zeit auf Deinen relevanten Seiten: Leistungsseiten, Teamseiten, Standortinformationen und Blog-Beiträge.
Typische Fehler und deren Folgen
Der folgenschwerste Fehler ist eine Robots.txt, die versehentlich die ganze Website blockiert. Das passiert häufiger als gedacht. Ein typischer Fall: Eine Website zieht von der Staging-Umgebung in den Live-Betrieb um, und die strenge Test-Robots.txt kommt mit. Eine einzige Zeile (Disallow: /) reicht, damit Deine komplette Website aus den Suchergebnissen verschwindet.
Ein weiterer Fehler: Seiten über die Robots.txt blockieren, die schon indexiert sind. Google entfernt diese Seiten nicht automatisch aus dem Index. Die Indexierung wird nur nicht mehr aktualisiert. Willst Du Seiten aus dem Index entfernen, ist ein Noindex-Tag das richtige Werkzeug.
Prüfe regelmäßig in der Google Search Console, ob Deine Robots.txt korrekt arbeitet. Falsch eingestellt, kann dieses kleine technische Detail Deine gesamte Online-Sichtbarkeit gefährden. Was noch zur technischen SEO-Basis Deiner Praxis gehört, liest Du im Beitrag SEO für Ärzte.
Fazit
Eine saubere Robots.txt gehört zur technischen Grundausstattung jeder Praxis-Website und lenkt Google auf Deine relevanten Seiten. Prüfe nach jedem Website-Relaunch, ob die Datei korrekt eingestellt ist. Eine fehlerhafte Robots.txt kann Deine gesamte Praxis-Website aus den Google-Suchergebnissen verschwinden lassen.
Letzte Aktualisierung:
