SEO Glossar: Robots.txt
Was ist die Robots.txt?
Die Robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Website (erreichbar unter www.ihre-praxis.de/robots.txt). Sie gibt Suchmaschinen-Crawlern Anweisungen, welche Bereiche der Website sie besuchen dürfen und welche sie ignorieren sollen. Die Datei ist kein Zugriffsschutz — sie ist eine höfliche Bitte, die seriöse Suchmaschinen respektieren.
Typische Anweisungen in einer Robots.txt sehen so aus: User-agent: * richtet sich an alle Crawler. Disallow: /admin/ bedeutet: "Bitte crawle den Admin-Bereich nicht." Allow: / bedeutet: "Alles andere darfst du besuchen." Am Ende der Datei steht häufig ein Verweis auf die Sitemap, damit der Crawler sie direkt findet.
Wofür braucht eine Praxis-Website eine Robots.txt?
Jede Website hat Bereiche, die nicht in Googles Index gehören: Admin-Oberflächen, interne Suchseiten, Testseiten oder doppelte Inhalte durch Filterfunktionen. Ohne Robots.txt crawlt Google all diese Bereiche und verschwendet dabei wertvolles Crawl-Budget — also die Ressourcen, die Google für das Durchsuchen Ihrer Website aufwendet.
Für eine Praxis-Website mit überschaubarem Umfang ist das Crawl-Budget kein kritisches Thema. Trotzdem gehört eine saubere Robots.txt zur technischen Grundausstattung. Sie sorgt dafür, dass Google seine Zeit auf Ihre relevanten Seiten konzentriert: Leistungsseiten, Teamseiten, Standortinformationen und Blog-Beiträge.
Typische Fehler und deren Folgen
Der folgenschwerste Fehler: Eine Robots.txt, die versehentlich die gesamte Website blockiert. Das passiert häufiger als gedacht — etwa wenn eine Website von der Staging-Umgebung in den Live-Betrieb überführt wird und die restriktive Test-Robots.txt mitkommt. Eine einzige Zeile (Disallow: /) reicht aus, um Ihre komplette Website aus den Suchergebnissen verschwinden zu lassen.
Ein weiterer Fehler: Seiten über die Robots.txt blockieren, die bereits indexiert sind. Google entfernt diese Seiten nicht automatisch aus dem Index. Die Indexierung wird lediglich nicht mehr aktualisiert. Wenn Sie Seiten tatsächlich aus dem Index entfernen möchten, ist ein Noindex-Tag das richtige Werkzeug.
Prüfen Sie regelmäßig in der Google Search Console, ob Ihre Robots.txt korrekt arbeitet. Ein technisches Detail, das bei falscher Konfiguration Ihre gesamte Online-Sichtbarkeit gefährden kann. Was noch zur technischen SEO-Basis Ihrer Praxis gehört, erfahren Sie im Beitrag SEO für Ärzte.
Fazit
Eine saubere Robots.txt gehört zur technischen Grundausstattung jeder Praxis-Website und lenkt Google gezielt auf Ihre relevanten Seiten. Prüfen Sie nach jedem Website-Relaunch, ob die Datei korrekt konfiguriert ist — eine fehlerhafte Robots.txt kann Ihre gesamte Praxis-Website aus den Google-Suchergebnissen verschwinden lassen.
Über den Autor
Sven Huchel
Geschäftsführer & Creative Director
Seit 2005 entwickelt Sven Websites, Brandings und digitale Strategien für Unternehmen im deutschsprachigen Raum. TÜV-zertifiziert für Verkaufspsychologie. Spezialisiert auf verkaufspsychologisch optimierte Websites für Ärzte, Anwälte und Unternehmer.
Passende Fachartikel
Wie gut ist Ihre Website wirklich?
Ladezeit, Core Web Vitals, Mobile-Score, Barrierefreiheit, SEO-Basics und Bildoptimierung. Ergebnis per E-Mail oder im persönlichen Gespräch.