Website online scannen: So liest ein Scanner Ihre Seite

Was beim Online-Scan einer Website passiert: Seitenauswahl, Rendering, Grenzen, die Rolle von robots.txt und warum der Bericht vom Browser abweichen kann.

Infrastruktur · Veröffentlicht: 9. Oktober 2026 · 6 Min. Lesezeit · Анна Ковалёва

Sie geben eine Adresse ein, warten eine Minute und erhalten einen Bericht. Dazwischen schickt der Scanner Dutzende HTTP-Anfragen, öffnet einen Headless-Browser und entscheidet, welche Ihrer Seiten gelesen werden. Zu wissen, wie es funktioniert, wenn Sie eine Website online scannen, erklärt die meisten „Bei mir sieht alles gut aus“-Momente und zeigt, wie weit Sie einem Bericht trauen können.

Schritt eins: Startseite und Browser

Jeder Scan beginnt mit einer einzigen Adresse. Der Scanner ruft sie ab, folgt den Weiterleitungen bis zur endgültigen URL und protokolliert jeden Sprung — hier zeigt sich zum ersten Mal eine Kette wie http → https → www → /de/ (mehr dazu unter Weiterleitungen zur Startseite).

Danach wird die Startseite in einem echten Headless-Chromium geöffnet. Erstens bauen moderne Websites Inhalte per JavaScript auf, und das Ergebnis sieht nur ein Browser. Zweitens stehen viele Hosts hinter einem CDN oder einer WAF, die allem, was keine Skripte ausführt, eine „Wir prüfen Ihren Browser“-Seite zeigt. Ein Browser lässt diese Prüfung durchlaufen und zeichnet zugleich Konsolenfehler und fehlgeschlagene Anfragen auf.

Schritt zwei: Welche Seiten gelesen werden

Ein Scanner ist keine Suchmaschine: Er liest nicht die ganze Website, sondern eine Stichprobe. Kandidaten stammen aus den Links der Startseite und aus der Sitemap, und bevor ausgewählt wird, wird die Liste bereinigt:

• Adressen werden normalisiert: /page, /page/ und /page?utm_source=x sind eine Seite, nicht drei; erhalten bleiben nur Parameter, die tatsächlich eine eigene Seite bezeichnen (etwa page, category, product);
• URL-Fallen werden übersprungen: endlose Kalender, Pfade mit sich wiederholenden Segmenten, übermäßig lange oder tiefe Adressen, Weiterleitungsschleifen;
• Dateien, die keine Seiten sind — Bilder, PDFs, Archive — kommen nicht in die Auswahl.

Der kostenlose Scan liest nur wenige Seiten, doch das reicht, um Fehler in Templates zu finden: Fehlt dem Produkt-Template ein Canonical, fehlt es auf jeder Produktseite. Die nächste Prüfung einer beobachteten Website liest wieder dieselben Seiten, sodass sich zwei Berichte fair vergleichen lassen.

Schritt drei: Ein höflicher Roboter

SiteScan meldet sich mit einem einzigen, erkennbaren User-Agent, damit eine Website ihn bewusst zulassen oder ablehnen kann, hält eine Pause zwischen Anfragen an denselben Host, wiederholt Anfragen nach 429 und vorübergehenden 5xx unter Beachtung von Retry-After und arbeitet innerhalb eines festen Zeitbudgets. Antwortet eine Website zu langsam, endet der Scan am Limit, und der Bericht nennt die Seiten und Prüfungen, die nicht erreicht wurden.

Antwortet statt der Website eine Schutzschicht, wird die Seite als blockierte Prüfung markiert, nicht als Ihr Fehler. Der Abschnitt zum Scanverlauf zeigt User-Agent, Tempo, Wiederholungen und jede 403-Antwort, aufgeteilt nach WAF und Website selbst.

Und robots.txt?

robots.txt richtet sich an Suchmaschinen-Crawler, die das Web nach eigenem Zeitplan durchsuchen. Ein Scan, den Sie selbst für Ihre Website starten, ist ein Besuch anderer Art, und für den Scanner ist robots.txt vor allem ein Prüfgegenstand. Der Bericht liest die Datei und zeigt, ob sie Crawler aussperrt, ob sie CSS und JavaScript vor ihnen verbirgt, ob sie eine Sitemap nennt und ob diese gültig ist. Ein vom Staging übrig gebliebenes Disallow: / gehört zu den teuersten Fehlern überhaupt; mehr im Artikel über Sitemap und robots.txt.

Warum der Bericht vom Browser abweichen kann

Standort und IP. Der Scanner verbindet sich aus einem Rechenzentrum; Geo-Weiterleitungen, regionale CDNs und Bot-Regeln behandeln ihn womöglich anders.

Keine Cookies, kein Login. Sie sehen die Website als wiederkehrender, angemeldeter Besucher, der den Cookie-Banner bestätigt hat. Der Scanner ist jedes Mal ein neuer, anonymer Gast.

Caches. Ihr Browser und Ihr CDN halten vielleicht die Version von gestern. Umgekehrt wird ein fertiger Bericht 15 Minuten lang wiederverwendet, damit ein geteilter Link keinen neuen Crawl auslöst; klicken Sie nach einem Deployment auf „Neu scannen“.

Labor und Feld. Die Geschwindigkeit der Startseite stammt aus Google PageSpeed Insights: ein Labortest auf einem emulierten Gerät und, bei genug Traffic, Daten echter Nutzer aus dem Chrome UX Report. Ein Labor-LCP von 3,1 s und ein Feld-LCP von 2,2 s sind beide richtig; lesen Sie, woher die Daten stammen, und vergleichen Sie mit den Schwellen der Core Web Vitals: LCP ≤ 2,5 s, CLS ≤ 0,1, INP ≤ 200 ms.

Spät geladene Inhalte. Was erst nach einem Klick erscheint, fehlt im Bericht möglicherweise.

So holen Sie das Meiste aus einem Scan

1. Starten Sie mit der Adresse, die echte Besucher nutzen — am besten der endgültigen nach allen Weiterleitungen.
2. Lesen Sie zuerst den Scanverlauf: Wurden Seiten blockiert, klären Sie erst den Zugang.
3. Ein Befund auf einem Template ist ein Befund auf allen Seiten dieses Templates.
4. Scannen Sie nach einer Korrektur erneut und vergleichen Sie — verlassen Sie sich nicht auf den alten Bericht.

Zum Ausprobieren starten Sie einen kostenlosen Scan Ihrer Website; die Produktseite beschreibt, was jeder Analyzer prüft, und der Artikel zum Website-Check online zeigt, wie das Ergebnis aussieht.