Bot-Information für Webmaster · Bot info for webmasters
flexCrawl/1.0 (+https://flexcrawl.de/bot)
flexCrawl ist ein privat betriebener Crawler-Dienst. Er wird ausschließlich für eigene Websites und die Websites von Kunden des Betreibers eingesetzt – zur Inhaltsanalyse, Erreichbarkeitsprüfung und Strukturerfassung.
flexCrawl is a privately operated crawler service, used exclusively for the operator's own websites and those of their clients – for content analysis, availability checks, and structure discovery.
flexCrawl speist keine Daten in öffentliche Suchmaschinen ein. flexCrawl does not feed data into public search engines.
— robots.txt wird vor jedem Crawl geladen und respektiert.
— Crawl-Delay aus robots.txt wird eingehalten; Minimum 5 Sekunden.
— HTTP 429/503: exponentieller Backoff (5 → 10 → 20 → 40 s).
— Maximal eine Anfrage gleichzeitig pro Domain.
— robots.txt is fetched and respected before every crawl.
— Crawl-Delay from robots.txt is observed; minimum 5 seconds.
— HTTP 429/503: exponential backoff (5 → 10 → 20 → 40 s).
— At most one request at a time per domain.
Über robots.txt: Via robots.txt:
User-agent: flexCrawl Disallow: /
Oder direkt kontaktieren: Or contact directly:
info@flexcrawl.de