Unser Crawler (Bot)

Wir betreiben einen Web-Crawler, der öffentlich zugängliche Kontaktdaten von den Websites der im Verzeichnis gelisteten Firmen liest, um Einträge aktuell und korrekt zu halten.

User-Agent

Der Crawler meldet sich mit folgendem User-Agent an:

solaranbieter24-crawler/1.0 (+https://solaranbieter24.de/bot)

Zweck

Der Crawler ruft ausschließlich öffentlich erreichbare Seiten auf – insbesondere Impressum und Kontaktbereich –, um geschäftliche Kontaktdaten wie Adresse, Telefonnummer, E-Mail und Öffnungszeiten zu verifizieren. Es werden keine Marketingtexte oder Fotos übernommen.

Rate-Limits und robots.txt

• Mindestens 2 Sekunden Pause zwischen zwei Anfragen an denselben Host.
• Maximal 5 Seiten pro Website.
• Die robots.txt wird respektiert.

Crawling unterbinden

Wenn Sie nicht möchten, dass unsere Crawler Ihre Website aufrufen, können Sie den User-Agent in Ihrer robots.txt ausschließen. Alternativ erreichen Sie uns über die Kontaktdaten im Impressum; wir nehmen Ihre Website dann aus der Verarbeitung.