# robots.txt — Veniora
#
# Grundhaltung: Auffindbarkeit und Zitation sind erwuenscht. Die Seiten
# existieren, damit regionale Zahlen nachlesbar sind — eine Sperre
# gegen Suchsysteme liefe dem Zweck zuwider.
#
# Getrennt behandelt werden Crawler, die fuer die Antwortsuche lesen,
# und Crawler, die Trainingskorpora sammeln. Beide sind derzeit
# zugelassen; die Trennung steht hier, damit eine spaetere Entscheidung
# nur eine Zeile kostet und nicht die Datei umbaut.

# --- Suche und Antwortsysteme -----------------------------------
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

# OpenAI: Suche in ChatGPT (nicht Training)
User-agent: OAI-SearchBot
Allow: /

# OpenAI: Abruf auf ausdrueckliche Nutzeranfrage hin
User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Anthropic: Abruf fuer Antworten
User-agent: Claude-Web
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Applebot
Allow: /

# --- Trainingskorpora -------------------------------------------
# Derzeit ebenfalls zugelassen. Die Quellen sind offen lizenziert
# (ILO CC BY 4.0) beziehungsweise amtlich frei verwendbar (BA); die
# eigene Einordnung steht unter den Nutzungsbedingungen dieser Seite.
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

# --- Soziale Vorschauen ------------------------------------------
User-agent: Twitterbot
Allow: /

User-agent: facebookexternalhit
Allow: /

# --- Alle uebrigen ------------------------------------------------
# Lesen ist erlaubt. Systematisches oder massenhaftes Auslesen der
# Datenbank ist ohne Zustimmung nicht gestattet; dafuer gilt ein
# Nutzungsvorbehalt nach Paragraf 44b Abs. 3 UrhG. Ausgenommen sind die
# oben namentlich zugelassenen Crawler. Details: /nutzungsbedingungen#datenbank
User-agent: *
Allow: /

Sitemap: https://veniora.de/sitemap.xml