# Herreira — robots.txt v3 (2026-05-20)
# Site institucional ativo. Indexação e citação por IA AUTORIZADAS EXPLICITAMENTE.
# Loja transacional separada: https://loja.herreirasemijoias.com.br
#
# A Herreira Semijoias autoriza expressamente a indexação e a citação de seu
# conteúdo por sistemas de IA generativa (ChatGPT, Claude, Perplexity, Gemini,
# AI Overviews, Bing Copilot, Mistral, e demais agentes) com atribuição.
# Política completa em /ai-policy.txt e /ai-policy.json.

User-agent: *
Allow: /
Crawl-delay: 1

# AI crawlers — explicit allow (Generative Engine Optimization)

User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: GoogleOther
Allow: /
User-agent: CCBot
Allow: /
User-agent: cohere-ai
Allow: /
User-agent: Bytespider
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Meta-ExternalAgent
Allow: /
User-agent: Meta-ExternalFetcher
Allow: /
User-agent: DuckAssistBot
Allow: /
User-agent: MistralAI-User
Allow: /
User-agent: YouBot
Allow: /
User-agent: Diffbot
Allow: /
User-agent: Amazonbot
Allow: /
User-agent: FacebookBot
Allow: /

# Bloco AI assistants — agentes conversacionais em tempo de inferência
# (estes user agents acessam URLs em nome de usuários finais de assistentes IA)

User-agent: Perplexity-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /
User-agent: MistralAI-User
Allow: /

# Buscadores tradicionais — explicit allow

User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: Slurp
Allow: /
User-agent: DuckDuckBot
Allow: /
User-agent: Baiduspider
Allow: /
User-agent: YandexBot
Allow: /
User-agent: Sogou
Allow: /
User-agent: Applebot
Allow: /

# Social previews e link unfurlers

User-agent: Twitterbot
Allow: /
User-agent: LinkedInBot
Allow: /
User-agent: FacebookExternalHit
Allow: /
User-agent: Pinterest
Allow: /
User-agent: Slackbot
Allow: /
User-agent: Discordbot
Allow: /
User-agent: WhatsApp
Allow: /
User-agent: Telegrambot
Allow: /
User-agent: Embedly
Allow: /

# Sitemaps — índice canônico e sub-sitemaps temáticos

Sitemap: https://herreirasemijoias.com.br/sitemap-index.xml
Sitemap: https://herreirasemijoias.com.br/sitemap.xml
Sitemap: https://herreirasemijoias.com.br/sitemap-pages.xml
Sitemap: https://herreirasemijoias.com.br/sitemap-colecoes.xml
Sitemap: https://herreirasemijoias.com.br/sitemap-faq.xml
Sitemap: https://herreirasemijoias.com.br/sitemap-glossario.xml
Sitemap: https://herreirasemijoias.com.br/sitemap-infra.xml

# Política completa em /ai-policy.txt e /ai-policy.json
# Manifesto AI plugin em /.well-known/ai-plugin.json
# Descritor MCP em /mcp.json
# Endpoint MCP: https://artefacto.herreirasemijoias.com.br/mcp