User-agent: *
Allow: /
Disallow: /app/
Disallow: /api/

# ESIM-181 — НЕ добавляйте сюда /login, /account и /buy/orders.
#
# Эти маршруты отдают `X-Robots-Tag: noindex, follow` (см. vercel.json).
# Страница, закрытая в robots.txt, не скачивается — значит Google не увидит
# и заголовок noindex, и уже проиндексированный URL останется в выдаче
# («Проиндексировано, несмотря на блокировку в robots.txt»). Чтобы страницу
# ВЫКИНУЛИ из индекса, её нужно разрешить обходить.
#
# Замер 02.09.2026 (GSC, 28 дней): в индексе из служебных только /buy/orders
# (8 показов) и /login (5). Ничего из /app и /account не показывалось ни разу,
# поэтому `Disallow: /app/` выше оставлен как есть — он ничего не держит в
# индексе и экономит обход.
#
# Закрывать эти пути здесь можно будет после того, как GSC подтвердит, что они
# выпали из индекса — тогда noindex своё отработал.

# AI crawlers — explicitly allowed for GEO/LLM discoverability
# Training crawlers
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

User-agent: CCBot
Allow: /

User-agent: Bytespider
Allow: /

User-agent: cohere-ai
Allow: /

# Live AI search crawlers (per-query fetch)
User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: DuckAssistBot
Allow: /

Sitemap: https://esimahora.com/sitemap.xml

# LLM-readable site map (markdown format per llmstxt.org draft)
# https://esimahora.com/llms.txt