User-agent: *
Allow: /
Disallow: /admin
Disallow: /inc/
Disallow: /module/
Disallow: /templates/
Disallow: /uploads/
Disallow: /*.json$
Disallow: /*.log$
Disallow: /download.php
Disallow: /api/
Disallow: /printer/cloud
Disallow: /search

# Сканировать всё остальное
Sitemap: https://flashforgelab.ru/sitemap.xml

# Задержка между запросами (в секундах)
Crawl-delay: 2

# Правила для Яндекса
User-agent: Yandex
Allow: /
Disallow: /admin
Disallow: /inc/
Disallow: /module/
Sitemap: https://flashforgelab.ru/sitemap.xml

# Правила для Google
User-agent: Googlebot
Allow: /
Disallow: /admin
Disallow: /inc/
Sitemap: https://flashforgelab.ru/sitemap.xml

# Запретить всем ботам доступ к системным файлам
User-agent: *
Disallow: /inc/api.php
Disallow: /inc/auth.php
Disallow: /inc/config.php
Disallow: /errors.json
Disallow: /quiz_data.json
Disallow: /news.json