User-agent: *
Allow: /
Disallow: /profile*/
Disallow: /s&tab*/
Disallow: /s&foros*/
Disallow: /*s&tab=*
Disallow: /*?tab=
Clean-param: tab

Clean-param: tab https://probujdenie.ru/my-profile/

Disallow: /events/teg/

Sitemap: https://probujdenie.ru/sitemap_index.xml
# AI-краулеры (нагрузка без трафика) — 26.07.2026
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: meta-externalagent
Disallow: /
# bingbot: ограничение частоты обхода — 24k хитов/3 сут, главная ~110/час (09.08.2026, reports/12)
# Отдельная группа: повторяем Disallow из *, т.к. бот читает только свою группу
User-agent: bingbot
Disallow: /profile*/
Disallow: /s&tab*/
Disallow: /s&foros*/
Disallow: /*?tab=
Disallow: /events/teg/
Crawl-delay: 10
# Дополнение 22.08.2026: реальные токены ботов из логов (reports/13): Amzn-SearchBot и Claude-SearchBot
# не покрывались старыми правилами Amazonbot/ClaudeBot; SEO-пауки без пользы для сайта
User-agent: Amzn-SearchBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: SERankingBacklinksBot
Disallow: /
User-agent: BacklinksExtendedBot
Disallow: /
User-agent: FindFiles.net
Disallow: /
User-agent: PetalBot
Disallow: /
# Дополнение 16.09.2026: краулеры-паразиты из access-логов 14–15.09 (ImageBot/img2dataset — +38k/сут; AteveSearch — спам)
User-agent: ImageBot
Disallow: /
User-agent: img2dataset
Disallow: /
User-agent: AteveSearchSourceUrlDiscovery
Disallow: /