# robots.txt для xskill.com
#
# Одна общая секция вместо трёх. Раньше правила были разложены по
# User-agent: * / Yandex / Googlebot, а робот читает ТОЛЬКО свою секцию.
# В секции Yandex запретов на /case/, /kejsy-raboty, /selection/ и /podbor
# не было — то есть закрытые разделы были для Яндекса полностью открыты.
# Теперь правила одни для всех, рассинхрону взяться неоткуда.
#
# ВАЖНО про формат: внутри группы НЕ ДОЛЖНО быть пустых строк — пустая строка
# по стандарту завершает группу, и всё, что ниже, повисает без User-agent.
# В прежнем файле пустая строка стояла сразу после «User-agent: *».
#
# Про /thanks, /error, /cases-search, /portfolio-x — их здесь сознательно нет.
# Их надо убрать из выдачи, а не спрятать содержимое, а Disallow для этого не
# годится: робот не зайдёт на страницу и не увидит noindex, поэтому адрес может
# остаться в индексе. Правильный инструмент — метатег robots в шаблоне.
User-agent: *
# Закрытые разделы: содержимое — коммерческая тайна клиентов, роботу его
# не читать вовсе. Здесь Disallow уместен: запрещает саму загрузку страницы.
Disallow: /case/
Disallow: /case/*
Disallow: /kejsy-raboty
Disallow: /kejsy-raboty*
Disallow: /selection/
Disallow: /selection/*
Disallow: /podbor
# Служебное
Disallow: /admin/
Disallow: /admin/*
Disallow: /cache/
Disallow: /data/
Disallow: /functions/
Disallow: /templates/
# Технические файлы
Disallow: /*.php$
Disallow: /config.php
Disallow: /debug.php
Disallow: /.env
Disallow: /.htaccess
Disallow: /package.json
Disallow: /tailwind.config.js
Disallow: /README*.md
Disallow: /modul pages tmp/
Disallow: /*-BACKUP-*
Disallow: /*-bkp.*
Disallow: /data/old/
# Статика нужна, чтобы робот увидел страницу так же, как посетитель
Allow: /static/css/
Allow: /static/js/
Allow: /static/fonts/
Allow: /static/images/
Allow: /static/uploads/
Allow: /*.css$
Allow: /*.js$
# Метки рекламы и переходов не создают новых страниц — склеиваем (Яндекс)
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&gclid&from&_openstat

Sitemap: https://xskill.com/sitemap.xml