# BEGIN adm.tools Managed content

User-agent: *
Allow: /

User-Agent: SemrushBot
User-Agent: serpstatbot
User-Agent: AhrefsBot
User-Agent: MJ12bot
User-Agent: Amazonbot
User-Agent: DataForSeoBot
User-Agent: AwarioBot
User-Agent: Bytespider
User-Agent: ClaudeBot
User-Agent: GPTBot
User-Agent: meta-externalagent
User-Agent: OAI-SearchBot
User-Agent: Baiduspider
User-Agent: Applebot
User-Agent: PerplexityBot
User-Agent: Pinterestbot
User-Agent: meta-webindexer
User-Agent: Sansec Security Monitor
User-Agent: SERankingBacklinksBot
User-Agent: ShapBot
User-Agent: TurnitinBot
User-Agent: OAI-AdsBot
User-Agent: Claude-User
User-Agent: Claude-SearchBot
User-Agent: Coherebot
User-Agent: Perplexity‑User
User-Agent: Amzn-SearchBot
User-Agent: AhrefsSiteAudit
User-Agent: YisouSpider
User-Agent: MistralAI-Inde
User-Agent: MistralAI-Training
User-Agent: Reflectionbot
User-Agent: SofyaBot
User-Agent: KeenableBot
User-Agent: tphotobot
User-Agent: QlyzeBot
Disallow: /

# END adm.tools Managed content

User-agent: *               # общие правила для роботов всех поисковых систем
Disallow: /cgi-bin          # служебная папка для хранения серверных скриптов
Disallow: /?                # все параметры запроса на главной
Disallow: /wp-              # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /wp/              # если есть подкаталог /wp/, где установлена CMS (если нет, 
                            # правило можно удалить)
Disallow: *?s=              # поиск по сайту
Disallow: *&s=          # поиск по сайту
Disallow: /search/          # поиск по сайту
Disallow: /author/          # архив автора
Disallow: /users/           # архив пользователей
Disallow: */trackback       # трекбеки, уведомления в комментариях о ссылке на веб-документ
Disallow: */feed            # все фиды
Disallow: */rss             # rss фид
Disallow: */embed           # все встраивания
Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не используете, 
                            # правило можно удалить)
Disallow: /xmlrpc.php       # файл WordPress API
Disallow: *utm*=            # ссылки с utm-метками
Disallow: *openstat=        # ссылки с метками openstat
Disallow: *add_to_wishlist= # ссылки с метками oadd_to_wishlist
Disallow: *wpnonce          # ссылки с метками wpnonce
Disallow: *wishlist         # ссылки с метками wishlist
Disallow: *remove_item     # ссылки с метками remove_item
Disallow: /*add_to_wishlist= # ссылки с метками oadd_to_wishlist
Disallow: /*wpnonce        # ссылки с метками wpnonce
Disallow: /*wishlist        # ссылки с метками wishlist
Disallow: /*remove_item    # ссылки с метками remove_item
Disallow: *cart
Disallow: /*cart
Disallow: *checkout
Disallow: /*checkout
Disallow: *filter
Disallow: /*filter
Disallow: *filter_area
Disallow: /*filter_area
Disallow: *feed
Disallow: /*feed
Disallow: *yith-woocompare-add-product
Disallow: /*yith-woocompare-add-product
Disallow: *action
Disallow: /*action
Disallow: *results
Disallow: /*results
Disallow: *keyword
Disallow: /*keyword
Disallow: *wp-json
Disallow: /*wp-json
Disallow: *loading_type
Disallow: /*loading_type
Disallow: *ajax-pagination
Disallow: /*ajax-pagination
Disallow: *infinity-scroll
Disallow: /*infinity-scroll
Disallow: *dirDesc
Disallow: /*dirDesc
Disallow: *results
Disallow: /*results
Disallow: *mf_name
Disallow: /*mf_name
Disallow: *feedback
Disallow: /*feedback
Disallow: *result
Disallow: /*result
Allow: */uploads            # открываем папку с файлами uploads
Allow: /*/*.js              # открываем файлы скриптов js
Allow: /*/*.css             # открываем фалы css
Allow: /wp-*.png            # разрешаем индексировать изображения
Allow: /wp-*.jpg            # разрешаем индексировать изображения
Allow: /wp-*.jpeg           # разрешаем индексировать изображения
Allow: /wp-*.gif            # разрешаем индексировать гифки
Allow: /wp-admin/admin-ajax.php # разрешаем ajax

# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS 
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал 
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Host: remontgidro.com.ua

# Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent 
# не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.

Sitemap: https://remontgidro.com.ua/product-sitemap.xml
Sitemap: https://remontgidro.com.ua/product_cat-sitemap.xml
Sitemap: https://remontgidro.com.ua/ts_product_brand-sitemap.xml	
Sitemap: https://remontgidro.com.ua/ts_portfolio-sitemap.xml	
Sitemap: https://remontgidro.com.ua/page-sitemap.xml	
Sitemap: https://remontgidro.com.ua/post-sitemap.xml