Учебник по созданию сайта
Правильный robots.txt для WebAsyst Shop-Script
Как избежать индексации лишних страниц и снизить нагрузку на сервер со стороны поисковых роботов
Правила для файла robots.txtWebAsyst Shop-Script нужно вписывать в бекенде приложения «Сайт». Перейдите в раздел «Настройки» и найдите в нем поле «robots.txt».
Примеры
Disallow: /search/?query= | Страница с результатами поиска товаров. |
Disallow: /compare/ | Страница с результатами сравнения товаров. |
Disallow: /tag/ | Страница с результатами поиска по тегам. |
Disallow: *&sort= Disallow: */?sort= | Страница с результатами сортировки товаров в категории. |
Disallow: /cart/ | Страница корзины покупателя. |
Disallow: /order/ | Страница оформления заказа в корзине. |
Disallow: /checkout/ | Страницы пошагового оформления заказа. |
Disallow: /my/ | Личный кабинет покупателя. |
Disallow: /signup/ | Страница регистрации покупателя. |
Disallow: /login/ | Страница входа в личный кабинет. |
Disallow: /forgotpassword/ | Страница напоминания пароля. |
Disallow: /webasyst/ | Страница для входа в бекенд Webasyst. |
Так выглядит правильный файл robots.txt WebAsyst Shop-Script
User-agent: *
# wa shop *
Disallow: /my/
Disallow: /checkout/
Disallow: /signup/
Disallow: /soglasie/
Disallow: /cart/
Disallow: /login/
Disallow: /forgotpassword/
Disallow: /search/*
Disallow: /search/?query=
Disallow: /search/?page=*
Disallow: /search/&query=*
Disallow: /*sort=
Disallow: *&sort=
Disallow: */?sort=
# wa shop
# wa mailer mailer/*
Disallow: /mailer/unsubscribe/
# wa mailer
Host: https://адрес-вашего-домена
Sitemap: https://адрес-вашего-домена/sitemap.xml
Crawl-delay: 10