Создание сайтов на 1С Битрикс стало еще просто, используйте готовые шаблоны! Подключайте современные модули, делая ваш сайт еще эффективнее!
Например, парсер сайтов

Поиск + robots.txt

Бесплатно
Модуль, позволяющий индексировать сайт (а также генерировать Sitemap) согласно правилам как в robots.txt (правила дублируются в настройках модуля Поиск). Подробнее в блоге: http://dev.1c-bitrix.ru/community/webdev/user/11948/blog/7509/

Рекомендую к использованию также модуль актуальной карты сайта: http://marketplace.1c-bitrix.ru/solutions/asd.sitemap/
Просто установите модуль и новый функционал появится автоматически. Переходите на страницу настроек модуля _поиск_ (стандартный) и можете вносить маски как на скриншоте.



Внимание! Не копируйте весь robots.txt в поле настроек, там можно ставить ограничения только на страницы и разделы.

Можно: /auth/*

Нельзя: /*auth=*



Пост в блоге: http://dev.1c-bitrix.ru/community/webdev/user/11948/blog/7509/
Для данного решения техподдержка не предусмотрена. По другим вопросам: https://www.asd-it.ru/support/

x