Создание сайтов на 1С Битрикс стало еще просто, используйте готовые шаблоны! Подключайте современные модули, делая ваш сайт еще эффективнее!
Например, парсер сайтов

Блокировщик парсинга с помощью обратного DNS-запроса

1 000 i
Заказать
Оформление заказа
х
В наличии
Защита сайта от программ парсинга, которые подставляют в User-Agent данные поисковых роботов.
Решение позволяет увеличить защиту от парсинга, блокируя запросы от программных средств, осуществляющих парсинг сайтов.

Модуль проверяет роботов с помощью обратного DNS-запроса, если обратный ответ пришел не от поисковой системы, то данный юзер будет заблокирован с ошибкой 403.

Поддерживаемые роботы:
  • Googlebot
  • Yandex
  • Mail
  • Bing
Справка о проверке принадлежности роботов Яндексу: https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html

Справка о проверке принадлежности роботов Google: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot



Минимальные технические требования:

  • PHP 7.4

  • Библиотека curl

Установка и настройка

  • Установка   стандартная. Скачайте, в разделе «Установленные решения»  выбираем   «Установить». Перейти для настройки в раздел «Настройки модуля»

Техническая поддержка осуществляется только по электронной почте: info-sam24@yandex.ru

x