Обновление: FriendlySpider 2.6
Вышло обновление FriendlySpider с настройками, которые позволяют разрешать или запрещать сканирование определенных внешних ресурсов с помощью «белого» и «черного» списков.
Списки работают идентично логике работы robots.txt, НО только для внешних ссылок: «белый» список разрешает посещение стороннего ресурса, а «черный» запрещает.
Это актуальное решение для больших компаний и не только, позволяющее регулировать трафик во время эксплуатации краулера.
Пример работы
Дано: Крупное маркетинговое агентство со своим штатом SEO-специалистов. Все сотрудники подключены к одному интернет-каналу (один IP-адрес).
Сценарий: Один из SEO-специалистов производит сканирование сайта (100 000+ страниц) с большим количеством ссылок на внешние ресурсы, включая новостные, например РБК или Ведомости. Эти ресурсы могут иметь внутренние системы защиты от негативного трафика, которые в свою очередь могут ошибочно идентифицировать трафик краулера как DDOS-атаку и блокировать IP-адрес, с которого работает краулер.
Проблематика: Внешний ресурс сканирует 1 сотрудник - 1 ПК, но блокируется весь интернет-канал, с которого идет подозрительный трафик (с точки зрения сканируемого ресурса). А равно ни один сотрудник агентства не будет иметь доступ к важным для работы внешним ресурсам до полной разблокировки, что может занять несколько часов или сутки.
Решение: Формируется специальный список правил по посещению внешних ресурсов краулером с помощью нового функционала FriendlySpider в зависимости от потребностей.
- Вариант 1: важные для работы внешние ресурсы добавляются в «черный» список, краулер не будет их посещать во избежание блокировок.
- Вариант 2: разрешенные для сканирования ресурсы добавляются в «белый» список, остальные ресурсы игнорируются. В том числе можно разрешить сканирование только самого сайта агентства/компании, его внутренних ссылок, без анализа внешних ссылок.
Запрещенные для сканирования внешние ссылки будут показаны в отчете «Внешние ссылки» и окрашены в серый цвет. Вместо кода ответа сервера (200, 404 и пр.) будет отображаться статус «0», означающий «Сканирование запрещено».
Как настроить список
1. Откройте окно сканирования сайта.
2. Перейдите на вкладку «Белый / черный списки доменов».
3. Включите нужный список с помощью ползунка. «Белый» список разрешает обход определенных внешних ресурсов краулером, а «черный» запрешает сканирование.
4. Скопируйте домен или адрес внешнего ресурса (если добавить адрес, то программа сама найдет и вырежет домен) в строку.
5. Нажмите на кнопку «Добавить» (или Enter на клавиатуре), чтобы домен появился в выбранном списке.
Некоторые правила и ограничения работы со списками
- Списки можно включать или отключать с помощью ползунка, однако одновременно они логически работать не могут. Поэтому включая один, вы отключаете другой.
- Нельзя добавлять в список сканируемый домен. Если вы хотите разрешить сканирование только вашего сайта и его внутренних ссылок, запретив обход внешних ссылок, выберите «белый» список и оставьте его пустым.
- Списки не учитывают разницу написания домена. Так домен example.com и www.example.com считаются разными ресурсами (как бы считала поисковая система). Учитывайте это в работе со списками.
