Обновление: FriendlySpider 2.3

Пользователям стала доступна новая версия FriendlySpider 2.3 с переработанным генератором карты сайта (sitemap.xml).

Что нового:

Обновленный генератор карты сайта

Мы переработали генератор карты сайта (sitemap.xml), сделали его более удобным и быстрым в использовании:

1. Увеличена скорость генерации карты сайта

Владельцам больших сайтов 50 000+ страниц более не нужно ожидать несколько минут выгрузку карты сайта. Генерация срабатывает за несколько секунд.

2. Удобная выгрузка карт для больших сайтов (50 000+ страниц)

При выгрузке формируется несколько файлов. Общий файл sitemap.xml содержит ссылки на все карты сайта, что есть на сайте. Файлы sitemap-0.xml, sitemap-1.xml представляют собой карты сайта, разделенные по 50 000 страниц. Значение «сколько страниц содержится» в файле можно менять.

При создании карты сайта (sitemap.xml) необходимо соблюдать ограничение в 50 000 ссылок. Размер файла не должен превыщпать 50 МБ. Иначе поисковые системы могут проиндексировать только часть страниц или проигнорировать файл вовсе. При превышении лимита необходимо создать несколько отдельных файлов карт (сколько необходимо) и объединить их через индексный файл. Программа FriendlySpider сделает это за вас.

Какие ошибки чаще всего встречаются в картах сайта?

Создание карты сайта вручную — очень кропотливый процесс с множеством подводных камней. Чаще всего начинающие оптимизаторы и веб-мастера допускают следующие ошибки:

1. Карта сайта содержит ошибки в XML-разметке

Наличие в файле лишних или пропущенных тегов, незакрытых элементов и нарушений в структуре делает его невалидным. В результате робот не сможет его обработать.

2. Карта сайта содержит битые ссылки и страницы с ошибками

Ошибки 404 и 500, а также редиректы в карте сайта подрывают доверие поисковых систем к вашему ресурсу. Хотя робот всё равно будет пытаться обойти эти страницы, вы впустую расходуете краулинговый бюджет.

3. Карта сайта содержит ссылки на страницы других доменов или поддоменов

В файле карты сайта должны содержаться URL-адреса только того домена, на котором размещен сам файл. Например, для сайта example.ru можно добавить ссылку типа example.ru/page1, но нельзя добавить ссылку на другой домен, например site.ru, или поддомен one.example.ru. В противном случае поисковый робот проигнорирует чужие адреса или посчитает файл невалидным.

4. Карта сайта или ее адреса закрыты от индексации

Поисковые роботы не обработают файл, если он расположен в директории, закрытой от индексации, а также страницы заблокированные для индексирования в файле robots.txt.

5. Карта сайта превышает лимиты по размеру файла или количеству ссылок

Файл не должен весить более 50 МБ и содержать более 50 000 страниц.

Чтобы недопустить ошибок, лучше воспользоваться автоматическим генератором карты сайта, который учтет все правила по созданию карты сайта, а веб-мастеру останется только внести корректировки, например по приоритизации индексации страниц поисковым роботом.

Как создать карту сайта через программу FriendlySpider

Генератор карты сайта можно вызвать, используя горячие клавиши Ctrl+M. «Генератор карты сайта» можно также найти при нажатии на пункт меню «Инструменты».

Произведите настройки карты сайта

1. Установите стартовый приоритет для страниц (1 - самый приоритетный, 0 - наименне приоритетный).

2. Примените лимит по количеству адресов, если ваш сайт больше 50 000 страниц.

3. Поставьте галочку напротив пункта «Понижать приоритет по иерархии», так верхнеуровневые страницы будут иметь больший приоритет при сканировании.

4. Выберите проставлять ли слеш в конце адреса (зависит от типа ссылок на сайте: example.ru/page1 или example.ru/page1/)

5. Примените правила индексации: учитывать правила robots.txt, мета-тег robots, X-robots. Можно также выбрать агента (user-agent), для которого готовится карта.

6. Настройте дополнительные исключения.

генератор sitemap friendlyspider