Что такое sitemap.xml и зачем сайту карта
Sitemap (sitemap.xml, карта сайта для поисковых роботов) — Sitemap.xml это файл со списком адресов сайта, которые вы хотите видеть в поиске, с датами обновления, чтобы робот быстрее находил новые и изменённые страницы.
Карта сайта сама по себе не обеспечивает индексацию, но сильно упрощает роботу работу. Особенно она нужна большим сайтам, интернет-магазинам и новым проектам, на которые ещё мало внешних ссылок.
Формат простой: XML-файл, где каждая страница описана тегом url с адресом loc и датой lastmod. Ограничение на один файл: 50 000 адресов и 50 МБ. Если страниц больше, делают несколько карт и индексный файл, который на них ссылается.
Что включать:
- только канонические адреса с кодом ответа 200;
- страницы, открытые для индексации;
- реальную дату изменения каждой страницы (сегодняшняя дата на всех адресах сразу сбивает робота).
Что не включать: адреса с редиректами, страницы с noindex, дубли с параметрами, служебные разделы.
Пример. На сайте клиники 180 страниц, в sitemap 240 адресов: 60 из них старые URL, которые отдают 301-редирект. Робот тратит время на мусор, а Вебмастер показывает ошибки. После чистки карта содержит ровно те 180 страниц, которые нужны в поиске. Цифры условные.
Как сделать. Большинство CMS (WordPress с плагином SEO, Битрикс, Tilda) создают карту автоматически. Для статических сайтов её генерирует сборщик. После этого адрес карты прописывают в robots.txt и добавляют в Яндекс Вебмастер и Google Search Console.
Не путайте sitemap.xml с HTML-картой сайта. HTML-карта это обычная страница со списком ссылок для людей, сейчас её делают редко.
Частые ошибки. Карту сгенерировали один раз при запуске и забыли, новые страницы в неё не попадают. Карта отдаёт ошибку 404 или закрыта от роботов. В ней смешаны адреса с www и без. При аудите мы сравниваем карту с реальным индексом и список расхождений отдаём разработчику.