XML Sitemap

Топ-3 лучших казино за 2020 год:
  • КазиноИкс
    КазиноИкс

    Лучшее казино по размеру бонусов и Джекпотам!

  • Чемпион
    Чемпион

    Полностью на русском языке. Бонусы за депозиты 200 000 руб!

  • JoyCasino
    JoyCasino

    Быстрые выплаты, Джекпот 20 млн!

Мастер-класс: как составить файл sitemap.xml

Файл sitemap.xml, так же, как и обычная карта сайта представляет из себя набор страниц, оформленных в XML-теги. С помощью данного файла, поисковые системы понимают, какие страницы вашего сайта следует индексировать в первую очередь.

Обычная HTML карта сайта:

Карта сайта в формате XML:

У каждого варианта есть свои плюсы и минусы. Ключевое преимущество карты сайта в формате XML — исключение возможности размытия статического веса страниц внутри сайта.

В этой статье я расскажу вам как составить корректный файл Sitemap.xml.

Если вы уже знаете все про составление Sitemap, сразу переходите к последней главе, которая называется «Фишки».

1. Директивы файла sitemap.xml

Существуют 3 обязательных директивы, которые должны быть заполнены в любом случае, это теги:

А также 3 необязательных тега:

Вот памятка по расшифровке каждого тега из официального сайта http://www.sitemaps.org/ru/protocol.html:

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

Инкапсулирует этот файл и указывает стандарт текущего протокола.

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

Сам URL-адрес страницы. Всегда начинается с префикса (например, HTTP) и заканчиваться косой чертой (если сервер вашего сайта требует этого).

Внимание: длина URL-адреса не должна превышать 2048 символов.

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

Позволяет указать как часто меняется информация на странице.

Это значение устанавливается приблизительно.

Если страница изменяется каждый раз, когда ее открывают — используем значение «always» (всегда). Если это архивная страница — ставьте never (никогда).

Учтите, что этот атрибут служит для поискового робота подсказкой, а не правилом. Поэтому зависимости между ним и реальной частотой посещения страницы поисковым роботом нелинейная.

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

Валидность

После составления карты сайта нужно проверить ее на наличие ошибок. Для проверки используйте сервис https://webmaster.yandex.ru/sitemaptest.xml

После успешной проверки заливаем наш файл на сайт.

Расположение файла

В отличие от файла robots.txt, файл sitemap.xml может располагаться в любом месте вашего сайта. Например, в корневой папке сайта файл будет доступен по следующему адресу:

Если вы разместили файл в папке /files/, то он будет доступен по такому адресу:

После успешной загрузки файла, обязательно укажите поисковым роботам как найти этот файл. Делается это очень просто. В файле robots.txt (подробная инструкция по составлению) в директиве Sitemap пропишите полный адрес к файлу. Например, файл robots.txt может выглядеть следующим образом:

Важно! В отличии от robots.txt файлов Sitemap может быть несколько. В таком случае необходимо указывать в robots и вебмастерах полный адрес ко всем файлам Sitemap.

Search Console и панель Яндекс.Вебмастера

Остался последний этап. Указать путь к карте сайта в панелях вебмастеров поисковых систем.

В Search Console (панель вебмастера Google):

  • Сканирование
  • Файлы Sitemap
  • Добавление/Проверка файла Sitemap
  • Настройка индексирования
  • Файлы Sitemap
  • «Проверить» и «Добавить»

Следует отметить ограничения в XML-карте сайта:

  • В одном файле можно указать не более 50000 URL-адресов
  • Вес файла не более 10 мегабайт (поисковые системы не индексируют документы, превышающие размер в 10 мегабайт). При необходимости файл можно сжать с помощью архиватора .gzip.
  • Кодировка файла только в UTF-8

На этом основные этапы завершены. Следуйте всем описанным простым правилам и ошибок у вас не будет. Вторая часть статьи посвящена более детальной настройке, тонкостям и особенностям sitemap.xml эти знания потребуются вам для составления профессиональной карты сайта для интернет-магазинов.

3. Группировка файлов Sitemap

В случае превышения лимита в 50000 URL-адресов, нужно использовать вложенную структуру и создать группу из нескольких Sitemap. То есть создавать карты сайта в карте сайта!

Для обычного сайта (не крупного портала или интернет-магазина) такой объем страниц редкость, поэтому группировку Sitemap большинство SEO-специалистов используют для удобства, например, для группировки страниц товаров или разделов.

Синтаксис выглядит следующим образом:

» style=»border: 1px dashed rgb(172, 172, 172);»> » style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

Инкапсулирует информацию о всех файлах Sitemap в этом файле.

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

Указывает местоположение файла Sitemap.

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

Содержит всю информацию об одном изображении. Каждый URL (тег ) может включать до 1000 тегов .

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

Подпись к изображению.

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

» style=»border: 1px dashed rgb(172, 172, 172);»>

Надеюсь помог вам.

Оказывается теги слетели в ответе выше, надеюсь все поняли, что я имел ввиду. Если кому-то будет непонятно, выложу скриншотами.

Согласен, добавление необязательных тегов вручную с каталогом магазина в 25000 товаров проблемная ситуация. :)

Если вам это все же действительно нужно, то решение вижу следующее. Все товары нужно разбить на группы по приоритетам. Как это сделать:
1. Собираем названия всех разделов
2. Пробиваем частотность по H1 каждого раздел.

Оказывается теги слетели в ответе выше, надеюсь все поняли, что я имел ввиду. Если кому-то будет непонятно, выложу скриншотами.

Согласен, добавление необязательных тегов вручную с каталогом магазина в 25000 товаров проблемная ситуация. :)

Если вам это все же действительно нужно, то решение вижу следующее. Все товары нужно разбить на группы по приоритетам. Как это сделать:
1. Собираем названия всех разделов
2. Пробиваем частотность по H1 каждого раздела (например, программой KeyCollector или бесплатным аналогом Слово*б).
3. Таким образом, будет примерно выстроен приоритет по трафикодающим страницам.
4. Зная этот список можно по фильтру в Excel (по вложенности адресов страниц в данную категорию) выставить приоритеты по принципу описанному выше. Я бы делил коэффициент приоритета на 5 частей. Например, главная страница имеет приоритет 1,00. Следующие 20% страниц имеют приоритет ниже, например, 0,8 и т.д. Расставили приоритеты по всем страницам.
5. Частоту изменения я бы проставил по типам страниц. Например, главная страница меняется ежедневно, категории еженедельно, а страницы карточек товаров ежемесячно. Отделять страницы карточек товаров от страниц разделов/подразделов можно с помощью регулярных выражений или просто исключения страниц разделов из общего списка в Excel.
6. Теперь самое трудное, нужно проставить дату последнего изменения документа. Можно поступить таким способом, с помощью программы Comparser, парсим выдачу поисковой системы Яндекс или Google и копируем оттуда дату сохраненной копии: yadi.sk/i/kp0qReDctFGzi. Существует проблема объема индексной базы, мы спарсим только те страницы, до которых добрались роботы поисковых систем, так же возможно наличие большого количества служебных страниц.
7. Можно поступить попроще. После указания приоритета, частоты изменения, можно датой последнего изменения документа установить любую дату (например, вчерашнюю). :)

И еще один момент, в будущем, возможно вам понадобятся более сложные решения в плане SEO, поэтому рекомендую переехать с saas решения InSales на любую другую CMS (например, Opencart). Лучше всего для задач поисковой оптимизации интернет-магазинов подходит Bitrix.

Создаем карту сайта sitemap.xml для WordPress

С помощью карты сайта sitemap.xml поисковые роботы могут более эффективно индексировать ваш сайт. По умолчанию ее нет в WordPress, поэтому сегодня я расскажу как создать карту сайта sitemap.xml на сайте с WordPress.

При помощи генератора

Если у вас статичный сайт, где почти нет никаких изменений: постинга новых статей или правки старых материалов, вы можете создать карту сайта при помощи автоматического генератора.

Работает это все по самому простому принципу — вводите адрес, скрипт анализирует ваш сайт и выдает готовый файл. Далее вы сможете загрузить его в корень сайта и отправить в Яндекс.Вебмастер или Search Console на индексацию.

В качестве примера рассмотрим сервис xml-sitemaps.com. Переходим на сайт, нас сразу встречает полоска для ввода урла.

Сервис бесплатный, но в нем можно обработать не более 500 страниц

Вводим адрес нашего сайта, кликаем на кнопку «Start».

Сервис немного «подумает», после чего предложит вам перейти на страницу с деталями. Там же будет доступна ссылка для скачивания xml-файла.

На этой же странице можно увидеть все детали

Кликаем на кнопку, после чего наша карта сайта окажется в папке «Загрузки». Далее ее необходимо будет выгрузить на хостинг — в корневую папку, которая, как правило, имеет название: «public_html».

Это можно сделать как при помощи FTP-клиента, так и при помощи файлового менеджера — инструмента, который есть в каждом нормальном хостинге.

В файловом менеджере виртуального хостинга Timeweb вам будет достаточно просто перетащить файл из папки на компьютере в папку на самом хостинге.

Перейдите в панель управления, далее зайдите в раздел «Файловый менеджер». Откройте папку вашего сайта (в Таймвебе wordpress_x, где x — порядковый номер сайта), перейдите в папку public_html.

Просто перетащите файл с помощью мыши

Вам останется просто перетащить файл при помощи мыши. Он будет загружен в корень сайта и доступен по адресу: вашдомен.ру/sitemap.xml.

В других хостингах процесс загрузки sitemap.xml будет аналогичен.

Другие генераторы xml карты сайта

Вы можете воспользоваться любым другим подобным генератором sitemap.xml. Все они работают по одному принципу, поэтому данная инструкция будет актуальна и для них.

    Sitemap.ruFree Sitemap Generator (можно обработать до 5 000 страниц) My sitemap generator

Если у вас возникают какие-то трудности при создании карты сайта через онлайн-генератор, то вы всегда можете задать свой вопрос в комментариях.

При помощи плагинов

Самым простым, и в то же время действенным вариантом будет создание карты сайта при помощи плагинов для WordPress. Вам не придется морочить себе голову какими-то генераторами или ручными загрузками файла в корень сайта. Плагин все сделает за вас.

Карта сайта, созданная при помощи плагина, будет обновляться автоматически. Это значит, что такой вариант подойдет для информационных сайтов, интернет-магазинов или любых других проектов, где часто обновляется информация. Поэтому этот способ более приоритетный.

Карта сайта в Yoast SEO

Плагин Yoast SEO тоже умеет создавать карту сайта. После установки плагина из каталога WordPress функция создания карты сайта будет активирована автоматически. Она будет доступна по адресу: вашдомен.ру/sitemap_index.xml.

Отключить карту сайта Yoast SEO можно в настройках плагина: SEO (в боковой панели) — Общие — XML-карта сайта.

Google XML Sitemaps

Простенький плагин, который позволяет создать валидную карту сайта в формате xml. Установить его можно прямо из каталога WordPress — переходим в «Плагины» — «Добавить новый», вводим в окно поиска название, кликаем на кнопку «Установить», далее на «Активировать».

После активации плагина вы сможете перейти к настройкам — «Настройки» — «XML-Sitemap». По умолчанию все параметры раскиданы как надо, но в отдельных случаях вам придется что-то править. Благо, часть настроек более-менее переведена на русский.

Сама карта сайта будет доступна по стандартному адресу: сайт.ру/sitemap.xml.

All In SEO Pack

Еще один бесплатный SEO-плагин, который может создать карту сайта для вашего проекта. Установить его можно также — из каталога.

После установки и активации вы должны перейти в раздел «All In SEO Pack» (также в боковой панели) — «Управление модулями». Там, прямо самым первым пунктом — XML-карта сайта.

Кликаем на кнопку «Activate». Далее в списке подразделов All In SEO Pack появится наша карта сайта. Туда можно перейти, чтобы настроить все под свои нужды. Но, опять-таки, вариант «по умолчанию» также сойдет.

Сам sitemap.xml будет доступен по такому урлу: сайт.ру/sitemap.xml.

Как добавить карту сайта в Яндекс.Вебмастер

У вас есть два варианта: прописать директиву со ссылкой на карту сайта в robots.txt; добавить карту сайта в Яндекс.Вебмастер вручную.

Про первый вариант вы можете почитать в статье по приведенной ссылке. В ней я рассказывал про топовый Robots.txt для WordPress, в котором мы также оставляли директиву с сайтмапом.

На втором способе мы остановимся чуть подробнее. Сложностей возникнуть не должно, все предельно просто.

Переходим в Яндекс.Вебмастер, в нужный сайт. Далее находим раздел «Индексирование». В раскрывающемся списке — «Файлы Sitemap».

Вводим полную ссылку в поле, кликаем на кнопку «Добавить». Все. В течение какого-то времени Вебмастер проиндексирует карту сайта, в этом же окне вы сможете увидеть статус индексирования сайтмапа и ошибки.

Как добавить карту сайта в Search Console

Тут, к сожалению, вариант только один — добавлять сайтмап вручную, через сервис. Но это также очень просто: переходим в Search Console, находим пункт «Файлы Sitemap» в боковой панели, кликаем на него.

В поле вводим название карты сайта в формате sitemap.xml. Если создавали при помощи Yoast SEO, то будет sitemap_index.xml. Если при помощи других плагинов/генератора — название будет стандартным. Нажимаем кнопку «Отправить». Search Console сразу же загрузит вашу карту сайта.

Если все хорошо, то чуть ниже появится ссылка на вашу карту сайта и зеленая надпись «Успешно». Теперь Гугл будет учитывать сайтмап при индексации.

Заключение

Как видите, создать карту сайта sitemap.xml в WordPress можно разными способами: онлайн-генератором и с помощью плагинов. Скорее всего у вас уже установлен один из двух крупнейших SEO-плагинов. Функция создания сайтмапа в них уже встроена, поэтому вам не о чем беспокоиться.

Онлайн-генераторы тоже нельзя списывать со счетов. Если у вас статичный проект, контент на котором не обновляется — можно просто создать файлик через такой сервис, отправить его в Яндекс.Вебмастер и Search Console, и забыть об этом.

В общем, я надеюсь, что эта статья окажется полезной для вас. Если вам что-то непонятно, то смело спрашивайте в комментариях — постараюсь быстро ответить и доработать статью.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

А что Вы знаете о sitemap?

Карта сайта в формате XML должна быть на любом сайте, это как минимум правило хорошего тона для вебмастера. Кроме этого, sitemap помогает поисковым машинам в индексации сайта, потому как время от времени поисковики карту сайта обходят.

Технически реализовать карту сайта не сложно, в популярных CMS есть для этого плагины. Однако с настройкой sitemap нужно быть осторожным. Если в карту сайта попадет мусор (изображения, PDF файлы, технические страницы, несуществующие страницы) — они все будут проиндексированы. А так как большинство таких страниц недостаточно качественные — они не будут участвовать в результатах поиска, но поисковая машина будет о них знать, что понизит общий рейтинг сайта.

Содержание:

  1. Формат карты сайта. Есть ли альтернативы?
    • XML рекомендованный, но не единственный
  2. Какие бывают карты сайта
    • Sitemap для изображений
    • Sitemap для видео контента
    • Sitemap для новостей
    • Index Sitemap
  3. Где располагается файл с картой сайта?
    • В файле robots.txt
    • В панелях для веб мастеров
      • Яндекс Вебмастер
      • Google Search Console
  4. Способы организации файлов Sitemap
    • Один обычный sitemap.xml
    • Одновременно используются sitemap.xml и sitemap image
      • Сделать и страницы и изображения в одном файле
      • Сделать отдельные файлы

В файле robots.txt

  • В файле robots.txt
  • Индекс и много файлов
  • Как и для чего исследовать sitemap.xml. Распространенные ошибки
    • Протокол, зеркало
    • Лишние страницы, технические страницы, заброшенные страницы
    • Код ответа сервера
    • Страницы так или иначе скрытые от индексации
    • Файл sitemap не обновляется
    • Ошибки валидации
  • Как создать sitemap.xml
  • Всё ли это?
  • Полезные ссылки
  • Формат карты сайта. Есть ли альтернативы?

    Смущает формат XML? Меня тоже интересовал этот вопрос. Объясняю.

    Яндекс, к примеру, допускает использование фалов sitemap в формате txt. Почитайте сами.

    Google тоже допускает использование формата txt, а также использование фидов (на последнее ругается Яндекс). Довольно подробно здесь.

    XML рекомендованный, но не единственный

    Яндекс об этом заявляет прямо — использование XML рекомендуется. Google говорит нам о том, что использование txt формата возможно только для указания адреса страницы. Но обычно нам важно передать как можно больше информации поисковой системе, а формат XML как раз позволяет нам это сделать. Об этом слегка позже.

    Какие бывают карты сайта

    Помимо обычной карты сайта протокол позволяет реализовать еще следующие виды sitemap

    Sitemap для изображений

    Первым, как и практические всё в интернете, карту сайта для графического контента начал использовать Google. Это создавало некоторые проблемы
    отечественным веб мастерам, поскольку валидацию в Яндексе такая карта сайта не проходила, а популярные плагины (например YoastSEO для wordpress) генерировали карту сайта для изображений внутри основной карты сайта (что допустимо было раньше для Google, если вникнуть в документацию Google и что допустимо сейчас для обоих ПС). Так как Яндекс не поддерживал пространство имен sitemap image, то в Веб Мастере вылазили ошибки.

    Сейчас Яндекс поддерживает пространство имен, разработанное Google для sitemapimage.

    Sitemap для видео контента

    Эта история поддерживается только Google, технологии индексации видео контента Яндекса пока не связаны с файлами sitemap. Документация по этому файлу от Google лежит здесь

    Еще один инструмент, рекомендуемый Google для улучшения рейтингов в выдаче видео контента — использование микроразметки.

    Пространство имен для Sitemap Video также создано Google.

    Sitemap для новостей

    Из названия понятно, что это для новостей и, конечно, только для Google новостей. Яндекс ходит мимо и будет ругаться на такую карту сайта. Подходит для новостных порталов и сайтов с большим потоком новостей или другого текстового контента. Согласно рекомендациям в sitemap news не должно быть записей старше двух дней.

    Список лучших русскоязычных казино:
    • КазиноИкс
      КазиноИкс

      Лучшее казино по размеру бонусов и Джекпотам!

    • Чемпион
      Чемпион

      Полностью на русском языке. Бонусы за депозиты 200 000 руб!

    • JoyCasino
      JoyCasino

      Быстрые выплаты, Джекпот 20 млн!

    Index Sitemap

    Не то, чтобы это отдельный вид карты сайта. Дело в том, что файл sitemap имеет вполне физические ограничения — не более 50000 урлов, вес не более 50Мб. Понятно, что есть сайты с гораздо большим количеством урлов и для этого создатели протокола sitemap придумали индексные карты сайта. SitemapIndex по сути представляет из себя карту сайта с картами сайта. Выглядит это так:

    Так выглядит индекс карты сайта в Битрикс CMS

    Многие CMS имеют встроенные инструменты генерации sitemap и многие же из них делают по умолчанию индекс, вне зависимости от размера сайта. Так делает BitrixCMS, практически все плагины для WordPress. Это удобно в том понимании, что веб мастеру не нужно создавать индекс, когда это «вдруг» потребуется, но с файлами будет сложнее работать.

    Где располагается файл с картой сайта?

    Обычно карта сайта располагается по адресу https://site.ru/sitemap.xml, но это вовсе не обязательно. Карту сайта можно расположить на любом адресе. При этом, есть несколько способов указать поисковым машинам на адрес расположения карты сайта:

    В файле robots.txt

    В этом файле можно указать на адрес карты сайта, его постоянно просматривают роботы, где для них содержатся инструкции по сканированию сайта.

    адрес карты сайта в файле robots.txt

    В панелях для веб мастеров

    Яндекс Вебмастер

    В яндекс веб мастере это раздел индексирование -> файлы sitemap

    Как добавить sitemap в ЯндексВебмастер

    Перед добавлением ссылки на файл последний можно проверить теми же сервисами Яндекса, здесь для не авторизованных пользователей, для авторизованных в ВебМастере можно проверить как указано на картинке.

    Где проверять карту сайта в Яндекс Веб мастере

    Обратите внимание на то, что проверить карту сайта можно тремя способами — проверить файл, проверить сам код (или его кусок), либо проверить URL. В большинстве случаев достаточно проверить URL, поскольку сам файл формируется инструментами CMS, а на его содержимое можно влиять лишь в контексте попадания или не попадания конкретной страницы в файл sitemap.

    Однако, если Вы разрабатываете свой собственный модуль для формирования карты сайта, у Вас самописная CMS, или к карте сайта есть определенные технические требования (например совместить карту сайта страниц и карту сайта для изображений), то тогда есть смысл проверять на валидность как сам файл, так и отдельные его куски.

    На всякий случай, если Вы еще не видели документацию по протоколу Sitemap — она здесь https://www.sitemaps.org/ru/protocol.html.

    Google Search Console

    В SearchConsole, разумеется, тоже можно добавить файлы sitemap и в некотором смысле Google дает нам больше инструментов для управления индексированием через sitemap. Добавить можно как указано на изображении ниже

    Где добавлять карту сайта в Google Search Console

    Способы организации файлов Sitemap

    Часто у веб мастеров возникают вопросы об организации файлов sitemap в случае, если используются несколько видов файлов на одном сайте. Но начнем с простого

    Один обычный sitemap.xml

    Проще всего разместить файл в директории «по умолчанию» site.ru/sitemap.xml. Далее следует указать адрес карты сайта в файле robots.txt и панелях веб мастеров. Все будет ок, только периодически надо проверять, обновляется ли сам файл.

    Одновременно используются sitemap.xml и sitemap image

    Сейчас, когда Яндекс стал поддерживать пространство имен, разработанное Google вариантов стало несколько.

    Сделать и страницы и изображения в одном файле

    Выглядеть это будет примерно так:

    [php]

    http://site.ru/page/

    http://site.ru/kartinka.jpg

    http://site.ru/photo.jpg
    Работа в Париже
    Париж, Франция

    [/php]

    В этой карте размещена одна ссылка на страницу и адреса с файлами изображений.

    Соответственно, мы можем помимо адреса самой страницы передавать поисковику и информацию об изображениях, размещенных на этой странице.

    Это корректный способ использоватения по сути двух видов файла в одном. Однако он не самый оптимальный, поскольку управлять измнеениями в такой реализации будет сложно. На наш взгляд оптимальный следующий способ:

    Сделать отдельные файлы

    Понятно, что можно генерировать два файла, один для изображений, другой для страниц. Более того, возможно и допустимо генерировать разные файлы для разных роботов, если для продвижения используются сложные схемы управления индексированием и этот процесс разделяется для Яндекса и Гугла.

    В этом случае нужно не указывать на файл sitemap в файле robots.txt, а в панелях для веб мастеров указать адреса сайтмапов для той или иной поисковой системы.

    Вот как это выглядит

    Указание на общий sitemap в robots В SearchConsole добавлена карта сайта для изображений Карта сайта добавлена в панели веб мастера Яндекса

    Конкретно здесь такая реализация из-за того, что Яндекс некоторое время назад еще не поддерживал пространство имен для Sitemap image, поэтому мы и не добавили эту карту сразу в robots, а добавили только в GSC. Когда Яндекс стал поддерживать этот формат мы добавили карту через ЯВМ, ибо так быстрее.

    Сейчас можно в файл robots.txt добавлять несколько ссылок на файлы карты сайта и поисковые системы обойдут их все.

    В файле robots.txt

    Обычный файл robots для обычного сайта выглядит стандартно. Как правило в таком обычном файле директивы используются для всех Usar-agent, в том числе ссылка на карты сайта для всех роботов одна.

    При этом надо понимать, что сканированием графического контента на сайте занимаются специальные роботы — Googlebot-Image и YandexImages. Для этих агентов можно прописать свои директивы и свои карты сайта.

    еще так можно управлять индексацией картинок

    Индекс и много файлов

    Индекс сам по себе предполагает несколько файлов внутри. Однако по нашему мнению не стоит в индекс вкладывать ссылки на файлы sitemap для изображений, видео и новостей, а расположить их отдельными файлами и добавить в панелях веб мастеров.

    Вот так выглядит индекс карты сайта в Веб мастере

    Так видит яндекс индексный файл карты сайта

    А вот так в GoogleSearchConsole

    Так индексный файл смотрится из панели GSC

    Файлы внутри индекса технически не считаются как отдельные карты сайта, поэтому Яндекс предлагает к индексному файлу добавить еще 10 ссылок на файлы sitemap

    Яндекс позволяет добавить еще 10 файлов, несмотря на то, что в индексном файле их уже 6

    Так что индекс — хорошо, но для специфичного контента лучше делать свои отдельные файлы, не входящие в основной индекс. Кроме того, ничто не мешает веб мастеру делать индексы для разных типов карт сайта, если он имеет дело с очень большим количеством контента.

    Как и для чего исследовать sitemap.xml

    Первое, что я делаю, когда делаю технический аудит сайта — открываю его sitemap и рассматриваю его пару минут. Жестянка сразу бросается в опытный глаз.

    Но ищем сейчас мы вовсе не жестянку, а исследуем сайт на потенциальные проблемы с индексированием, а учитывая общий уровень веб мастеров в России, да и за рубежом, честно говоря, эти проблемы касаются каждого второго сайта. Считаем количество URL в карте сайта и в индексе. Если разница большая (а большая она может быть в любую сторону) — надо выявлять проблему дальше, возможно она напрямую и не связана с sitemap. Тут уже следует смотреть взаимосвязи, потому как Вы помните что SEO? SEO — это явно рефлексивный процесс.

    Использование sitemap — серьезный инструмент по управлению индексированием страниц сайта. Если у Вас большой сайт с регулярным добавлением нового контента в значительной объеме — этот инструмент едва ли не самый главный в работе веб мастера

    Естественно, что файл sitemap должен состоять только из тех страниц, которые должны быть проиндексированы поисковыми системами. Но так получается не всегда. Сейчас мы разберем наиболее частые ошибки, которые встречаются при работе с sitemap.xml

    Протокол, зеркало

    Довольно часто встречается история, когда сайт доступен по протоколу https, а URL в карте сайта строятся по протоколу http

    Ошибка в sitemap.xml

    В данному случае проблема в скрипте. Разработчик указал протокол вручную и когда сайт переехал на https никто не обратил внимание на файл sitemap. То же самое касается и другого зеркала — сайта с www или без www.

    В общем, при исследовании Вашего sitemap обратите внимание на то, чтобы был корректный адрес страниц.

    Лишние страницы, технические страницы, заброшенные страницы

    Часто в карте сайта, которому не повезло попасть в руки нормальных SEOшников встречаются встречаются страницы, которых там не должно быть. Причин на это может быть множество:

    • Особенности работы CMS
    • Особенности работы скрипта
    • Наличие на сайте брошенных, старых страниц, страниц, созданных для тестов и т.д.

    Вне зависимости от природы этих ошибок результат всегда один — попадание в sitemap того, что не должно быть там. Только что попросили сделать аудит одного сайта и тут есть что показать Вам. Давайте смотреть картинки.

    Ненужная страница в карте сайта

    Видим, что есть некая страница с URL /404. Идем по адресу и…

    Так выглядит страница 404 из sitemap

    Есть даже некая ирония в том, что страница 404 возвращает код ответа 200 (а должна 404, если что). Дело в том, что таких страниц на этом сайте, непонятных, которые в принципе не нужны ни пользователю, ни поиску, ни кому другому несколько. Все они явно недостаточно качественные для индексации, все они не должны ранжироваться и это понимает поисковая система. Если таких страниц у нас 2-3 — ничего страшного, а если 200?

    Верный код ответа сервера

    Что такое код ответа сервера? Читайте, Екатерина старалась. Прочитали? Или и так знаете?

    Подробно обсуждать коды ответов сервера мы здесь не будем. Если коротко, то все все страницы, входящие в sitemap должны возвращать код ответа сервера 200. Проверить код ответа сервера можно при помощи сервиса Яндекса здесь

    Если сайт создан давно, то есть смысл исследовать страницы из карты сайта на предмет кода ответа, потому что запросто может быть как 404 (страница фактически удалена, но почему-то застряла в карте), так и 301 (поменяла адрес по разным причинам). Это самые популярные альтернативы 200-му ответу, но может быть вообще все что угодно. За это мы и любим веб технологии, — здесь полно сюрпризов и всякой жести порой. И это классно.

    Страницы так или иначе скрытые от индексации

    В файле robots можно закрывать от индексации как отдельные страницы, так и целые папки. Но надо быть последовательным и исключить их из карты сайта. Потому что робот приходит сначала в robots, а потом идет в sitemap и видит закрытые от индексации страницы… То же самое касается, если Вы управляете индексированием с помощью мета тега robots, или заголовков X-Robot tag. То, что лежит в карте сайта по умолчанию предназначено для сканирования и индексирования. Поэтому надо внимательно относиться к тому, что генерируют Ваши скрипты.

    Файл sitemap не обновляется

    Скрипт перестал писать в файл новые страницы. Такое случается довольно часто, и чем сложнее архитектура приложения, тем чаще такое происходит. Это не большая проблема, если не записана одна страница, а если их сотник, то будут проблемы с индексацией сотни этих страниц, поскольку вручную на переобход их не отправить.

    Точно так же стоит обратить внимание на атрибут файла lastmod, если он не обновляется, а страница обновляется — поисковый робот может и не переобойти страницу, обратившись к атрибуту lastmod и вычислив, что страница не изменена.

    Ошибки валидации

    Из панели веб мастера Яндекс или Google могут Вам сообщать о том, что карта сайта сгенерирована с нарушениями и проч. Здесь трудно что-то разобрать на примерах, потому как на наших сайтах таких ошибок не бывает, да и вообще они довольно редкие. Такое если происходит, то вследствие ошибок при разработке, когда неверно применена или понята документация протокола. 99% сайтмапов сгенерированы CMS и если и содержат ошибки, то содержательные.

    Как создать sitemap.xml

    Сегодня с этим нет проблем совершенно. Большая часть сайтов работает на коммерческих CMS, которые из коробки имеют функционал по созданию sitemap. Конечно, когда Вам нужно сделать sitemap для видео, картинок, новостей, а плагины CMS этого решения не предлагают — нужно заниматься самостоятельной разработкой такого функционала, либо искать готовые решения и внедрять их в свой проект.

    Если говорить об общих требованиях к карте сайта, то важными для SEO специалиста представляются следующие инструменты работы с sitemap:

    • Возможность исключать из sitemap отдельную страницу в админке
    • Возможность исключать из sitemap целые папки (/katalog/ например)
    • Возможность выставление приоритета сканирования страниц как для конкретных страниц, так и для папок

    При выполнении таких требований с sitemap работать будет удобно, такой подход реализован во многих плагинах и CMS.

    Все ли это?

    Конечно, нет. Есть еще сотни технических и не только деталей, связанных с особенностями работы тех или иных роботов, восприятия директив, вычисления дат изменений, технической документацией протокола, индексом sitemap, пространством имен.

    Эта информация будет уже мало кому интересна. Часть будет разобрана в других статьях нашего блога, посвященных работе поисковых роботов.

    Ну и конечно, если Вы желаете заказать самый большой технический аудит сайта — пишите [email protected]

    Если хотите сделать сами — мы подготовили Вам лучший чек-лист для технического аудита, пользуйтесь.

    Эти казино дают самые вкусные бонусы за пополнения счета:
    • КазиноИкс
      КазиноИкс

      Лучшее казино по размеру бонусов и Джекпотам!

    • Чемпион
      Чемпион

      Полностью на русском языке. Бонусы за депозиты 200 000 руб!

    • JoyCasino
      JoyCasino

      Быстрые выплаты, Джекпот 20 млн!

    Понравилась статья? Поделиться с друзьями:
    Рейтинг казино на реальные деньги - ТОП-3
    Добавить комментарий

    ;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: