Индексирование сайта. рассказываем, как добавляться в поисковые системы, и отвечаем на важные вопрос

Поисковые операторы для проверки индексации

Узнать индексацию сайта можно, используя операторы поиска. Для Яндекса это операторы «site:», «host:» и «url:».

Для Google — «site:», «inurl:» и «info:».

В обеих поисковых системах указываются приблизительные результаты, но можно использовать дополнительные параметры, чтобы узнать, сколько страниц было проиндексировано, например, за неделю:

Для того, чтобы проверить индексацию определённой страницы сайта используйте оператор «url:» для Яндекса и «info:» для Google.

Вебмастер и Search Console

Если вы уже добавили свой сайт в панель Яндекс.Вебмастер и/или Google Search Console, то можете детально отслеживать статус сканирования и индексирования документов.

В Вебмастере переходим на вкладку «индексирование» — «страницы в поиске». Здесь расположилась статистика по добавленным и удалённым из поиска документам. Также можно посмотреть историю изменений для всего сайта за определённый интервал дат:

Проверить массовую индексацию сайта в Google можно с помощью Search Console. В новой версии консоли переходим на вкладку «статус» — «индексирование отправленных URL» и получаем картину изменений, ошибок, список исключенных страниц и график показов:

Возможный контроль индексации

Важно понимать, что сканирование или обход страницы сайта не означает её попадание в индекс. Иногда необходимо запретить индексирование страниц, которые не нужны в поиске, например: URL с техническими GET-параметрами, служебные или пользовательские документы (корзина, личный кабинет и прочие), документы с UTM-метками

Поэтому каждому сайту желательно иметь:

1. Sitemap.xml — файл, который помогает поисковым роботам сканировать сайт, с учётом заданных приоритетов.

2. Robots.txt — файл, задающий правила и параметры обхода для всех роботов поисковых систем или индивидуально для каждой:

   • С помощью команды Disallow можно запрещать индексирование отдельных URL или разделов сайта.

   • Crawl delay — задаёт минимальное время обращения робота к серверу для избегания нагрузок на сайт.

   • Clean param — позволяет указать неважные для индексации CGI-параметры в URL-адресах, то есть различные идентификаторы пользователей, сессий и так далее. Используется только в Яндексе.

Открытые страницы должны быть в поиске, только тогда можно думать о ранжировании. Не забывайте проверять сайт на индексацию, отслеживайте изменения и удачных позиций в выдаче!

Задайте вопрос или оставьте комментарий

Индексация сайта в поиске

Теперь, когда мы рассказали, что такое индексация, почему она так важна и как её проверить, приступим к практике.

Как ускорить индексацию?

Мы писали выше, что управлять индексацией, что бы кто не говорил, вы не можете. Но повлиять на процесс или даже ускорить возможно. 

Советы по ускорению индексации

• Обязательно добавьте сайт во все сервисы Яндекса и Google, особенно в Яндекс Вебмастер и Google Search Console.
• Создайте sitemap.xml, поместите карту в корень сайта и постоянно обновляйте.
• Следите за robots.txt и исключайте ненужные страницы (об этом ниже).
• Выберите надёжный и быстрый хостинг, чтобы робот мог беспрепятственно индексировать содержимое сайта.
• Используйте инструменты Яндекс Вебмастера (Индексирование → Переобход страниц) и Google Search Console (Проверка URL → Запросить индексирование). Способ идеально подходит для работы с отдельными страницами. 
• Если ваша CMS любит создавать дубли (например, Битрикс), то используйте атрибут rel=canonical.
• Автоматизируйте создание новых ссылок со старых страниц. Как вариант, можно сделать блок на главной с новыми товарами или статьями.
• Ведите соцсети и анонсируйте новые товары, услуги, страницы. Замечено, что ссылки с соцсетей могут ускорить процесс.
• Создавайте качественный контент на каждой странице. Под качественным контентом мы понимаем актуальную, релевантную и уникальную информацию для пользователей.
• Работайте над структурой сайта и делайте её удобной и понятной пользователю. Помните о правиле 3 кликов: это оптимальное количество действий для пользователя.
• Проверяйте периодически сайт на вирусы и санкции поисковых систем. В Яндекс Вебмастере раздел Диагностика → Безопасность и нарушения, в Google Search Console — раздел Проблемы безопасности и меры, принятые вручную.
• Улучшайте свой ссылочный профиль и пишите анонсы на других сайтах (в рамках правил поисковых систем).
• Используйте родные браузеры (Chrome, Яндекс Браузер) и заходите на новые страницы с них.

Как запретить индексацию?

Выше мы рассмотрели основные способы, как ускорить индексацию, и рассказали, что такое краулинговый бюджет и почему он ограничен для каждого сайта. Поэтому чтобы его не тратить зря, советуем закрывать от индексации служебные и технические страницы, кабинеты пользователей и конфиденциальную информацию, а также страницы в разработке и дубли. 

3 основных способа запретить индексацию:

1. Директива Disallow в файле robots. Мы писали, что такой запрет может не сработать в отдельных случаях. Тем не менее это основной способ запрета индексации.
2. В коде страницы указать метатег robots с директивой noindex (для текста) и/или nofollow (для ссылок). Хорошо подходит для запрета индексации отдельных страниц.
3. Настроить HTTP-заголовок X-Robots-Tag с директивой noindex и/или nofollow. Лучше всего подходит для закрытия индексации не HTML-файлов (PDF, изображения, видео и другие).

Используйте все наши советы по улучшению индексации на полную мощь.
Максимальное внимание уделите улучшению структуры и навигации и обновлению карты сайта.
Структура сайта должна быть проста и понятна, охватывать весь спектр ключевых запросов, а каждая страница сайта в идеале должна быть доступна в 3–4 клика

Для этого используйте дополнительные блоки на главной странице и в разделах.
Хорошо работает облако тегов: с помощью него часто получается продвигать категории, улучшать навигацию и полно охватывать семантику.
Для многостраничных сайтов действительно важно постоянно обновлять sitemap.xml
Зачастую в таких случаях карту делят на несколько частей, чтобы охватить весь список страниц. 
Настройте маски (автоматические шаблоны) метатегов для новых страниц в категориях и каталогах. 
Скорее всего, вам не обойтись без команды профессионалов, которые смогут обеспечить техподдержку, производство контента и SEO-продвижение.

Как ускорить индексацию сайта в поисковых системах

Есть несколько
способов:

Добавление страницы с помощью Search Console

Это самый быстрый и простой способ
проиндексировать страницу. Обычно он занимает от нескольких секунд до
нескольких минут. По истечении этого времени ваш ресурс станет видимым для Google. Просто вставьте полный адрес страницы для индексации и нажмите запросить
индексацию в специальном окошке.

Добавление страницы в индекс через карты XML

XML-карта разработана для роботов Google. Он должен быть на всех страницах, потому что формат XML значительно упрощает индексацию страницы в Гугл. Карта XML – это совокупность всей информации об URL-адресах и подстраницах ресурса. В XML также содержится вся информация обо всех обновлениях ресурса.

Как только нам удастся создать карту сайта,
добавьте ее в поисковую систему Google. Благодаря этому роботы
будут знать, где найти данную карту сайта с ее данными. Чтобы отправить карту XML в Гугл, используйте Google Search Console. Когда карта будет обработана, вы сможете отображать статистику на
заданной странице и любую полезную информацию об ошибках.

Индексирование с PDF

Все больше и больше компаний решают размещать
на своих сайтах тексты в формате PDF. Если текст находится в
этом формате, Google может обработать изображения для извлечения
текста.

Как обрабатываются ссылки в файлах PDF? Ссылки в PDF обрабатываются точно так
же, как ссылки на веб-страницах. Стоит помнить, что там должны быть размещены
запрещенные для подписки ссылки. Чтобы проверить индексацию файлов PDF, введите фразу в поисковике вместе с аннотацией PDF.

Индексирование веб-сайтов с помощью онлайн-инструментов

Это базовая и очень простая форма индексации.
Это делается через несколько обратных ссылок

Есть много инструментов этого
типа, большинство из них платные или имеют ограниченную бесплатную версию.
Индексирование с помощью онлайн-инструментов важно для ссылок и страниц, к
которым у нас нет доступа. Добавив их в индексацию, Google Robot сможет свободно перемещаться по ним

Бюджет сканирования – это бюджет сканирования
вашего ресурса. В частности, краулинговый бюджет – это количество страниц,
проиндексированных Google на вашем сайте роботами
Гугл за одно посещение.

Это зависит от размера вашего ресурса и его
состояния, т. е. Ошибок, с которыми сталкивается Гугл, и, конечно же, от
количества ссылок на ваш ресурс. Роботы ежедневно индексируют миллиарды под-страниц,
поэтому каждое такое посещение загружает некоторые серверы со стороны владельца
и Google.

На краулинговый бюджет наибольшее влияние
оказывают два параметра:

• Crawl Rate Limit – ограничение скорости индексации страницы;
• Crawl Demand – частота, с которой сайт индексируется.

Crawl Rate Limit это ограничение, введенное для
предотвращения одновременного сканирования слишком большого количества страниц
в Google. Оно было разработано для обеспечения защиты
от возможной перегрузки сайта. Основная цель ограничителя состоит в том, чтобы Гугл
не отправлял слишком много запросов, которые замедлили бы скорость вашего ресурса.
Это также может зависеть от скорости веб-сайта, если она слишком медленная,
замедляется темп всего процесса. Тогда Google сможет проанализировать только некоторые из ваших подстраниц. На
ограничение скорости сканирования также влияет ограничение, установленное в Google Search Console. Владелец сайта может изменить значение лимита через панель.

Требование сканирования основано на
технических ограничениях. Если страница представляет ценность для
потенциального пользователя, робот с большей вероятностью ее посетит. Возможно,
даже если ограничение скорости сканирования не используется, ваш веб-сайт не
будет проиндексирован. На это могут повлиять два фактора:

• популярность, т. е. адреса, которые посещают
  большее количество пользователей, чаще посещаются роботами;
• актуальность – алгоритмы проверяют, насколько
  часто сайт обновляется.

Вывод

Есть много способов проиндексировать страницу
в Google и Яндекс. Самые популярные из них:

• добавление страницы в Яндекс Вебмастер;
• индексация с помощью Search Console;
• карты XML;
• индексирование файлов PDF;
• индексация веб-сайтов с помощью
  онлайн-инструментов.

Любой владелиц ресурса, если он хочет
добиться успешного развития своего ресурса, должен работать над его оптимизацией под поисковые системы. Это наиболее
верный способ сделать сайт более популярным и увеличить доход от рекламы. Для
успеха в деле оптимизации лучше всего обратится к профессионалам, которые помогут устранить все препятствия на пути популяризации
Интернет-ресурса.

Почему не индексируется сайт?

1. Сайт новый. Поисковику нужно время, чтобы он успел просканировать ваш сайт.
2. Отсутствует Sitemap. Карта сайт может помочь поисковому роботу быстрее найти страницы и быстрее их отправить в поиск. 
3. Проблемы с сайтом. В панели Яндекс Вебмастера отображаются все ошибки и нарушения, которые видит поисковик. Проверяйте сервис и решайте проблемы.
4. Запрет индексации с помощью метатега «robots». Возможно, вы что-то поменяли в своей CMS, а конкретнее что-то с индексацией сделали При данной проблеме в коде страниц сайта появляется следующая строка:
5. Ошибка в файле robots.txt. Если вы нашли конструкцию , то её надо удалить.

YCCY

Насколько я понимаю программка YCCY старожил на рынке seo, хотя до сих пор не потеряла свою актуальность. Вообще она содержит несколько модулей, которые выполняют разные задачи. Так, например, там есть некий WHOIS PAID, позволяющий массово проверять даты окончания доменов, NAME GENERATOR, генерирующий доменный имена и PageRankDC, который смотрит значение PR по разным дата центрам Google. Но самую большую ценность представляет модуль INDEXATOR. Он содержит следующие функции:

• Массовая проверка индексации страниц сайтов в Яндексе (через Mail.ru, Яндекс.XML) и в Google.
• Проверка количества проиндексированных страниц в Яндексе, Google, Rambler.
• Проверка Google PageRank, тИЦ, AlexaRank, бэклинков Yahoo.
• Пакетная проверка количества найденных страниц по запросу.
• Пакетная проверка обратных ссылок(текста ссылки) в Яндексе, Google.

При этом поддерживается экспорт ссылок PROPAGE, SAPE, XAP, прокси-сервера, что крайне полезно в работе. Вообще программа YCCY достойна похвалы. Работать с ней проще простого.

Слева добавляете нужные ссылки, далее указываете настройки проверки (в моем случае индексация страниц в ПС), а потом запускаем процесс. В результате справа в первом блоке появятся проиндексированные ссылки, потом не проиндексированные и те, которые не смогли определиться (для них можно запустить повторную проверку).

Если говорить о результатах, то на 90-95% информация программы соответствует действительности, а это, поверьте, среди других онлайн сервисов просто блестящий показатель. Что касается отзывов, то в большинстве случаев читал только положительные. Причем люди сравнивали с некоторыми другими похожими программами (хоть и давно это было). Оптимизаторы говорили, что YCCY работает быстрее остальных, хотя при проверке большого числа страниц пишут, что Яша может забанить IP (что, в принципе, для всех программ характерно — в YCCY  можно и нужно использовать прокси).

Способы быстрой индексации сайта

Если добавить ваш новый веб-ресурс в поисковые системы, которые вы знаете, индексация сайта произойдет гораздо быстрей. Добавить в Yandex — https://webmaster.yandex.ru/addurl.xml, в Google — https://www.google.ru/intl/ru/addurl.html.

Нужно создать карту сайта. Зарегистрироваться в сервисах webmaster.yandex.ru и www.google.com/webmasters. Указать там ваш файл sitemap.xml.

Для ускорения индексации сайта вам поможет регистрация в социальных закладках и сетях (bobrdobr.ru, memori.ru, twitter.com, vkontakte.ru и др.). Там можно добавлять разные страницы вашего сайта.

Заведите свои блоги на my.ya.ru, blogspot.com, blogs.mail.ru, livejournal.com и др. Добавьте в них записи со ссылками на страницы вашего сайта. По мере возникновения новых страниц на сайте, для их быстрой индексации поисковиками, добавляйте ссылки в ваших блогах на эти страницы.

Стоит зарегистрироваться в нескольких популярных каталогах и рейтингах. К примеру, регистрация на LiveInternet и Рамблер ТОП100 способна ускорить индексацию сайта из-за того, что роботы довольно часто заглядывают в ТОПы.

Поисковые боты очень любят посещать популярные блоги с их комментариями. При этом роботы тщательно отслеживают все ссылки в блогах. Попробуйте посещать такие блоги и оставлять там ненавязчивые комментарии со ссылками. Старайтесь соблюдать правила блога и ссылки вставлять в специально отведенные для этого места во избежание удаления вашего комментария как спама.

Еще один похожий совет для ускорения индексации сайта — это комментарии на форумах с большой посещаемостью. Как раз на форумах, кстати, абсолютно не запрещено вставлять ссылки, если они имеют отношение к вашему ресурсу. Форумы посещаются ботами не хуже чем блоги.

Довольно трудоемкими, но популярными считаются способы быстрой индексации веб-ресурсов при помощи размещения на сторонних ресурсах большого количества статей со ссылками на ваш сайт. Трудоемкость заключается в написании огромного количества статей с интересным и актуальным содержанием. Эти статьи выполняют функцию, подобную каталогу ссылок.

Необходимо построить четкую и грамотную структуру сайта. Ее построение должно быть легким и удобным для работы поисковых роботов со страницами сайта. Достичь этого вовсе не трудно. Принцип заключается в том, чтобы ссылки на всех страницах сайта направляли посетителя с одной страницы на другую.

Если ваш проект содержит огромное количество страниц, то для быстрой индексации сайта следует обратить внимание на следующий метод. Робот поисковика считывает и анализирует информацию, постепенно передвигаясь по страницам сайта

При довольно значительном количестве страниц он может просто не добраться до части последних страниц, которые значительно удалены от главной. При этом индексация сайта в поисковых системах ухудшается.
Идеальной в таком случае является древообразная четкая структура карты вашего сайта, в которой каждому ответвлению будет соответствовать некоторый подраздел с меньшим количеством страниц. Каждая страница сайта, желательно, должна быть в удалении не более трех кликов от главной.

В случае, если отдельные страницы сайта поисковые роботы не проиндексировали, следует ссылки на эти страницы разбросать по сторонним ресурсам. При индексации сайтов с вашими ссылками робот обязательно посетит и ваши страницы.

Чтобы индексация сайта происходила быстрей, необходимо обеспечить более частое посещение роботами его страниц. Для достижения этого вам придется довольно часто обновлять страницы сайта и пополнять новой информацией

И самое важное при этом наполнять сайт статьями и текстами со стопроцентной уникальностью

Как проверять индексацию страниц сайта в поисковых системах

Какими бы разными не были эти поисковые системы – большинство методов и поисковых фишек у них одинаковые.

Вот например, если вы введете в поиск “поисковой запрос” с кавычками – вам выдаст страницы которые содержат конкретно этот запрос.

Кто знал об этом?

без кавычек“поискоВЫЕ запроСЫ”“поискоВЫХ запроСОВ”

Индексация сайта очень важна, поэтому и сервисы нужно выбирать подходящие.

Отдельно хотелось бы сказать о сервисе – серпхант, который позволяет проверять индексацию страниц вашего сайта. Отличительной чертой сервиса является то, что он позволяет совершать массовую проверку страниц, до 50 штук.

То есть, теперь вам не нужно поочередно загружать нужные страницы, сразу загрузили 50 штук и ждете результат. Проверка совершается, как в Яндексе, так и в Google. Результат вы получите в течении нескольких минут и уже сможете делать анализ проблемных страниц, которые могли «вылететь» из индекса.

А по всем вопросам, можно всегда обратится в техподдержку, для более детальной информации по сайту, хотя он прост в использовании и интуитивно понятен.

Замечу еще, что индексацию нужно проверять не только вебмастерам, но и блогерам, владельцам других интернет-площадок, чтобы оперативно работать со страницами, которых нет в поисковой выдачи.

Я уже публиковал интересную статью про факты о гугле – если хотите, могу написать статью о том как гуглить в гугле.

Как проверить индексацию сайта в гугле

Ну вот смотрите. Одна из фишек поисковых систем.

Введите в гугл следующий запрос:

site:in4wp.ru

И вам выдаст все страницы, которые гугл знает на моём блоге.

Как проверить индексацию страницы в Яндексе

Такая же схема и с яндексом.

Но давайте попробуем не только посмотреть список всех проиндексированных страниц в Яндексе, а давайте попробуем найти ответ на вопрос: Проиндексирована ли конкретная страница или еще нет?

Для этого мы вводим запрос, похожий на предыдущий, но слегка дополненный:

site:in4wp.ru что такое RSS

Как видите, начало такое же что и с гуглом, только я добавил поисковой запрос, который нужно найти на моём блоге. Поисковик ищет совпадения ТОЛЬКО на моём блоге.

Логика проста – если вы не увидите самую релевантную статью на первом месте – значит она не проиндексирована.

Кстати, чтобы вот так вот руками не делать – можете просто установить поиск от яндекса и прямо в блоге, в поисковой строчке набирать поисковые запросы и смотреть, результаты.

Как подготовить сайт к индексации?

Сделать это можно путем его внутренней и внешней оптимизации. В частности, необходимо сделать следующее:

Выбрать правильное имя для домена. Лучше всего, если в его название будет входить главное ключевое слово. Желательная длина – до 12 символов.
Выбрать надежный хостинг. Он должен быть быстрым и понятным, работать без перебоев и не мешать индексации. Один из лучших – beget.ru.
Использовать адаптивный дизайн. Если вы используете шаблон, смотрите, чтобы он хорошо отображался на планшетах, мобильниках и компьютерах. В нем также не должно быть никаких скрытых ссылок.
Создать Robots.txt. Этот файл показывает роботам, какие страницы можно, а какие нельзя индексировать. Настройка сложная, поэтому лучше доверить ее специалистам.
Создать карту сайта. Даже две: первая должна быть в формате .xml (для поисковых ботов), вторая — в .html (для людей). Сделать их легче. Для составления карт даже придуманы специальные плагины. Например, на WordPress это WP Sitemap Page и небезызвестный опытным веб-мастерам Google XML Sitemaps от Arne Brachhold.
Составить семантическое ядро (СЯ) – это такой список из поисковых фраз, по которым в дальнейшем ваш сайт будут находить пользователи. В принципе, эту работу нужно проделать до регистрации домена и хостинга. И, естественно, еще до проверки индексации сайта в поисковиках.
Написать тексты с учетом слов из СЯ и оптимизировать картинки. Статьи следует писать оптимизированные, не забывая про новый алгоритм от «Яндекса» «Королев». Изображения до загрузки на ресурс желательно сжимать без потери качества. Сделать это можно с помощью специальных сервисов.
Прописать все важные мета-теги. В частности, Title (название статьи, длина – до 80 символов) и Description (краткое описание, длина – до 200 символов)

В дескрипшен важно включить самое главное ключевое слово в разбавленном виде.
Оставить ссылки на авторитетных ресурсах (внешняя оптимизация!). Тут только 2 правила: сайт-донор должен быть действительно тематическим, а ссылка — вечной.
Создать группу для сайта в соц.сетях и размещать ссылки на новые посты там.
Подтвердить права на свой ресурс и поставить его в очередь на индексирование

Сделать это можно через панель веб-мастера Yandex или «Гугла».

Еще перед тем, как проверить индексацию сайта «Яндексом», нужно ускорить загрузку ресурса. Все рекомендации по тому, что для этого можно сделать, стоит смотреть на developers.google.com/speed/ или ином аналогичном ресурсе.

Если вы владелец сайта

Если вы владелец сайта, то вы можете точно посмотреть индексацию страниц через кабинеты вебмастера от поисковых систем.

https://webmaster.yandex.ru/ — Яндекс

https://www.google.com/webmasters/ — Google

Как владельцу вам должно быть важно, чтобы реальное количество страниц (категорий, статей, товаров) на сайте соответствовало страницам результатах поиска

Яндекс Вебмастер

В вебмастере целый раздел так и называется «Индексирование»

В Яндекс.Вебмастере вы можете проверить как часто заходит к вам поисковый робот и что происходит со страницами вашего сайта.

Серьезные проблемы с индексацией: постоянно выпадают и добавляются сотни страниц.

Можно смотреть статистику по всем страницам или проверить любую отдельную страницу своего сайта:

Пример проверки отдельной страницы

Google Search Console (Google Вебмастер)

В Google точно также можно смотреть статистику по всем страницам сайта или проверить одну конкретную.

Пример проблем с индексацией. Серые столбики — исключенные страницы.
Проверка отдельной страницы

Имея доступ к личному кабинету в поисковой системе можно узнать в какое конкретно время была проиндексирована страница или исключена из результатов поиска.

Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете список страниц и много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Существует огромное количество бесплатных сервисов для проверки индексации. На мой взгляд, самые удобные и популярные:

• raskruty.ru/tools/index/ — до 10 отдельных URL или сразу весь домен;
• serphunt.ru/indexing/ — до 100 URL за раз;
• xseo.in/indexed — можно проверить количество проиндексированных страниц домена в Google, Яндекс, Bing.

Также похожий инструмент существует в сервисах и SeRanking, но при использовании платного тарифного плана.