Что такое индексация сайта
Индексация сайта — это добавление информации о сайте либо об отдельной странице в базу данных поисковых систем. Пока эта информация не окажется в базе, ее не увидят пользователи, вводя свои запросы в интернете. Это значит, что ваш сайт не будет никому виден.
Индексация сайта — часть процесса продвижения. Уже после индексации можно заниматься остальной работой по оптимизации. Если сайт будет иметь проблемы с индексацией, то бизнес не получит никакой прибыли с клиентов. Каждый владелец должен проверять индексируется ли все страницы, отображаются ли они в выдаче и нет ли дублей.
За процесс индексации отвечают поисковые роботы (алгоритмы, проверяющие сайт и обрабатывающие информацию). Данные роботы проверяют все: тексты, картинки, ссылки, видео, аудио и так далее. Если проверка прошла успешно, то сайт становится видимым для пользователей. С этого момента люди, вводящие свой поисковый запрос, могут увидеть вас.
Данный процесс можно сравнить с вынесением информации в библиотечный каталог.
Как ускорить индексацию страниц сайта
sitemap.xml
Следует создать карту сайта (она помогает поисковым системам понять структуру ресурса и находить обновления контента).
Чтобы сделать индексацию быстрой, можно сделать карту динамической (это означает, что при добавлении новых страниц, она будет автоматически обновляться). Есть ли вы делаете сайт на популярных конструкторах (к примеру, Tilda) она стоит по умолчанию динамическая.
Далее мы добавляем уже файл sitemap.xml в яндекс.вебмастер или google search console и ПС периодически его проверяют на новые страницы.
html карта сайта
Html карта необходима, в первую очередь, для сайтов со сложной структурой и большим количеством страниц. Она облегчит навигацию как для пользователей, так и для поисковых роботов. В результате, материалы будут индексироваться быстрее.
Яндекс вебмастер и Google search console
Этот способ является самым простым и заключается в том, чтобы воспользоваться сервисами Яндекса и Google. Сервисы созданы для того, чтобы помогать следить за своевременным попаданием страницу в базу.
Нужно кликнуть на «Проверка URL» и ввести в строку нужный адрес. По результатам проверки, система покажет отчет об индексации и связанные с ней ошибки.
Если же вашего сайта не оказалось в индексе, необходимо кликнуть на «Запросить индексирование». Тогда поисковый робот посетит нужные страницы.
Яндекс вебмастер
После того, как вы зарегистрируетесь и подтвердите свои права, сайт становится в очередь на сканирование поисковиком. Процесс длится около 2 недель. После этого есть возможность запрашивать индексацию вашего сайта. Для этого нужно кликнуть «Индексирование» и после этого «Переобход страниц».
Внешние ссылки на страницу
Чем больше внешних ссылок на вас размещены на сторонних ресурсах, тем быстрее будет индексироваться ваш собственный ресурс. Для этого важно, чтобы сайты, которые размещают на вас ссылки сами индексировались быстро.
Для ускорения индексации лучше всего размещать ссылки на следующих источниках:
- Новостные ресурсы.
- Блоги.
- Форумы.
- Соцсети.
- Опросники.
Стоит выбирать источник ссылок таким образом, чтобы он был релевантен тематике вашего проекта.
Внутренняя перелинковка
Грамотная внутренняя перелинковка также важна для индексации. Так поисковые роботы будут переходить с одной страницы на другую и ничего не пропустят. Первыми в индекс попадают наиболее значимые страницы вашего сайта (с большим ссылочным весом и меньшим уровнем вложенности). Так вот сюда можно добавлять ссылки на новые материалы. Вероятность того, что поисковый робот их посетит будет высока.
Использование пинг-сервисов
Пинг-сервисы используют для уведомления поисковых систем Яндекс и Google о том, что появилась новая страница, которую необходимо проиндексировать.
Каждый раз, когда вы добавляете новую страницу, необходимо добавлять ссылку на нее в пингатор. Удобнее это делать не вручную, а сервисами и программами. К примеру, можно воспользоваться программой CS YZZLE (платный вариант).
Из бесплатных можно выбрать программу Pingxpert.
Существует также онлайн сервис PingFarm. Он бесплатный и позволяет добавить сразу много ссылок за один раз.
При использовании данных программ, поисковые роботы намного быстрее посещают новые страницы.
Ведение соцсетей и перелив трафика на страницы сайта
Соцсети размещают контент чаще всего, поэтому поисковики их индексируют практически непрерывно. А значит социальная сеть может стать площадкой для продвижения вашего сайта.
Минимальные действия — кросс-постинг в соцсети. То есть материалы размещающиеся на сайте, должны хотя бы частично копироваться и в социальные сети.
Что проверить при проблемах с индексацией
Запрет в robots.txt
Необходимо проверить файл следующим образом:
- Убедиться в том что файл robots.txt есть. Он должен находиться в корневой папке сайта. Найти его можно по адресу site.ru/robots.txt.
- Проверить нет ли запрета файле robots.txt на индексацию. Если в файле написано «Disallow», это означает, что поисковая система не сможет проиндексировать страница сайта.
- Стоит проверить также правильность синтаксиса.
- В вебмастере яндекса можно проверить запрет индексации.
Запрет в Meta robots
Может быть ошибка в метатегах в коде страниц <meta name = “robots” content = “noindex”, nofollow” />.
Необходимо найти все страницы с метатегом «noindex» и избавиться от строки либо заменить элементы на «index» и «follow».
Проверка на дубли контента
Поисковики предпочитают не тратить время на сканирование идентичных страниц. А проблемы со сканированием приводят к проблемам с индексацией. К тому же, поисковому роботу будет сложно понять, какую из страниц необходимо ранжировать.
Дубли поможет найти сервис SE Ranking. Для этого необходимо воспользоваться инструментом «Аудит сайта». Нужно кликнуть на раздел «Дублирование контента» и ознакомиться со списком страниц, где используется одинаковый контент.
Нужно избавляться не только от дублей, но и от повторений title, H1.
Вложенность материала на сайте
Чем ближе находится страница к главной сайта, тем больше вероятность, что поисковый робот ее посетит и проиндексирует. Существуют сайты, на которых вложенность материала слишком глубокая. И при индексации могут возникнуть проблемы. Возьмите за правило, что от главной до любой другой страницы можно перейти в 3 клика.
Поисковая система стремится облегчить себе индексирование, так как это достаточно затратная статья для нее в плане ресурсов. Поэтому поисковый робот не станет гулять по вашему сайту, если вложенность материала слишком высока.
