Урок 91 Индексация сайта: ускорение и проверка индексации сайта в поисковых системах. Время индексации сайта


Сколько по времени индексируется сайт и как ускорить процесс

О времени индексации сайта

Хотелось бы немного поговорить об индексации сайта поисковыми системами, о времени индексации сайта и том, как ускорить этот процесс.

Индексация сайта

Индексация сайта

Наверняка многие понимают, что создание красиво оформленного сайта и наполнение его уникальным и интересным контентом(наполнением) — это лишь половинная часть всей работы над сайтом. Остальная часть — это увеличение числа посетителей сайта. На первых этапах существования сайта посетители приходят из поисковых систем, а для этого нужно позаботиться о том, чтобы поисковики видели Ваш сайт.

Ваш сайт уже доступен в сети, вы ведете над ним работу, наполняете информацией, но посетителей нет, почему? Почему его нет в результатах выдачи поисковиков? Дело в том, что поисковым системам нужно время на индексацию Вашего сайта. Сколько же по времени индексируется сайт? И сколько времени должно пройти, чтобы появились первые посетители?

По мнению людей, которые разбираются в работе поисковых систем, на скорость индексации влияют: CMS(движок сайта), возраст сайта, доменная зона, частота обновления и добавления наполнения сайта — это всё мы рассмотрим подробнее ниже.

Время индексации сайта поисковыми роботами

Поисковой робот

поисковой робот

Самым быстрым поисковым роботом является Google, он индексирует сайт быстрее других. Проиндексированные страницы могут попадать в поиск через 8 дней(бывает и раньше). Хорошо индексирует сайты, находящиеся в зоне .ru и .com, но .com в поиск попадает несколько раньше.

Поисковой робот Яндекс индексирует сайт немного медленнее, чем Google. Проиндексированные страницы можно найти в поиске спустя две недели, при том условии, что Вы сообщили Яндексу о своем ресурсе(об этом чуть ниже).

О времени индексации в других поисковых системах точно неизвестно, существует множество различной информации в Интернет по этому поводу.

Время индексации сайта в зависимости от CMS

По этому поводу в сети есть несколько статей, в которых написано о том, что сайты под управлением WordPress индексируются быстрее, чем такие же сайты на других CMS. При этом приведены примеры из личного опыта, у меня же таких примеров нет, я не создавал сайты на CMS, кроме как на WordPress.

 Как влияет частота обновления информации на сайте

Частота возвращений поисковых роботов на сайт и индексирование новых страниц сайта прямо пропорционально зависит от частоты обновления информации на сайте. То есть, если сайт обновляется ежедневно, пополняется новой информацией и страницами, то поисковые роботы будут заглядывать на него очень часто, чтобы не успеть пропустить свежий кусочек новой информации. А если же сайт вообще не обновляется больше, то робот заглядывает на него в порядке общей очереди.

Поэтому владельцы сайтов часто пользуются планировщиками записей, когда у них не имеется возможности обновить сайт в течение определенного промежутка времени. То есть информация, которую владелец внес в базу данных на добавление, на сайт добавится автоматически с установленной им же регулярностью. В результате частота обновления сайта не уменьшается.

Как влияет возраст домена на скорость индексации

Известно, что сайты на старых доменах индексируются намного быстрей. Так как при раскрутке сайта, стоявшего на старом домене раньше, домен наверняка регистрировался в каталогах или же где-то в сети на него уже ведут ссылки.

А на счет доменной зоны, как уже было отмечено выше, сайты на домене .com индексируются быстрей, чем аналогичные на .ru

Как же ускорить процедуру индексации сайта?

Ускорение индексации сайта

Ускорение индексации сайта

Для уменьшения времени индексации сайта необходимо добавить сайт в специальные сервисы, предоставляемые поисковыми системами. Они позволяют добавить сайт в очередь на индексацию, а точнее подсказать поисковикам о том, что в сети появился новый сайт. Список основных сервисов представлен ниже:

Созданный сайт стоит обязательно добавить в эти сервисы. Если не добавить их, то поисковики, конечно, найдут сайт, но времени на это им понадобится больше.

nicknixer.ru

Время индексации сайта - сколько длится индексация сайта в Яндексе и Гугле?

От фактора времени индексации сайта поисковыми системами зависит развитие вашего сайта, чем быстрее поисковые системы будут узнавать об изменениях на вашем сайте тем результативней будет его продвижение в ТОП 10 Yandex и Google.

Сколько занимает времени индексация сайта в Яндексе?

Поисковая система Yandex индексирует весь интернет за 3 месяца, то есть при самом плохом раскладе ваш сайт будет проиндексирован 1 раз за 3 месяца, для продвижения сайта это совсем не годится поэтому есть много методов как ускорить индексацию сайта.

По статистики — В среднем сайт в Яндаксе индексируется 1 раз в 2-3 недели. Все изменения которые вы делаете на сайте, будут проиндексированы и дадут результат, примерно через 2-3 недель.

Как посмотреть дату копии сайта или страницы сайта которую учитывает Yandex?

  1. копируете адрес сайта или страницы
  2. в поисковую систему вставляете url:адрес сайта или страницы
  3. рядом с адресом нажимаете сохраненная копия
  4. смотрите в самом верху там написано «Это HTML-версия документа от» — это дата версии сайта которую учитывает при ранжировании Yandex. По сути например вы на страницы поменяли текст 05.05.16, смотрите дату сохраненной копии если она позже то Yandex проиндексировал ваш новый текст.
Время индексации сайта как проверить YandexВремя индексации сайта yandex

Как посмотреть дату последнего посещения сайта роботом Yandex

  1. Заходите в https://webmaster.yandex.ru/ если сайта там нет регистрируете.
  2. На главной страницы о вашем сайте написано когда последний раз индексировался ваш сайт

последний обход роботом

Как посмотреть дату последнего посещения страницы сайта роботом Yandex

  • Заходите в https://webmaster.yandex.ru/ если сайта там нет регистрируете.
  • В левом меню заходите в Проверить статус URL и вставляете ваш адрес сайта или страницы
  • Как обработаются данные нажимаете Готово и переходите на страницу где подробно написано все о конкретной страницы сайта

последний обход страницы

 

Как ускорить индексацию нового и старого сайта в Яндексе?

Если создать сайт и просто ждать, можно прождать индексацию нового сайта более месяца, пока робот его не найдет, поэтому лучше дать поисковой системе знать, что появился новый сайт. Если сделать все рекомендации то сайт появиться в течении 1-2 недель.

  1. Добавить сайт в webmaster.yandex.ru
  2. Добавить новые страницы в в webmaster.yandex.ru — Переобход страниц. ( Данный пункт подходить и для старых страниц сайта, если были изменения вносим страницы и в течении недели все изменения поиск проиндексирует )

Переобход страниц

Время скорости индексации сайта Google

Посмотреть можно так же как и в Яндаксе все те же методики, или в вебмастер гугл зайти или в поисковую систему вбить оператор site:ваш сайт или страница и посмотреть сохраненная копия.

На самом деле для Googla не приходится думать о времени индексации и о том когда наконец то проиндексируется новый текст. У поисковой системы Google робот сделать по другому. и все изменения в поиск попадают в течении 3-5 дней.

В среднем Google индексирует ваш сайт 1 раз в 3-5 дней, и все изменения быстро попадают в поиск.

dimon3d.ru

Сколько времени Яндекс индексирует сайты

Обычно средний срок индексации «Яндексом» составляет 1–2 недели. Некоторые блоги индексируются гораздо быстрее. Посты, которые я публикую в своем блоге индексируются Яндексом в течение двух часов, или даже в течение двух минут. Но бывают исключения.

Так произошло с двумя страницами «Как писать тексты, чтобы выйти в топ?» (14.04.2011) и «iForum 2011. Что было в этом году» (18.04.2011). Что с ними? Почему они не в индексе? Уже прошло столько времени.

Я уже и перепостил в твиттер и разместил ссылки на двух других блогах и воспользовался формой добавления //webmaster.yandex.ru/site/add.xml.

Но время шло,  а ссылки не индексировались. Я уже не знал что делать. Я даже написал письмо в службу поддержки Яндекса.

Здравствуйте.

Мой блог достаточно быстро индексируется Яндексом, но почему-то страница //www.fortress-design.com/iforum-2011-vpechatleniya/ так и не находится в поисковом индексе. Подскажите, пожалуйста, в чем может быть причина.

С уважением, Илья.

В скором времени пришел ответ Платона:

Здравствуйте, Илья!

Указанная страница уже проиндексирована роботом и должна появиться в результатах поиска после следующего обновления поисковых баз. Пожалуйста, подождите еще несколько дней.

—С уважением, Платон ЩукинСлужба поддержки Яндекса//help.yandex.ru/

Честно говоря, я был утешен этим ответом. Но после обновление поисковой выдачи Яндекса, которое произошло 29.04.2011 я стал опять обеспокоен. Эти страницы так и не появились в поисковой выдаче. Но почему? Что с ними не так? Продвижение неизбежно только с проиндексированными ссылками. Иначе они попросту не учитываются, хотя и размещены на странице.

Гугл, между прочим, проиндексировал оба документа.

Ну ладно, пока Яндекс обновляет свои базы поисковой выдачи, предлагаю вашему вниманию замечательный ролик о технологиях будущего, выполненных на стекле. В принципе, веб-сайты, думаю, тоже будут развиваться в этом направлении. В частности, интерфейсы и навигация уже частично выглядит так уже сейчас.

P.S. 30 апреля проверил — страницы уже в индексе Яндекса. 24.04.2011 [17:57:44] была сохранена копия этих страниц. Ура!

С новыми сайтами дела не всегда выглядят хорошо. Яндекс их очень меддленно индексирует. В Яндекс.Вебмастере написано:

Ваш сайт не проиндексирован Яндексом. (Сайт успешно добавлен в очередь на индексирование)

Если сайт новый и ранее не был известен роботу, то после добавления его в сервис Яндекс.Вебмастер он начнёт индексироваться и затем появится в поиске. Обычно это происходит в течение двух недель с момента добавления сайта.

Яндекс.Вебмастер пишет, что сайт не проиндексирован, потому что новый, но в тоже время может проиндексировать 2 страницы. Вот почему, для проведения конкурсов «Продвижение неизбежно» соревнования проводятся в русском Гугле.

При добавлении нового сайта в Яндекс.Вебмастер, появляется сообщение, что сайт добавлен в очередь на индексацию. По истечение двух-трех дней уже есть сдвиги:

Сайт начал индексироваться. Страницы должны появиться в поиске через 1-2 обновления поисковой базы. В поиске могут присутствовать страницы проиндексированные быстрым роботом.

В связи с задержкой последних апов, Яндексу задают вопросы на которые он дает не менее познавательные ответы :)

Что касается статистики апов, она отображена в таблице.

Частота апдейтов ЯндексаЧастота апдейтов ЯндексаЧастота апдейтов Яндекса оставляет желать лучшего

Как ускорить индексацию сайта

Ну и наконец небольшой лайфхак, как поспособствовать ускорению индексации сайта. Просто-напросто нужно обзавестись парой-тройкой жирных внешних ссылок на нужную вам страницу (например, новую статью в вашем блоге). Важно, чтобы ссылки шли с трастовых сайтов и популярных (тематических) групп социальных сетей, куда быстроробот заходит очень часто.

Чтобы не искать их вручную, можно создать проектик в SeoPult и для нужных страниц настроить покупку ссылок по требуемым параметрам. Конечно, это не панацея, и гарантировать результат быстрой индексации не буду, но часто такой метод выручает вебмастеров.

fortress-design.com

Сколько индексируется сайт в Google и Яндекс

Индексация — это очень важный этап развития сайта. Будет индексация — будет трафик с органической выдачи. Иначе никак. По этой причине, если вы хотите эффективно продвигать свой проект, тогда вам необходимо знать сколько индексируется сайт поисковыми системами Google и Яндекс.

Сколько индексируется новый сайт

Если вы создали новый проект и разместили его в сети, тогда постарайтесь ускорить индексацию сайта. Чем быстрее робот обойдет проект и добавит страницы в индекс, тем быстрее вы начнете получать трафик из поисковых систем. Не бойтесь на ранних этапах использовать социальные сигналы для привлечения роботов поисковых систем. Ссылки, которые размещаются в социальных сетях, никак не смогу навредить сайту, напротив, смогут привлечь быстроробота.

Необходимо обращать внимание на несколько факторов, которые будут играть роль в дальнейшей стабильной (или нет) индексации сайта:

  • Домен сайта. Если вы зарегистрировали новый домен, которым раньше никто не пользовался, тогда вам скорее всего придется долго ждать поискового робота. Другое же дело домен с историей. Проверить, был ли раннее ваш домен кем-то использован вы можете через вебархив, либо другие инструменты.
  • Количество страниц на сайте. Если вы отправили на индексацию сайт у которого была всего лишь 1 страница, тогда можете не ждать, что в будущем робот будет спешить индексировать новые страницы. Постарайтесь разместить как можно больше статей на сайте, прежде чем он войдет в индекс.
  • Регулярные обновления. Как и другие оптимизаторы, я придерживаюсь мнения, что обновлять сайт необходимо как можно чаще. Многие рекомендуют придерживаться четкого графика, я же считаю это глупым. Если вы разместили сегодня статью на сайте в 14:00 — это не значит, что необходимо в такое же время разместить статью завтра. Можете запостить раньше или позже — это не принципиально важный момент. Главное, добавляйте и обновляйте контент как можно чаще!

Сколько времени индексируется сайт в Яндексе

Яндекс никогда не спешит индексировать новые сайты, но все таки добавив сайт в Вебмастер и выгрузив Sitemap вы сможете ускорить индексацию. Исходя из личного опыта могу сказать, что в среднем на индексацию нового сайта уходит 3-4 дня. Яндекс.Помощь же говорит нам, что на индексацию сайта уходит от нескольких дней до двух недель.

Сколько времени индексируется сайт в Яндексе

Не забывайте добавлять сайт в Вебмастер, выгружать Sitemap и по возможность отправлять страницы на быструю индексацию Яндекса, через инструмент переобход страниц.

Я думаю теперь вы примерно поняли, как быстро Яндекс индексирует новый сайт. Ниже я приведу пример того, как Yandex взаимодействует с микроблогом Twitter и как он способен влиять на индексацию.

Сколько времени индексируется сайт в Google

Google — это довольно шустрый поисковик, который способен индексировать огромные сайты в самые сжатые сроки. К примеру новый сайт на 100 страниц Google с легкостью может проиндексировать за 24 часа, при условии, что вы добавили сайт в Search Console и отправили Sitemap.

Сколько времени индексируется сайт в Google После входа в панель вебмастера Google (Search Console) вы можете самостоятельно отправить сайт на индексацию, для этого необходимо открыть раздел «Сканирование» и выбрать инструмент «Посмотреть как Googlebot». На этой странице вы сможете очень быстро проиндексировать нужные вам страницы. Обратите внимание, что можно добавлять только по 1 странице, выгрузить за раз несколько десятков страниц невозможно! Но, Google предлагает намного лучший инструмент чем Яндекс! Сейчас объясню почему я так считаю.

Вы можете отправить на индексацию 500 страниц за 30 дней, что намного больше, чем в Яндексе. Дополнительно вы можете послать 10 запросов, которые позволят проиндексировать не только целевой URL, но и все прямые ссылки из этой страницы! Таким образом, если у вас на сайте проделана грамотная перелинковка, добиться сокращения времени индексации очень просто!

Google индексирует страницы только в том случае, если они соответствуют общим рекомендациям по обеспечению качества и не используются директивы noindex.

В справке Google не указано точных сроков, когда робот придет на сайт и проиндексирует страницу, но если вы выполните все указанные выше действия, тогда индексация будет очень быстрой. Цитата из справки Google на скриншоте ниже.

индексировать страницу в google

Индексация Твиттера Яндексом и Google

Twitter — это очень динамичный сайт, на котором ежесекундно генерируется тысячи сообщений. Именно по этой причине поисковые системы не могут обойти проект, где размещается очень много уникального контента. Привлечь поисковых роботов можно разместив личный твит в микроблоге. Если у вас нет собственного аккаунта, тогда вы всегда можете накрутить твиты используя сторонние сервисы. Twitter сокращает все ссылки и на выходе вы получите ссылку на свой сайт через редирект — это никак не помешает поисковому роботу перейти по ней и проиндексировать страницу.

Рекомендую перейти на сайт VKTARGET и заказать несколько десятков твитов на трастовых профилях. Зарегистрированные пользователи получают скидки на все услуги. Стоимость 1 твита на аккаунте с 5000 читателей всего 75 копеек. Составьте грамотное сообщение с ключевыми словами, добавьте свою ссылку и отправляйте заказ в работу. Объем сообщения в Твиттере не может превышать 140 символов. Все задания выполняются за несколько минут.

ускорить индексацию сайта vktarget

Надеюсь теперь вы поняли сколько индексируется сайт в Яндекс и Google и какие методы позволяют привлечь поискового робота на сайт.

likehit.ru

Причины плохой индексации сайта (чеклист для поиска проблем) — Devaka SEO Блог

Сайт дня: Вывод сайта из под АГС от SiteClinic.

Плохая индексация сайта — одна из серьезных проблем вебмастеров. Почему сайт или его отдельные страницы до сих пор не в индексе? Чтобы ответить на этот вопрос, нужно провести небольшой анализ. Ниже приведен список основных причин плохой индексации, который можно использовать как чеклист для решения проблемы.

Основные причины

26 причин, почему робот плохо индексирует ваш сайт Существует 5 основных причин, по которым сайт или его отдельные документы могут не заходить в индекс (или делать это с трудом). Вот они:

— Робот не знает о сайте или документе— Сайт или его часть недоступна для робота— Сайт находится в черном списке— Присутствует техническая ошибка— Отдельные страницы или разделы показывают плохое качество

Ниже подробно расписан каждый перечисленный выше пункт.

1. Робот не знает о сайте/документе

Робот может не знать о сайте (не включить его в свое расписание) по разным причинам.

— Прошло мало времени

Для того, чтобы робот узнал о сайте или новой странице, необходимо время, когда он найдет ссылку (внутреннюю или внешнюю), либо когда кто-то зайдет на сайт из браузера с установленным тулбаром, либо вы намеренно сообщите роботу о появлении нового документа. Ускорить попадание документа в расписание индексации можно с помощью адурилки.

Также, если вы по логам сервера уже видите, что робот заходил на сайт, а страницы в индексе не появились, нужно подождать апдейта, который в Яндексе происходит не чаще 2 раз в неделю (а по праздникам доходит до 1 раза в 2-4 недели). В основной индекс страницы могут попадать за несколько часов в Google и минимум за 2 недели в Яндекс (если попадают раньше, то по документу скорей всего прошелся быстробот и позже страницы могут на время уйти из индекса до прихода основного робота).

— На сайт/документ не стоит ссылок

Если сайт обновляется редко, то робот на него также будет заходить редко и при добавлении новых страниц нужно убедиться, что на них стоят ссылки с главной, либо можно поставить ссылки с других внешних ресурсов (с целью подсказки роботу о новых документах).

2. Сайт или его часть недоступна для робота

Даже если поисковик уже знает о сайте, мы можем осознанно или неосознанно закрывать ему доступ к отдельным разделам и документам.

— Домен не делегирован (или снят с делегирования по жалобе)

Убедитесь, что приобретенный вами домен делегирован и доступен по доменному имени не только вам, но и другим пользователям сети. Попросите своих знакомых из другого города зайти на сайт и проверить, открывается ли он.

Также, в связи с принятием закона о пиратстве, некоторые сайты могут снимать с делегирования. Это редкий случай, но если вы размещаете пиратский контент (фильмы онлайн, музыкальные клипы и аудиотреки, игры и другую интеллектуальную собственность), то вполне возможно, что на вас подали жалобу. Об этом обычно предупреждают.

— Закрыт через robots.txt

Откройте файл /robots.txt в корневой папке (если он существует) и убедитесь, что в нем не закрыты нужные вам разделы. Например, частой ситуацией бывает закрытие от индексации папки со скриптами или шаблонами, где лежат и изображения, что приводит к отсутствию индексации изображений. Либо разработчики перед выкатом нового сайта в процессе тестирования добавляют директиву “Disallow: /” (означающую запрет на индексацию всего сайта) и забывают её убрать.

— Закрыт через meta-robots

Тег meta-robots размещается внутри тегов <head> и является вторым способом запретить индексирование документа. Некоторые CMS-ки (например, WordPress) позволяют этим гибко управлять, но не каждый редактор вспоминает уделить этому внимание после запуска и наполнения сайта первичным контентом. Так, например, пару лет назад блог SeoPult долгое время содержал мета-тег <meta name="robots" content="nofollow,noindex" /> из-за чего его полезные страницы отсутствовали в индексе.

— Закрыт через IP или User-Agent

Этот вопрос нужно решать с хостером. В одно время поисковик Yahoo так уделял внимание большим сайтам, что ложил хостинг и владельцы хостинга блокировали бота по ip-адресу. Иногда (но очень редко) ip-адрес случайно попадает в черный список. Это легко проверить, анализируя логи сервера (access_log) на предмет наличия в них признаков посещения сайта поисковой системой.

Попросите также ваших программистов проверить, не блокируют ли они своей системой важные запросы роботов.

— Закрыт через http-заголовки X-ROBOTS-TAG

Редко используемый метод, но http-заголовки также можно использовать для запрета индексации тех или иных страниц. Проверьте с помощью каких-либо инструментов (например, плагина Firebug для Firefox), какие заголовки отдают страницы вашего сайта и присутствует ли в них x-robots-tag.

— Использует flash или ajax-навигацию

Поисковые роботы плохо индексируют flash или ajax-элементы сайта. Если в них скрыта навигация, это может осложнить индексацию сайта и распознавание его структуры. Чтобы увидеть сайт как робот, можно использовать панель для вебмастеров Google (меню “Сканирование” – “Посмотреть как Googlebot”).

— Важные элементы на сайте закрыты в noindex

Закрывая что-то “ненужное”, можно также закрыть и нужное 🙂 лучше не использовать noindex, я неоднократно сталкивался с ситуациями, когда он только вредил при некорректном использовании. Возможно, именно из-за переизбытка тегов noindex робот не видит достаточно уникального контента и поэтому не добавляет сайт в индекс.

3. Сайт находится в черном списке

Есть несколько причин, по которым сайт попадает в черный список поисковой системы, приводя, естественно, к отсутствию индексации. Вот основные из этих причин:

— На сайт наложены санкции

Иногда наложение санкций очевидно, иногда мы можем об этом не подразумевать (например, при покупке домена). В любом случае, стоит убедиться, что домен чист. Обычно, к наложению санкций приводят следующие особенности сайта:

  • Манипулирует выдачей агрессивными методами оптимизации (например, скрывает seo-контент или подменяет контент для пользователей, продвигается спамом по каталогам или форумам и при этом не имеет большого авторитета).
  • Создан только для поисковых систем (не несет ценности пользователю)
  • Является афиллиатом уже существующего сайта (уже есть аналогичный сайт на другом домене того же владельца)
  • Имеет плохую историю домена

Какой сайт существовал на домене до того, как вы его приобрели, можно посмотреть на сервисе WebArchive. Желательно это делать до покупки домена.

— Ресурс распространяет вирусы

Случается, что сайты взламывают и размещают на них вредоносный код. Когда поисковик это обнаруживает, то не продолжает индексировать сайт пока не восстановит доверие. Чтобы вовремя узнать о проблеме взлома, нужно использовать (и мониторить) панель для вебмастеров.

4. Присутствует техническая ошибка

Нередко, причиной плохой индексации сайта оказывается элементарная техническая ошибка, устранение которой быстро исправляет проблему.

— Некорректный http-заголовок

Код ответа сервера должен быть “200” для тех страниц, которые должны попасть в индекс. Проверить это можно различными инструментами, например, плагином Firebug или командой “wget -S http://site.tld&#8221; из терминала. Также, в панели для вебмастеров имеется раздел, посвященный индексации и если робот обнаружит какие-либо ошибки, он сообщит вам об этом.

— Некорректный DOCTYPE

Я сталкивался с несколькими случаями, когда перед DOCTYPE в html-коде стояли дополнительные теги (<?xml или <script>), препятствующие страницам попадать в индекс. Нужно убедиться, что код соответствует html-стандартам и робот легко может определить тип контента и его основные блоки.

— Некорректные редиректы

Первый случай некорректного редиректа это использование 302-го вместо 301-го. При этом старые страницы не будут заменяться на новые в индексе, так как используется временный редирект вместо постоянного. Второй случай плохой индексации из-за редиректов – это использование тега rel=“canonical” с прописанием одной и той же канонической страницы для всех документов.

Удаление сайта из индекса из-за неверно прописанного rel=canonical

— Проблемы с кодировкой

Есть несколько способов сообщить роботу о кодировке документа: мета-теги, http-заголовки и сам контент. Обычно, процесс определения кодировки не составляет для поисковиков труда, но бывают редкие случаи, когда http-заголовки говорят об одном, мета-теги о другом, а сам контент написан в третьей кодировке и тогда в индекс попадает просто набор символов, показывающий плохое качество контента.

Пример документа с проблемной кодировкой в индексе Яндекса

Убедитесь, что с кодировкой ваших документов все в порядке.

Существуют и другие технические причины плохой индексации, которые встречаются намного реже и так просто их не найти, необходимо подключать специалиста.

5. Отдельные страницы или разделы показывают плохое качество

Если с сайтом все отлично в техническом плане и к нему нет претензий относительно использования агрессивных методов оптимизации, поисковик постепенно индексирует сайт. Для начала он дает небольшую квоту на количество необходимых проиндексированных страниц. Если после накопления статистики он видит, что страницы показывают хорошее качество, квота увеличивается и больше страниц может попасть в индекс. Так поисковик экономит свои ресурсы, индексируя только нужные документы. Какие же признаки говорят о хорошем или плохом качестве документов?

— Контент уже существует на других сайтах (не уникален)

До индексации поиск не знает, уникальный ли контент содержит документ, поэтому, на первом этапе страницы сайта могут индексироваться хорошо. Но если ваш контент уже где-то встречается точь-в-точь, то поисковику нет смысла снова добавлять его в индекс – он знает об этих страницах и вы можете видеть в панели для вебмастеров, что он видит несколько тысяч страниц на вашем сайте, но при этом они не участвуют в поиске, если нет других сигналов, заставляющих бота изменить своё решение.

— Контент уже существует в других разделах этого сайта

Здесь речь о внутренних дублях контента, обычно это страницы сортировки, пейджинга и страниц для печати. Все подобные страницы, которые мало отличаются друг от друга, пойдут в дополнительный индекс, не участвующий в поиске. Необходимо убедиться, что каждая страница сайта имеет ценность для пользователя и эти ценности не пересекаются между документами, каждый ценен по своему.

— Объем уникального текста на странице меньше 500 символов

Малый объем уникального текста затрудняет поисковым алгоритмам определить ценность этого контента для пользователя. К тому же, на таких объемах контента сложно поддерживать уникальность между страницами своего и чужих сайтов. Часто страницы с объемом меньше 80-100 слов (около 500 символов) с трудом попадают в индекс (попадают только при хорошем вИЦ). Если это ваш случай, подумайте, стоит ли этим страницам быть в индексе, и если да, то что ещё вы можете на них добавить для увеличения контента (например, отзывы, комментарии, характеристики или видео-обзор).

— Документы раздела имеют шаблонные заголовки и тексты

Поисковики не любят шаблонность, когда между страницами меняется лишь одно-два слова и остальной контент остается одинаковым, и стараются не индексировать много шаблонных страниц. Если хотите, чтобы страницы попадали в индекс, прописывайте их заголовки и мета-описания вручную, либо используйте множество шаблонов вместо одного для всего сайта.

— Страницы раздела более 4-го уровня вложенности

Чем больше уровень вложенности страницы, тем меньше её вес и значимость для поиска (для пользователя также). Нужные для индексации страницы, которые лежат далеко вглуби сайта, необходимо выносить на 2-3 уровень вложенности с помощью дополнительной перелинковки.

— Большое количество 404 страниц

При обнаружении множества ошибок, поисковик должен определять паттерны и не стучатся туда, где заведомо (с большой вероятностью) страница также будет с 404 ошибкой. В связи с этим, нужно периодически мониторить свой сайт на предмет различных ошибок через уже упомянутую выше панель вебмастеров или специализированных программ.

— Медленная скорость отдачи документов

Медленная скорость отдачи документов из-за проблем в хостинге или CMS не позволит роботу быстро индексировать сайт. Он будет продолжать его сканировать, но не так быстро, как если бы документы отдавались моментально. Простая оптимизация скорости загрузки сайта может существенно улучшить его индексацию.

Конечно же, существуют и другие причины плохой индексации сайта. Если ни один из вышеперечисленных признаков вам не подходит, необходимо связаться со службой поддержки поисковой системы, либо связаться со специалистами.

Если в вашем опыте встречались какие-то другие проблемы, мешающие сайту нормально индексироваться, делитесь ими в комментариях!

devaka.ru

ускорение и проверка индексации сайта в поисковых системах

Индексация сайта – это процесс сканирования Вашего сайта поисковыми роботами (Яндекс, Google, Rambler и др.) с целью включения их в поисковый индекс. То есть статьи, только что написанная, сразу не попадает в результаты поиска поисковых систем, а появится “там” только после индексации этой самой статьи.

Для начала, когда Ваш сайт или блог еще новый, Вам нужно, чтобы поисковики проиндексировали сам сайт в целом. Для этого Вы можете воспользоваться уроком, где показывается то, как добавлять блог в Яндекс, Google и другие поисковые системы.

Как запретить индексацию сайта

Сразу хочу отметить, что в некоторых повторяющихся страницах блога нужно запретить индексацию. Для чего? Да все для ради той же любви от поисковиков, которую мы просто обязаны получить. Яндекс, Гугл и др. не любят дублирование страниц. Чтобы закрыть от индексации “ненужные вещи” пользуйтесь robots.txt. Я, к примеру, использую вот такой robots.txt, который меня ни разу не подводил и я полностью доволен им. Если Вы не знаете, что такое robots.txt и куда его “засунуть”, просмотрите вот этот урок.

Как ускорить индексацию сайта

Многие вебмастера ищут и придумывают все более изощренные способы ускорения индексации сайта. Честно, я за этим не гонюсь. Почему? Почему я не хочу увеличить скорость индексации страниц моего блога? Ведь, если статья сразу появляется в результате выдачи поискового запроса, значит ради привлечения дополнительных посетителей выгодно туда попасть? Почему мне это не нужно?

Ответ прост: мои статьи этого блога индексируются поисковиками в течении нескольких минут! Как? Ответ ниже.

  1. Если Вы хотите, чтобы статьи индексировались как можно быстрее, просто пишите чаще. Вот примерное поведение поисковой системы: I день: заходит на Ваш поисковый сайт, сканирует его добавляет необходимое в поисковую выдачу, заходит к примеру завтра, опять сканирует, но ничего нового не находит (если не происходило изменений), и следующий раз он уже зайдет к Вам не послезавтра, а где-то а через 3 дня (все сроки условные, постарался объяснить процесс индексации).Таким образом, можно сделать вывод, что чем чаще обновляется сайт (блог), тем чаще на него заходят поисковые роботы.
  2. После написании статьи, сразу же, в обязательном порядке, сами же нажимайте на кнопку Retweet своего блога (Как вставить кнопку Retweet?). Таким образом, поисковик “проникнет” на Ваш блог через Twitter и др.
  3. Если Вы наберете, например, в Яндексе, поисковый запрос “как ускорить индексацию сайта”, Вы прочтете много статей, которые будут советовать Вам добавлять в пункт “Сервисы обновления” новые сервисы, на которые будут идти оповещения, после того, как Вы опубликуете статью.Я тоже раньше этим занимался, добавлял туда более 30 сервисов. Но это дополнительная нагрузка на блог, и, как я заметил, и без этих >30 сервисов, мой блог отлично индексируется. В списках сервисы обновлений у меня всего стандартных 3 сервиса (Вы можете посмотреть это зайдя в админку Настройки –> Написание –> Сервисы обновления):Индексация сайта
  4. Создайте карту сайта с помощью плагина Google XML Sitemaps.
  5. Также крайне желательно создание “человеческой” карты сайта (тот, что выше – для поисковых роботов), к примеру с помощью плагина Dagon Design Sitemap Generator. С его помощью Ваша статья будет находится “на глубине” от главной странице не более чем на 2-3 клика, что тоже есть плюс для поисковиков.
  6. Поставьте на блог RSS-подписку.
  7. Грамотно перелинковывайте внутренние страницы. Помните: внутренняя перелинковка необходима блогу, как рыбе вода. Если, конечно же, Вы не хотите, чтобы у Вас было 2-3 читателя.

Как проверить индексацию сайта в Яндексе, Google и др. поисковых системах

[yandex]

Если Вы хотите просто узнать, сколько страниц у Вас проиндексировано в Яндексе (пример), Вы просто можете зайти на панель вебмастера Яндекса. Там Вы найдете всю необходимую информацию (количество проиндексированных страниц показано в графе “Страниц в поиске”):

Индексация сайта в Яндексе Как добавлять блог или сайт в панель вебмастера Яндекса, я писал тут.

Количество проиндексированных статей Вы можете просмотреть с помощью SeoBar для Opera (более подробно о нем здесь):Проверить индексацию сайта

Также проверить индексацию сайта в Яндексе или др. поисковых систем можно с помощью этого сервиса: http://be1.ru/stat/. В начале вводите адрес сайта:

Проверить индексацию сайта в яндексе

Здесь Вы можете видеть “кнопочки”, при нажатии на которых, будут показываться проиндексированные страницы:

проверка индексации сайта Кстати, кроме проверки индексации сайта в Гугле, Яндексе и других поисковиках, данный сервис обладает довольно интересным и полезным функционалом. Не поленитесь, уделите полчасика своего внимания, возможно, Вы найдете что-то стоящее для себя.

На сегодня все. До встречи на следующих уроках. Всего доброго!

Рекомендую для чтения: Сможет ли Ваш сайт попасть в Яндекс Каталог?

Подпишитесь на бесплатные уроки

Понравился урок? Вы не хотите пропускать новые бесплатные уроки по созданию, раскрутке и монетизации блога? Тогда подпишитесь на RSS или на электронный ящик в форме выше и получайте новые уроки мгновенно! Также можете следить за мной в Twitter.

wpnew.ru

Индексация сайта в Яндексе – как отправить, проверить и ускорить ее

По большому счету, если Ваш ресурс хороший, качественно сделанный, то проблем с его индексированием быть не должно. Если сайт, пусть и не на 100%, но отвечает требованиям поисковиков — «для людей», то они с радостью будут заглядывать к Вам на огонек и индексировать все новое, что будет добавлено.

Но как бы там ни было, первым шагом в продвижении сайта является добавление его в индекс ПС. До тех пор, пока ресурс не проиндексируется, по большому счету и продвигать то нечего, ведь поисковики вообще о нем не будут знать. Поэтому, в этой статье я рассмотрю, что такое индексация сайта в Яндексе и как отправить ресурс на индексацию. А также расскажу о том, как проверить попал ли сайт или отдельная страница в индекс Yandex и, что делать для ускорения индексации Яндексом.

Как происходит индексация сайта в Яндексе

Индексирование сайта в Яндексе – это обход роботами поисковой системы yandex Вашего сайта, и внесения всех открытых страниц в базу. Паук русского поисковика добавляет в базу данные о сайте: его страницах, картинках, видео, документах, которые доступны для поиска. Также, поисковой бот занимается индексированием ссылок и других элементов, что не закрыты специальными тегами и файлами.

Основные способы индексации ресурса:

  • Принудительная — следует отправить сайт на индексацию в Яндекс через специальную форму.

  • Естественная — поисковому пауку удается самостоятельно найти Ваш сайт, переходя с внешних ресурсов, что ссылаются на вебсайт.

Время индексации сайта в Яндексе для всех разное и может колебаться от пары часов до нескольких недель.

Это зависит от множества факторов: какие значения стоят в Sitemap.xml, как часто наполняется ресурс, как часто упоминание о сайте появляется на других ресурсах. Процесс индексации цикличен, поэтому робот будет приходить к Вам через (практически) равные промежутки времени. А вот с какой периодичностью — зависит от упомянутых выше факторов и конкретного робота.

! Паук может проиндексировать веб-сайт полностью (если он маленький) или отдельный раздел (это относиться к интернет-магазинам или СМИ). На часто обновляемых ресурсах, типа СМИ и информационных порталах живут, так называемые, быстро-роботы для быстрой индексации сайта в Яндексе.

Порой на проекте могу возникнуть технические неполадки (или проблемы с сервером), в таком случае yandex индексация сайта не состоится, из-за чего поисковая система может прибегнуть к следующему сценарию:

  • сразу выкинуть непроиндексированные страницы с базы;
  • провести переиндексацию ресурса через определенное время;
  • поставить страницы, что не были проиндексированы, на исключение из базы, и если не обнаружит их при повторной индексации, то выбросит из индекса.

Как ускорить индексацию сайта в Яндексе

Как ускорить индексирование в Яндекс – частый вопрос на различных форумах вебмастеров. Фактически жизнь всего сайта зависит от индексации: позиции ресурса в ПС, количество клиентов с них, популярность проекта, прибыль, в конце концов.

Я подготовил 10 способов, которые, надеюсь, пригодятся Вам. Первые пять – это стандартные для постоянной индексации ресурса, а следующая пятерка поможет Вам ускорить индексацию сайта в Яндексе:

  1. Файл robots.txt. Как не странно, но вебмастера частенько забывают (или не знают как) разрешить поисковым ботам индексировать страницы сайта. Либо наоборот, открывают все, что также негативно сказывается, поскольку пауку приходится бродить по сотням ненужных файлов.

  2. Файл Sitemap.xml. В нем следует указать только те страницы, которые нужно индексировать, а также частоту переиндексации: раз в день, неделю, меся

guland.biz