Как подсчитать количество страниц на сайте. Как узнать сколько страниц на сайте


Как проверить, сколько страниц в индексе поисковых систем | ТВОЙ ПОМОЩНИК

Написал Елена Молгачева в 11 ноября 2014, 00:13 Отредактировано: 13 марта 2016, 09:53

сколько-страниц-в-индексеЛогические рассуждения на тему: «Как проверить, сколько страниц в индексе поисковых систем».

И числовые расчеты, которые показывают, как я сводила баланс, изучая, что проиндексировано, а что нет и почему.

Я решила разобраться с этим более пристально и разложить все по полочкам.

Рассмотрим на примере Яндекса и Google.

Проблема индексирования, или что такое индексы.

Проблема индексирования постоянно волнует владельца любого сайта. Когда страницы сайта попадают в индексы поисковых систем, это обеспечивает стабильный и, что самое главное, бесплатный трафик. Страницы участвуют в поисковой выдаче, а посетители сами ищут информацию и попадают на Ваш сайт. Это же здорово!

Что из себя представляет процесс индексирования сайта или индексация (как мы привыкли говорить в обиходе) я уже рассказывала. Если кто еще не знает в чем суть, стоит перейти по предложенной ссылке и обязательно ознакомиться. Для самообразования узнать это будет очень даже полезно.

На начальном этапе каждый вебмастер переживает о том, чтобы поисковые системы скорее заметили и начали индексировать вновь созданный сайт.

Для этого ссылку на сайт (Url сайта) добавляют в специально предназначенные для этого аддурилки – информируют поисковые системы о своем новоиспеченном творении.

Но, если с Google обычно проблем не возникает, то с Яндексом они иногда случаются. И многие пытаются разобраться, почему Яндекс не индексирует сайт?

Ну, вот, наконец, сайт начинает стабильно индексироваться.

Теперь владельцев волнует уже то, чтобы каждая новая статья попадала в поиск как можно быстрее, и они мечтают, чтобы сайт посещал, так называемый «быстроробот».

Для этого советуют добавлять информацию на свой сайт регулярно и размещать ссылки на новые статьи в социальных сетях, особенно в Твиттере и Google+.

Это можно легко сделать, использую кнопки социальных сетей для сайта.

Но жизнь идет, алгоритмы меняются. Если сайт раньше посещал быстроробот, и статья попадала в поиск Яндекса в течение нескольких часов, то последнее время (ноябрь 2014) многие вебмастера жалуются, что на это уходит несколько дней.

Я тоже заметила, что после того, как я стала добавлять информацию на страницу оригинальные тексты в сервисе вебмастеров Яндекса перед публикацией (что мне настоятельно посоветовали делать специалисты этого поисковика), новая статья попадает в поиск только при очередной поисковой выдаче Яндекса. Как раз несколько дней и проходит.

Получается что-то типа того: ваш текст уже у нас в кармане, вы и так от нас никуда не денетесь, и спешить нам не обязательно.

А как же можно в таком случае определить, что статья уже проиндексирована?

Я делаю это с помощью расширения браузера Google Chrome RDS bar.

Такое же расширение установлено у меня и на браузере Opera. Оно позволяет для любой открытой страницы определить, проиндексирована она или нет.

Как самостоятельно добавить страницу в индекс Google.

Google в этом вопросе более оперативен. Он позволяет каждому принудительно добавлять новую страницу в индекс. Это можно сделать в сервисе для вебмастеров Google. Там нужно сначала выбрать вкладку «Посмотреть, как Googlebot», где затем появляется возможность самостоятельно добавить страницу в индекс, если указать ее Url.

посмотреть-как-Googlebot

Как говорится: и вам хорошо, и нам не плохо.

Таким способом можно добавлять до 500 страниц в месяц.

А как обстоят дела с количественными показателями индексации для сайта?

Сколько страниц в индексе поисковых систем?

Это проще всего посмотреть в сервисах для вебмастеров поисковых систем.

Допустим, у меня на сайте 106 статей и 10 страниц (это видно в административной панели сайта) плюс Главная страница, или лента новостей. Дальше легко подсчитать (106+10+1=117). Значит, всего будет 117 Url на sitemap.

Вспоминаем, что карту сайта для поисковых систем (sitemap) для WordPress мы строили с помощью специального плагина, а отобразить ее можно по ссылке, если к Url сайта после косой добавить sitemap.xml. Можете попробовать посмотреть таким образом свою карту сайта для роботов.

Сколько страниц в индексе Яндекса?

Итак, есть 117 Url готовых для индексации, а в сервисе вебмастеров Яндекса у меня почему-то числится, что в индексе находятся 141 страница. Откуда же берутся остальные?

сколько-страниц в индексе поисковы систем

На расшифровке показано, что еще учтено.

сколько-страниц-в-индексе-Яндекса

Получается, что добавляются еще 13 из 28 страниц категорий.

На сайте можно открыть каждую рубрику (категорию) и просмотреть, сколько в ней числится страниц на данный момент, а потом все эти страницы просуммировать. Так можно подсчитать, сколько всего у вас страниц категорий.

Дальше идут 9 из 21 страниц, которые находятся в ленте новостей непосредственно за Главной страницей.И еще 1 тег как-то сюда затесался.

Каким образом были выхвачены именно эти 13 страниц категорий и 1 тег в придачу, я для себя внятно объяснить не смогла.

А вот откуда взялись конкретно эти 9 из 21-й страницы ленты новостей, так это как раз прояснилось.

Если открыть главную страницу моего сайта по ссылке http://tvoy-internet.ru, то внизу видна строка постраничной навигации, организованная у меня с помощью специального плагина.

9-стрвниц-за-главной

Если внимательно посмотреть на эту строку, то становится понятным, что она, кроме ссылки на первую страницу Главной с расположенными на ней пятью статьями (что задается при настройке WordPress) имеет ссылки еще на 9 страниц.

Их можно перечислить: 2, 3, 4, 5, 6, 7, 8, 20 и последняя (в данный момент это у меня страница 22).

Получается, что на сайте есть Главная и еще 21 страница ленты новстей за ней – всего 22.

Мы видим, что явно указаны ссылки на 9 страниц из 21-й в ленте. Наверное, поэтому они и попали в индекс.

Но для нас, прежде всего, важно, чтобы в поиске находились те самые 117 страниц с полезной информацией, которые мы продвигаем (они зафиксированы в sitemap).

Здесь хочу напомнить, что все эти страницы должны иметь правильный заголовок h2, который обеспечивает повышение процента релевантности страницы, т.е. ее соответствия поисковому запросу. Поэтому, если кто-то еще не побеспокоился об организации правильных заголовков ранга h2 для страниц своего сайта на Вордпресс, то я советую сделать это незамедлительно.

Итак, суммируем 117+13+9+1=140. Н,у а если добавить сюда еще и саму sitemap, то и получится 141 страница в индексе.

Но тут сразу возникает следующий вопрос: «А почему робот загрузил 436, а проиндексировано только 141?»

Ответ следующий. Робот находит все имеющиеся ссылки на страницы на Вашем сайте. Но часть таких ссылок блокируется в файле Robots.txt, чтобы информация не дублировалась.

Рекомендую посмотреть список страниц исключенных роботом, чтобы убедиться, что туда не попали страницы с кодом 404 – не найдено.

перечень-страниц-исключенных роботомТаких страниц на сайте быть не должно. Их нужно проверять и исправлять.

У меня установлен плагин, который постоянно проверяет все ссылки на сайте и сразу же находит битые ссылки (в том числе и с кодом 404). Советую установить такой плагин WordPress, чтобы отслеживать несуществующие ссылки в автоматическом режиме.

Можно для интереса посмотреть и другие страницы, исключенные роботом.Там видно, что исключены короткие ссылки на страницы сайта (в них содержится вопросительный знак).Такие ссылки на статьи организует сам WordPress.

Но потом мы устанавливаем специальный плагин, чтобы у нас показывались ЧПУ ссылки – «человеко-понятные урлы» в виде названия статьи латинскими буквами. Это важно сделать, так как наличие ключевой фразы в Url способствует SEO-продвижению страницы.

В результате получается два набора разных ссылок на одни и те же страницы.

Так вот для того, чтобы информация не дублировалась, короткие ссылки в Robots.txt запрещены к индексации.

У меня также запрещены к индексации tags – страницы, которые можно открыть, используя метки. Они попадают в раздел страниц, исключенных роботом с пометкой «содержит метатег noindex».

Давайте снова вернемся к нашей арифметике. Робот загрузил 436 страниц, исключил 270.

436-270=166.

А проиндексировано 141. Где остальные?

Возвращаемся опять к указанной выше расшифровке. Там видно, что на сайте было найдено дополнительно 28 страниц категорий и 21 страница, расположенная за Главной. А индексация tags (41-й страницы меток) у меня запрещена.

28+21=49.

Итак, имеем 117 страниц, которые зафиксированы в sitemap, плюс еще 49 найденных дополнительно, как раз и будет 166 (117+49=166).

Получается, что на сайте имеется 166 разрешенных к индексированию страниц, но некоторые страницы категорий и страницы, лежащие за Главной в индекс не попали.

Ну, что ж, будем радоваться тому, что туда хотя бы попали страницы с нашей основной полезной информацией. Вряд ли кто-то будет искать какую-то категорию. Хотя иногда это может оказаться весьма кстати.

Если у Вас на сайте есть виджет с архивами, то страницы архивов тоже попадают в индекс.

Я у себя такой виджет убрала. Хотя стоит подумать, насколько он важен для сайта.

Убрала–то я его, чтобы уменьшить количество внутренних ссылок с главной страницы сайта. А какую он еще несет смысловую нагрузку, кроме истории сайта, и насколько архивы важны и нужны, надо еще подумать.

Итак, мы свели баланс в бухгалтерии проиндексированных страниц нашего сайта в сервисе для вебмастеров Яндекса. И все вроде сошлось (166+270=436).

Сколько страниц в индексе Google?

Аналогичную картину можно увидеть и в сервисе для вебмастеров Гугл.

сколько-страниц-в-индексе-Google

Там показано, что робот загрузил 358, а исключил 147.

Каждая поисковая система использует свою методику подсчета, поэтому данные несколько отличаются. Но можно заметить, что метатег noindex здесь не учитывается.

Поэтому 358-147=211.

Значит, вспоминаем про 166 страниц, которые разрешены к индексированию в Яндексе, да добавляем еще 41 страницу меток (тегов), которые Яндекс не учитывает, и получаем такое: 166+41=207.

211 и 207 — числа близкие.

Нужно принимать во внимание расхождения в датах. Ведь разные поисковые системы проводят индексацию в разное время. А в промежутке между датами информация на сайте могла измениться.

Как проверить количество страниц в индексе?

Чтобы это быстро узнать я использую расширения браузера Google Chrome Yandex CY (TIC) & PR Viewer

определить-сколько-страниц-проиндексировано

и уже упоминавшийся выше RDS bar.

Можно посмотреть и в сервисах для анализа сайта, например,  в www.cy-pr.com.

Существуют и другие ресурсы, которые такую информацию предоставляют.

Дополнительный и основной индекс Google.

Считается, что Google имеет два индекса: дополнительный и основной.

Если в поисковой строке Google набрать вручную команду site:tvoy-internet.ru, то определяется дополнительный индекс. Туда попадает все.

У меня получилось, что в дополнительном индексе Google 403 страницы.

А по команде site:tvoy-internet.ru/& определяется основной индекс.

В основном индексе Google у меня оказалось всего 186 страниц (числа разняться от случая к случаю).

186/403*100=46% страниц не под фильтрами.

Это и показано в анализаторе www.cy-pr.com.

дополнительный и основной индекс

Вот, оказывается, откуда эти проценты берутся!

Выходит, что дублированный контент на сайте в основной индекс не попадает.Ну, что же, такова участь готового бесплатного шаблона Вордпресс.

Более грамотно организованные сайты имеют более близкие числа в таких ответах.

А разницу между ними называют — «сопли».

Более подробно на эту тему у профессионального оптимизатора.

Анализ страниц в дополнительном индексе Google.

Кстати там же можно посмотреть показатели дополнительного и основного индекса Google для его сайта. У него они оказались значительно ближе друг к другу.

Увы, на моем Вордпресс блоге соплей предостаточно.

Эх, надо учиться создавать сайты на более профессиональном уровне. А не использовать готовые шаблоны…

Шутка, содержащая долю истины. Есть к чему стремиться.

Получается, что сайты нужно строить так, чтобы дублированного контента на них не было и все имеющиеся там ссылки на страницы сразу шли в дело, т.е. в основной индекс.

Вот так.

Может, и WordPress когда-нибудь до такого дорастет.

А пока получается, что, если использовать короткие ссылки на страницы, то это не способствует SEO (оптимизации). А если применять ЧПУ ссылки, то получается дублированный контент.

С нетерпением жду ваших комментариев.

Какие мысли по этому поводу Вас посетили?

Елена и tvoy-internet.ru

tvoy-internet.ru

Как посчитать количество страниц на сайте?

Каждому веб-мастеру время от времени приходится сталкиваться с необходимостью подсчета страниц как на своих сайтах, так и на сайтах конкурентов. Конечно, поисковые системы, которые индексируют сайты, позволяют получить определенные сведения о количестве страниц ресурса. Но проблема в том, что они индексируют не все страницы, а только те, которые соответствуют условиям их алгоритмов. Поэтому количество реальных страниц на сайте и количество страниц в индексе ПС могут существенно различаться.

Инструкция
  • Для того чтобы точно подсчитать количество страниц интернет-ресурса проще всего воспользоваться автоматически генерируемой картой сайта (Sitemap). Если ваш сайт сравнительно не большой, вы можете воспользоваться особым онлайн-сервисом для генерации карт сайтов и подсчета страниц XML-Sitemaps.com (http://www.xml-sitemaps.com).
  • Для этого зайдите на указанный ресурс, который по умолчанию всегда открывается на вкладке “Free Online Sitemap Generator”, то есть бесплатный онлайн-сервис. Введите URL (интернет-адрес) вашего сайта в пустое поле и нажмите кнопку «Start». Через некоторое время сервис сгенерирует карту вашего сайта.
  • После завершения работы сервиса, вы будете переадресованы на страницу, отображающую детализацию карты сайта. В ней вы найдете информацию о количестве страниц на сайте, неработающих ссылка, содержании XML-файла и ссылкой на файл с картой сайта. Воспользуйтесь этой ссылкой, чтобы загрузить карту сайта в корневой каталог своего сайта.
  • К сожалению, этот сервис является условно-бесплатным и рассчитан на сайты, содержащие не более 500 страниц. Если вы хотите обрабатывать с его помощью более крупные сайты, вам придется зарегистрироваться и получить персональный платный доступ к сервису. Стоимость программы составляет 19,99$. Если вы решили приобрести платную версию, перейдите на вторую вкладку сайта “Unlimited Sitemap Generator”. На этой странице вы найдете подробную инструкцию на английском языке с описанием возможностей сервиса и правилами его использования, а так же кнопку для процедуры оплаты с помощью системы PayPal.
  • Если вы создаете свои сайты при помощи распространенных CMS (систем управления сайтами), вы можете воспользоваться разработанными для них плагинами при составлении карты сайта и подсчете количества страниц. В частности для распространенной cms Joomla существует отличный модуль SEF Service Map, позволяющий генерировать карты сайта и работать с ними. Система Word Press имеет специальный плагин для генерации сайтмап, который нужно будет дополнительно установить.
  • Оцените статью!

    imguru.ru

    Количество страниц в индексе. Самый быстрый способ

    Проверка индексации сайта в Яндекс и Google

    Успешное продвижение сайта возможно лишь тогда, когда выполняется одно важное условие – поисковики должны проиндексировать все его странички, которые оптимизированы под нужные поисковые запросы.

    Как убедиться, что это условие выполнено?

    Нужно узнать какие страницы в индексе, а какие поисковые роботы обходят стороной.

    Самая простая проверка индексации сайта в Яндекс и Google

    1. Чтобы проверить количество страниц в индексе Google используется команда «site:» для строки поиска.

       

    2. Проверить количество страниц в индексе Яндекс можно с помощью оператора «host:», введя эту команду в его поисковую строку в комбинации с адресом веб-ресурса, данные по которому необходимо определить.   

     

    В итоге проверка индексации сайта в Яндекс и Google должна выдавать примерно одинаковые результаты с разницей не более чем в 10%. 

    Если различие более существенное, значит у одного из поисковиков проблемы с индексацией определенного количества страничек Вашего веб-ресурса. Нужно найти и устранить причины этих проблем. Возможно, требуется правильно настроить robots.txt. В этом файле могут присутствовать запреты на индексацию страничек ботами одного из поисковиков.

    Альтернативные способы

    1. Также возможно проверить количество страниц в индексе Google, используя профессиональные инструменты, находящиеся в Search Console. Просмотрев соответствующий раздел Вы сможете узнать сколько страничек всего учтены поисковым ботом и сколько заблокированы в robots.txt. 

       

    2. Похожий сервис (Яндекс.Вебмастер) дает возможность проверить количество страниц в индексе Яндекс. 

      Кроме количества есть возможность увидеть, какие страницы в индексе поисковика, а какие нет. Это может значительно упростить работу по исправлению ошибок, препятствующих правильной индексации веб-ресурса.  

    3. Также выполнение подобной проверки возможно с помощью сторонних сервисов, которых в интернете огромное количество. 

      Хотя зачем что-то выдумывать? Кто сможет показать, какие страницы в индексе, лучше самих поисковиков и профессиональных инструментов, предоставленных ими же?

    Итог очевиден

    Если нужно определить, как много и какие страницы в индексе, есть достаточно способов, из которых каждый выбирает на свой вкус. Кому-то нравится минимализм и простота (оператор «site:»). А кто-то может любить, чтобы все было посложнее и посерьезнее.

    Но независимо от выбранного способа, результат должен быть достигнут один – определить существующие проблемы с индексацией страничек веб-ресурса и по максимуму их устранить. Ведь индексация – самый важный момент в продвижении. Если она не работает или дает сбои, Вы просто тратите время и деньги впустую.

    А Вам какой способ подходит? Или может Вы знаете и другие? Пишите об этом в комментариях! 

     

    seo-akademiya.com

    Как подсчитать сколько страниц на сайте? - Создание сайта - [Интернет и Связь] - Ответы на вопросы - NERZON

    Ключевые меткисоставление карта сайта, создание сайта, подсчет страниц сайтаКак подсчитать сколько страниц на сайте

    Каждый web-мастер рано или поздно стралкивается с проблемой подсчета страниц на создаваемом ресурсе. Причин для подсчета может быть много. К примеру подсчет количества страниц конкурента может дать вам более четкое понимания стоимости конкурирующего ресурса. В свою очередь это дает вам преимущество перед конкурирующим сайтом и четкое понимание того в каком направлении вам двигаться, чтобы опередить конкурирующий ресурс. Так как все таки подсчитать сколько страниц на сайте? 

    Рассмотрим один из ресурсов для составления карты сайта и подчсчета общего числа страниц. К сожалению этот ресурс комерческий и имеет ограничение на подсчет 500 страниц. Если сайт имеет больше 500 страниц необходимо оплатить определенную сумму. Рассмотрим как работает этот сайт на примере моего сайта www.nerzon.ru 

    Сервис находится по следующему адресу: http://www.xml-sitemaps.com/ 

    В принципе ничего сложного при работе с сервисом нет, только несколько специфических моментов, которые вы увидите на рисунках внизу.

    как подсчитать сколько страниц на сайте

    После нажатия на кнопку Start начинается сканирование сайта. Вы увидите перед собой следующую картину. На изображении показано сколько страниц уже подсчитано.

    сканирование и подсчет страниц на сайте

    После завершения сканирования система предложит вам скачать карту сайта в удобном для вас формате.

    составление карты сайта и подсчет страниц сайта

    Вы увидите сколько страниц насчитали на вашем ресурсе внизу страницы. Это лучший сервис на сегодняшний день, который я знаю, для того чтобы подсчитать сколько страниц на сайте.

    Источник:  Google +  nerzon.ru + Я 

    www.nerzon.ru

    Как проверить количество страниц в индексе

    А зачем собственно может понадобиться проверить количество страниц в индексе?

    • На своем сайте важно следить чтобы все опубликованные страницы со временем вошли в индекс. Иначе у вас проблемы.
    • Для чужого сайта (например при покупке сайта) важно чтобы число страниц в индексе Яндекса и Гугла примерно совпадало. Иначе сайт под санкциями (или неявной пессимизацией) и его приобретать не стоит.

    Количество страниц в индексе Яндекса

    1 Если вы хотите узнать количество страниц вошедших в индекс Яндекса для любого сайта (не важно вашего или чужого) — в поисковую строку поиска вбейте следующий запрос site:xxx.ru (где xxx.ru — имя сайта):

    Проверить количество страниц в индексе

    Страницы при выводе ранжируются по популярности. Таким образом можно узнать самые популярные страницы своих конкурентов.

    2 Если вы можете подтвердить права на сайт — обязательно заведите себе аккаунт на Яндекс вебмастер: webmaster.yandex.ru и там вы вполне официально от самого Яндекса увидите:
    • Количество страниц в индексе:
    Яндекс вебмастер общая информация
    • Динамику индексирования (история хранится за последние 3 месяца):
    Яндекс вебмастер страницы в поиске история
    • Какие именно страницы в индексе:
    Яндекс вебмастер страницы в поиске3 В новом Яндекс вебмастер: beta.webmaster.yandex.ru параметры индексирования вынесены на главную страницу:

    Новый Яндекс вебмастер индексирование

    По прежнему можно отдельно посмотреть динамику индексирования, сколько страниц в индексе и какие именно страницы в индексе.

    Количество страниц в индексе Google

    1 Для того чтобы проверить количество страниц в индексе Гугл в поисковую строку поиска вбиваем запрос site:xxx.ru (где xxx.ru — имя сайта):

    Страницы в поиске Google

    2 Google в своем вебмастере www.google.com/webmasters аналогично Яндексу показывает количество страниц в индексе и динамику индексирования (но данные показаны за более длительный период — год):

    Google вебмастер статус индексирования

    Как проверить индексацию страницы в Яндексе

    Если мы хотим проверить конкретную страницу, тут всё очень просто. Копируем адрес страницы и вставляем в поисковую строку Google или Яндекс в виде конструкции site:адрес страницы. Если страница проиндексирована, то она будет в результатах поиска Яндекса: «Нашёлся 1 результат» или Гугл: «Результатов: 1».

    Понравился мне тут один лот на бирже сайтов telderi.ru. Но при тщательной проверке выяснилось, что продаваемый сайт не имеет индексированных страниц в поисковой системе Google. Скорее всего имеется бан, фильтр или пессимизация сайта в данной поисковой системе. Естественно от покупки пришлось отказаться.

    Надеюсь, что у вас, как и у меня, число опубликованных записей совпадает с числом проиндексированных страниц в Яндекс и Google.

    siteask.ru