Индексация сайта в поисковых системах — полное руководство. Индексация сайтов


Индексация Сайта в Поисковых Системах

 

Самый важный источник привлечения посетителей на сайт – это работа поисковых систем. Поэтому так важна своевременная и полная индексация сайта в поисковых системах. Чем больше страниц попадает в индекс, тем больше вероятность того, что информация с вашего ресурса дойдет до читателей.

По каждому запросу пользователей поисковые машины выдают список проиндексированных страниц, которые содержат вбитое в строку поиска слово или словосочетание. Индексация является довольно непредсказуемым процессом. Некоторые сайты попадают в верхние строчки выдач чуть ли не сразу после создания, а некоторые приходится туда загонять месяцами. Поэтому лучше с самого начала уделить внимание процессу индексации.

 

Индексация сайта в поисковых системах возможно после того, как ресурс будет добавлен веб-мастером в базу. Поисковые роботы регулярно посещают сайты, если на них нет специфических фильтров.

Что роботы видели ваш ресурс, его нужно добавить в поисковые системы. Кроме этого, полезно размещать ссылки на него на сторонних ресурсах: социальных сетях, блогах, форумах и всяческого рода комментариях к любым тематическим ресурсам.

Индексация сайта в поисковых системах зависит от его наполнения. Поисковики ценят так называемый уникальный контент. Или по-другому, ресурс должен быть наполнен статьями, специально для него созданными, а не скопированными с других источников. Подняться на первые места в рейтингах можно только при этом условии. Плагиат поисковиками игнорируется и не имеет вообще никакого рейтинга.

Для того чтобы индексировать сайт в поисковых системах, нужно последовательно провести ряд операций. Для начала в корневой папке нужно создать специальный файл robots.txt. В ней нужно указать папки, запрещенные к индексации (админ-панель и другие по усмотрению создателя сайта). В этой же папке создать файл sitemap.xml, в котором указать все страницы, которые должны быть доступны индексации.

Затем следует зарегистрироваться в google-панели для веб-мастеров по адресу www.google.com/webmasters/. Сюда нужно добавить свой ресурс с указанием файла sitemap.xml.

После этого нужно зарегистрироваться на Яндексе по адресу www.narod.yandex.ru. Тут нужно создать сайт с одной страницей, содержащей контент со ссылкой на раскручиваемый сайт. В мастерской сайт нужно добавить в индексацию, указав файл sitemap.xml.

Далее ресурс нужно зарегистрировать в "Рамблер топ-100" по адресу www.top100.rambler.ru.

Для пользователей  mail.ru сайт нужно добавить в каталог www.top.mail.ru.   Добавление сайта в поисковые системы, в принципе, на данном этапе можно прекращать. Это хорошие ресурсы, которые вполне справятся с успешным выведением вашего ресурса «в люди».

Обязательно стоит включить сайт в каталог в www.liveinternet.ru, чтобы было удобно просматривать всю информацию о посещениях сайта. Это удобно, поскольку позволяет узнать, с каких поисковиков приходят посетители и по каким запросам.

Еще один существенный момент. Поисковики часто исследуют блоги. Поэтому полезно оставлять свои тексты в блогах и указывать в них ссылки на свой сайт.

После всего этого нужно создать карты сайта в формате xml. Для этого пригодится плагин Google XML Sitemap. Далее следует установить RSS канал и добавить его в RSS-агрегаторы. Еще можно создать бесплатные дневники на сервисах Я.ру или WordPress.com со ссылками на свой ресурс. Дело в том, что эти сервисы пользуются особым доверием поисковиков, поэтому так результативны.

Чтобы индексация проходила быстрее, нужно проследить за следующим моментом. Поисковики не любят запутанные веб-коды. Сайт должен быть как можно более понятным и дружественным посетителям.

Страницы должны быть не глубже трех кликов от главной страницы. Для этого нужно тщательно продумать структуру ресурса либо сделать карту сайта.

Наполняя ресурс, учтите, что поисковые машины могут проиндексировать не более 100-200 кБ текста на одной странице. Поэтому если хотите, чтобы индексация сайта в поисковых системах была возможной на каждой странице, не нагружайте ее более чем 100 кБ.

 

fb.ru

Бесплатно ускоряем индексацию сайта | Продвижение сайтов

  • Сайтостроение
  • Статьи
  • Вебмастеру
  • Продвижение сайтов
  • Скорость индексации сайта является главным вопросом для многих вебмастеров. Далее мы разберем способы для ускорения индексации ресурса поисковыми системами.

    Стоит заметить, что скорость индексации не требует значительных вложений. Пройти ее можно множеством бесплатных способов. Один вариант ускорения по нраву Яндексу, другой Гуглу, поэтому комплексное применение приветствуется.

    Активная индексация без финансовых вложений

    1. Правильная структура ресурса. Устанавливайте меню ресурса так, чтобы от главной страницы до самой глубокой можно было добраться за три клика. Если не следовать этому правилу индексация затянется на долгое время. Не забывайте об этом никогда.
    2. Внутренняя перелинковка ресурса. Нужна для быстрой индексации внутренних страничек сайта за короткий отрезок времени. Ведь поисковик просматривает все найденные странички на сайте по внутренним ссылкам. Не забывайте про этот аспект.
    3. Карта сайта. Не ленитесь обзавестись картой для сайта, в частности для большого сайта необходимой мерой будет созданием sitemap.xml предварительно зарегистрировавшись в кабинете в отделе вебмастера. Полазив по интернету можно найти специальные программы и генераторы sitemap.xml. Далее, установите вариант карты ресурса по коду html и разместите не глубже первого клика от главной страницы сайта. Карта поможет получить быструю индексацию внутренних страничек ресурса.
    4. Регистрация в офисе вебмастера Гугла и Яндекса. Офис вебмастера предлагает многофункциональный контроль над сайтом. Не добавляйте туда разные сателлиты, если не хотите быстрого бана.
    5. Добавление в поисковики. Займитесь добавлением своего ресурса во все предлагаемые поисковики.
    6. Регистрация в рейтингах. Зарегистрируйтесь в Рамблер ТОП100, Mail, Livelnternet. Поисковики следят за рейтингами. Например, Рамблер топ100 ускорит индексацию ресурса.
    7. Посещаемые каталоги. Вышлите заявку для регистрации в посещаемые каталоги. У каждой поисковой системы они разные у Гугла — DMOZ, у Яндекса — Яндекс.Каталог и Майла – Каталог@Mail.ru. Попасть в них не просто, но пренебрегать заявкой не стоит, в будущем вы можете получите траст сайта, если вас зарегистрируют.
    8. Написание статей. Верный способ ускорить индексацию сайта. Напишите статьи для смежных сайтов, которым могли бы быть интересны ваши статьи. По сути, это тоже самое, что и каталог ссылок. Только для этого нужно очень постараться ведь написать такое количество статей не всем по силам.
    9. Социальные закладки. Займитесь добавлением своего ресурса в посещаемые сервисы закладок. Поисковые машины хорошо их индексируют. Также в закладки может быть добавлена внутренняя страница ресурса, чего не допускается в каталогах.
    10. Ресурсы вопросов и ответов. Является очень актуальным среди пользователей интернет-паутины. Контент постоянно освежается, поэтому поисковики постоянно там гуляют. Особое внимание уделяется спаму, поэтому грамотность в действиях должна неукоснительно соблюдаться. Не суйте свою ссылку в каждый ответ. Ответьте на пару вопросов, и установите свою ссылку на самом полном комментарии. Это хорошо поможет для быстрой индексации. Для регистрации: вопросы и ответы Google, ответы на Mail.ru.
    11. Комментирование в блогах. Актуальные и посещаемые блоги часто просматриваются поисковыми машинами, и любой ваш комментарий расценивается как ускорение для индексации. Спам не разрешается, пишите кратко и содержательно. Ссылки вставляйте в соответствующие поля, а не в комментарий. Найти популярные блоги не трудно — достаточно забить в поисковик «рейтинг блогов».
    12. Для блога приветствуется RSS-трансляция, нужно добавить RSS-ленту в популярные RSS-каталоги. И готово, ваши анонсы разместятся на различных сайтах.
    13. Форумы. Регистрируйтесь на нескольких посещаемых форумах и добавьте на него пару сообщений. В подписи разместите название своего ресурса. Помните, где скапливается большое количество пользователей, не минуемо привлекает поисковых роботов. Не забудьте написать в профиле названия вашего ресурса. Часто профили не закрыты для индексации.
    14. Блог на сайте. Один из главных помощников в индексации сайтов. Установите CMS WordPress, с важной функцией пингования поисковиков в сервисы. При появлении новой статьи плагин даст знать поисковикам о новом материале в блоге. Поисковики будут постоянно возвращаться на ваш ресурс и в скором времени проиндексируют его. Размещайте блог в папке вашего сайта.
    15. E-mail рассылка. Данный вариант перспективен для быстрой индексации ресурса. Воспользуйтесь актуальным сервисом Subscribe.ru. Вашей задачей является организовать первую рассылку с размещением ссылки на ресурс. Затем рассылку размещают в личном блоге, который поможет в индексации. Эта паутина приведет желанных посетителей.
    16. Возможность бесплатно завести блог. Практически каждый пользователь интернетом знает сервисы для бесплатного создания блогов: LiveJournal, Blogger, Yandex и другие. И вы должны призвать их на помощь. Обязательно заведите дружбу с блогерами – поисковик это оценит.
    17. Европейские сети StumbleUpon и Digg. При их содействии паук Гугла найдет вас в течение часа. Правда, с вас отличная статья на английском с размещением ссылки=)

    Это еще не все варианты ускорения индексации сайта. Существуют множество платных методы, например, покупка ссылок. И совсем не важно, в какой системе вы их приобретете. Важно обновлять контент и не просто набором статей, а продуманным и актуальными СМИ.

    P.S. Если мы не рассмотрели какой-то из методов, просим вас дописать их в комментариях.

    Еще не голосовали

    рейтинг из

    ХорошоПлохо

    Ваш голос принят

    www.internet-technologies.ru

    как подготовить проект перед запуском и что делать, если мало страниц в индексе

    Индексирование сайта в поиске - полное руководство

    Привет уважаемые читатели seoslim.ru! Сегодня будет гостевой пост от Владиславы Рыковой (директора маркетингового агентства MAVR), в котором будет досконально рассмотрено, почему молодые проекты неохотно индексируются поисковыми машинами, какие на то могут быть причины и как избежать проблем в будущем.

    Индексация сайта важна в том случае, если вам необходимы посетители из поисковых систем. Если на ваш сайт зайдет поисковый робот и внесет информацию о нем в соответствующую базу данных, тогда в случае совпадения с определенным запросом он будет виден в выдаче.

    Но случается, что сайт работает уже пару недель или больше, а информации о нем в поисковой системе нет, то есть площадка не индексируется.

    Зачем нужна индексация сайта и как часто она проходит

    Если проект не индексируется поисковой системой, то к вам не будут заходить посетители из органической выдачи (Organic traffic в отчетах Google Analytics).

    Как следствие – Вы не сможете продавать им свои товары и услуги или заработать на рекламе, если портал создавали под заработок на ней.

    роботы ПС

    Поисковые роботы периодически заходят на сайты, чтобы обновить информацию в базе данных. При этом чем чаще происходит обновление на вашем портале, тем чаще у вас будет происходить индексация.

    Если площадка новая и пока не известна поисковым системам, вы можете сообщить о её создании вручную с помощь аддурилок Яндекс, Гугл, Bing, Нигма, чтобы ускорить начало этого процесса.

    Как подготовить проект

    Первое, что необходимо подготовить перед индексацией, – это написать уникальный контент, который будет полезен для вашей целевой аудитории.

    Например, если вы делаете медицинский портал про заболевания, тогда это могут быть экспертные статьи с ответами на конкретные вопросы больных.

    Если у вас интернет-магазин с медицинской техникой, тогда на странице с товарами может быть текст, который помогает посетителю сделать выбор.

    Второе, но не по важности, – это правильная настройка Robots.txt и Sitemap.xml.

    Robots.txt – файл, который содержит указания для поисковых роботов.

    Без его корректной настройки невозможна полная индексация страниц. Большинство CMS генерируют этот файл самостоятельно или при помощи плагинов, но если вы разбираетесь в коде, не лишним будет его проверить и, возможно, оптимизировать.

    Sitemap – карта сайта, которая позволяет удобней перемещаться пользователю между страницами.

    Эта же карта в формате XML, записанная в Robots.txt, поможет роботу при индексировании постов.

    Третье – ускорьте загрузку сайта. Рекомендации что можно для этого сделать посмотрите здесь: developers.google.com/speed/ или на схожем ресурсе.

    Проверка скорости загрузки seoslim.ru

    Как правило, существенно сократить время загрузки позволяет использование картинок в меньшем разрешении. Сжать их можно вручную в Photoshop или другом редакторе, а также при помощи онлайн-сервисов.

    Четвертое: обязательно подготовьте сайт для пользователей, которые будут заходить со смартфонов и планшетов, потому что таких посетителей с каждым годом становится все больше.

    Им должно быть удобно просматривать информацию и использовать функционал портала или интернет-магазина. Для этого можно сразу адаптировать сайт или использовать готовую адаптивную тему оформления, если вы собираете его на каком-то популярном конструкторе.

    Пятое – обязательное использование title, description для каждой информационной или важной страницы и alt для изображений.

    Желательно, чтобы в них присутствовали основные ключевые запросы пользователей, которые вы можете найти в «Подборе слов» от Яндекса: wordstat.yandex.ru или в «Планировщике слов» от Google Adwords: adwords.google.com.

    Что можно сделать для ускорения индексирования страниц

    У большинства поисковых систем есть формы для быстрого добавления информации о новом сайте.

    Например, у Google вы можете сделать это здесь: www.google.com/webmasters/tools/submit-url.

    С 2011 года Рамблер использует поисковые технологии Яндекса, поэтому добавлять туда сайт отдельно не нужно, сообщите сразу двум поисковикам о новой площадке через Яндекс.Вебмастер: webmaster.yandex.ru.

    Желательно добавить сайт в очередь на индексацию поисковым роботом Mail.ru. Как и в случае с Яндексом, это делают через дополнительный инструмент для вебмастера, который в дальнейшем поможет проводить анализ страниц в индексе: webmaster.mail.ru.

    Среди менее популярных в России, Украине и Беларуси поисковых систем можно добавить сайт для индексации в Bing: www.bing.com/toolbox/submit-site-url, и Meta: web.meta.ua/?action=add.

    Особенности ранжирования поисковыми системами

    Как именно поисковые роботы индексируют сайты? В каком формате хранится информация в базе данных поисковых систем? Что конкретно и в какой мере влияет на ранжирование сайтов при выдаче результата после запроса пользователя?

    Все эти интересные и важные для владельцев проектов вопросы, к сожалению, не имеют конкретного ответа, так как открытой конкретной информации от разработчиков поисковых систем нет.

    Чаще всего сотрудники Google и Яндекса, у которых интересуются подобным, отвечают, что сайт должен быть качественным и отвечать на потребности пользователя.

    Но практика показывает, что иногда в топе встречаются порталы с не самым лучшим наполнением.

    В то же время поисковые системы действительно постоянно развиваются, поэтому четкого ответа что и как следует делать, чтобы сайт «взлетел», не будет никогда.

    Поиск причины плохой индексации сайта на примере prochehol.com.ua

    Чтобы понять почему в поисковой системе отсутствуют сведения о конкретном сайте или отдельных его страницах, следует планомерно пройти по списку всех возможных причин плохой индексации, то есть:

    1. Пересмотреть файл robots.txt

    В результате проверки было найдено лишь одно предупреждение, которое важно для Яндекса.

    В целом критичных ошибок, которые могли бы негативно влиять на индексацию, найдено не было.

    ошибки в роботс

    В то же время определили, что у двух страниц (prochehol.com.ua/md/ и prochehol.com.ua/testing/) код ответа 404, то есть их нет в индексе.

    Если эти страницы не нужны там, тогда их лучше удалить из файла robots.txt, то есть вручную закрыть от индексации.

    2. Проверить корректность карты сайта Sitemap.xml

    карта сайта

    В результате проверки найдено одно предупреждение – наличие 404 ошибки:

    • На момент 30.05.17 г. Гугл.Вебмастер показывал — 4097 404-ых ошибок. Отправили на пересмотр 1000 url (больше нельзя).
    • На момент 19.06.17 г. Гугл.Вебмастер показывал — 3667 404-ых ошибок. Еще 1000 url отправлены на пересмотр.
    • На момент 23.06.17 г. Гугл.Вебмастер показывал — 1737 404-ых ошибок. Еще 1000 url отправлены на пересмотр.
    • На 27.06.17 Гугл.Вебмастер показал — 848 404-ых ошибок.

    В дальнейшем желательно уменьшать количество исправленных страниц с 404 ответом.

    Если на протяжении двух проверок количество ошибок станет приблизительно одинаковым, можно будет начать работу с полученным списком.

    Ошибки URL

    3. Анализ сайта сервисами

    С помощью различных сервисов можно определить какой именно фильтр поисковой системы повлиял на индексацию.

    3.1 Проверка площадки на санкции при помощи xtool.ru:

    xtool

    3.2 Проверка на АГС Яндекса на сервисе pr-cy.ru:

    pr-cy

    3.3 Проверка наличия санкций в поисковой системе Google с помощью сервиса barracuda.digital.

    Анализ получаем за последние два года:

    barracuda

    Сервис удобен тем, что на графике сразу отмечены все даты обновления алгоритма работы поисковой системы Google.

    В случае значительного снижения трафика после этого проще определить в чем причина такого «проседания» позиций.

    3.4 Проверка сайта на санкции в сервисе seolib.

    seolib

    4. Проверка ТИЦ и количества страниц в индексе

    4.1 Проверка тематического индекса цитирования.

    Если Яндекс индексирует сайт, он не находится под каким-либо фильтром, тогда ТИЦ будет 0 или выше.

    Если же есть проблемы, тогда будет надпись «не определен».

    На рис. ниже видно, что ТИЦ сайта – 10.

    ТИЦ сайта

    анализ ТИЦ

    Индекс цитируемости стабилен с июля 2016 года, снижения не было.

    4.2 Проверка количества страниц в индексе.

    В Google 42 778 тыс. страниц, существенных спадов не было.

    количество страниц в Гугл

    В Яндексе – 29 тыс. страниц.

    количество страниц в Яндекс

    5. Замечания и уведомления в панелях для вебмастеров

    В панелях для вебмастеров, как правило, есть уведомления об ошибках или санкциях.

    Фатальных ошибок в Яндекс.Вебмастере у проверяемого сайта не обнаружено.

    ошибки в Яндекс Вебмастер

    Схожая картина в Вебмастере от Google:

    ошибки в Гугл Вебмастер

    Это означает, что никаких санкций против сайта вручную применено не было.

    6. Проверяем скорость загрузки

    Скорость загрузки ресурса – еще один важный показатель его работы, который может повлиять на индексацию.

    Проверить можно при помощи сервиса: developers.google.com/speed/

    Результаты проверяемого сайта:

    Скорость загрузки:

    • для ПК — 61 из 100,
    • для мобильных устройств — 53 из 100.

    Это говорит о том, что необходима оптимизация кода, изображений или исправление других критических ошибок, добавляющих нагрузку на сайте.

    Проверка показала, что на каждой странице площадки есть ссылка на сайт worldssl.net.

    Пример на скриншоте ниже:

    ссылки

    Стоит добавить, что раньше уменьшал скорость загрузки страниц большой уровень вложенности, но на момент проведения проверки это уже было исправлено.

    Однако, для обновления изменений в поисковых системах иногда нужно несколько месяцев.

    Также на некоторых страницах присутствует пагинация, которую поисковые системы воспринимают как дубль. Возможно, подгрузка lazyload не всегда срабатывает корректно.

    пример страниц

    пагинация страниц

    Для правильной работы пагинации следует внедрить HTML-атрибуты rel="next" и rel="prev" на вторую и все последующие страницы пагинации.

    6. Проверка мета-тег

    Было выявлено, что на некоторых страницах отсутствует description:

    нет description

     

     

     

     

     

     

    Итог проверки: В целом у проверяемого сайта нет какой-то конкретной проблемы, которая бы могла значительно ухудшить его индексирование поисковыми роботами.

    Но найденные небольшие нюансы после отработки которых возможно улучшение ранжирования и, как следствие, большее количество посетителей.

    Интересно узнать, а как у вас обстоят дела с индексированием страниц?

    seoslim.ru

    Индексация сайта - подготовка и проверка, ускорение и запрет индексирования поисковым системам

    Индексирование сайта — это важнейшая, необходимая и первоочередная деталь в осуществлении его оптимизации. Ведь именно вследствие наличия индекса поисковые системы предельно быстро и точно могут отвечать на все запросы пользователей.

    Что такое индексация сайта?

    Индексацией сайта называют процесс добавления информации о содержимом (контенте) сайта в базу данных поисковиков. Именно индекс и является базой данных поисковых систем. Для того чтобы сайт был проиндексирован и появился в поисковой выдаче, на него должен зайти специальный поисковый бот. Весь ресурс, страница за страницей, исследуется ботом по определенному алгоритму. В результате находя и индексируя ссылки, изображения, статьи и т. д. При этом в поисковой выдаче выше в перечне будут находиться те сайты, авторитет которых выше по сравнению с остальными.

    Выделяют 2 варианта индексации сайта ПС:

    • Самостоятельное определение поисковым роботом свежих страниц либо созданного ресурса — данный способ хорош при наличии активных ссылок с других, уже проиндексированных сайтов, на ваш. В ином случае ждать поискового робота можно бесконечно долго;
    • Пнесение URL на сайт в предназначенной для этого форме поисковика ручным способом — этот вариант позволяет новому сайту «встать в очередь» на индексацию, которая займет довольно продолжительное время. Способ простой, бесплатный и требует внесения адреса лишь главной страницы ресурса. Данную процедуру можно выполнить через панель вебмастера Яндекса и Гугла.

    Как подготовить сайт к индексации?

    Сразу стоит отметить, что крайне нежелательно выкладывать сайт на стадии разработки. Поисковые системы могут проиндексировать неоконченные страницы с некорректными сведениями, орфографическими ошибками и т. д. В итоге это негативно отразится на рейтинге сайта и выдаче информации с данного ресурса в поиске.

    Теперь давайте перечислим моменты, о которых нельзя забывать на этапе подготовки ресурса к индексации:

    • на flash файлы распространяются ограничения индексации, поэтому сайт лучше создавать с помощью HTML;
    • такой тип данных, как Java Script также не индексируется поисковыми роботам, в связи с этим навигацию по сайту следует дублировать текстовыми ссылками, а всю важную информацию, которая должна быть проиндексирована, не пишем в Java Script;
    • нужно убрать все неработающие внутренние ссылки так, чтобы каждая ссылка вела на реальную страницу вашего ресурса;
    • структура сайта должна позволять с легкостью переходить от нижних страниц к главной и обратно;
    • лишние и второстепенные сведения и блоки лучше переместить к низу страницы, а также скрыть их от ботов специальными тегами.

    Как часто происходит индексация?

    Индексация сайта в зависимости от ряда причин может занимать от нескольких часов до нескольких недель, вплоть до целого месяца. Обновление индексации, или апы поисковых систем происходят с различной периодичностью. По статистике в среднем Яндекс индексирует новые страницы и сайты за период от 1 до 4 недель, а Google справляется за период до 7 дней.

    Но при правильной предварительной подготовке созданного ресурса эти сроки можно сократить до минимума. Ведь по сути все алгоритмы индексации ПС и логика их работы сводится к тому, чтобы дать наиболее точный и актуальный ответ на запрос пользователя. Соответственно, чем регулярнее на вашем ресурсе будет появляться качественный контент, тем быстрее он будет проходить индексацию.

    Методы ускорения индексации

    Для начала следует «оповестить» поисковики о том, что вы создали новый ресурс, как уже говорилось в пункте выше. Также многие рекомендуют добавить новый сайт в системы социальных закладок, но я так не делаю. Это действительно позволяло ускорить индексацию несколько лет назад, так как поисковые роботы частенько «наведываются» на такие ресурсы, но, на мой взгляд, сейчас лучше поставить ссылку из популярный соц сетей. В скором времени заметят и ссылку на ваш ресурс, и проиндексируют его. Подобный эффект может быть достигнут и при помощи прямых ссылок на новый сайт с уже проиндексированных ресурсов.

    После того как несколько страниц уже попали в индекс и сайт стал развиваться для ускорения индексации можно попробовать «прикормить» поискового бота. Для этого нужно переодически публиковать новый контент примерно через равные промежутки времени (например, каждый день по 1-2 статьи). Конечно же, контент должен быть уникальным, качественным, грамотным и неперенасыщенным ключевыми фразами. Также рекомендую создать XML карту сайта, о котором пойдет речь ниже и добавить его в панели веб-мастера обоих поисковых систем.

    Файлы robots.txt и Sitemap

    Текстовый файл robots txt включает в себя указания для ботов поисковиков. При этом он дает возможность запретить индексацию выбранных страниц сайта для заданной поисковой системы. Если будете его делать вручную, то важно, чтобы имя данного файла было прописано только прописными буквами и находилось в корневой директории сайта, большинство CMS генеририруют его самостоятельно или с помощью плагинов.

    Sitemap или карта сайта представляет собой страничку, содержащую полную модель структуры сайта в помощь «заблудившимся пользователям». При этом можно перемещаться со страницы на страницу без использования навигации сайта. Желательно создать такую карту и в формате XML для поисковых систем и вписать его в файл robots.txt для улучшения индексации.

    Об этих файлах можете получить более подробную информацию в соответствующих разделах, перейдя по ссылкам.

    Как запретить сайт к индексации?

    Управлять, в том числе и запрещать сайт или отдельную страницу к индексации, можно при помощи уже упомянутого выше файла robots.txt. Для этого создайте на своем ПК текстовый документ с таким названием, поместите его в корневой папке сайта и пропишите в файле от какого поисковика вы хотите скрыть сайт. Кроме того, скрыть контент сайта от ботов Google или Яндекса можно используя знак * . Вот эта инструкция в robots.txt запретит индексацию всем поисковым системам.

    User-agent: * Disallow: /

    Для сайтов на WordPress запретить индексацию сайта можно через панель управления. Для этого в настойках видимости сайта нужно поставить галочку «Рекомендовать поисковым машинам не индексировать сайт». При этом Яндекс, скорее всего, прислушается к вашему пожеланию, а вот с Google не обязательно, но могут возникнуть некоторые проблемы.

    www.seostop.ru

    Что такое поисковая индексация сайта и как её обеспечить

    Поисковая индексация сайта – это процесс занесения страниц в базу данных поисковиков. Говоря простыми словами, благодаря индексации поисковик узнаёт о вашем сайте, о том, что на нём есть, и какую ценность он представляет для посетителя.

    В этой статье вы узнаете всё о поисковой индексации сайта.

    Что такое поисковая индексация сайта

    Поисковой робот (то есть, виртуальная программа) посещает страницы сайта и читает информацию, которая на них написана. Потом она заносится в базы данных поисковиков и используется для ранжирования.

    Поисковой робот может узнать о новом сайте двумя способами: через ссылку на том сайте, который ему уже известен, или если вебмастер специально добавил свой сайт в индексацию. О том, как это сделать, узнайте здесь.

    Робот приходит периодически, поэтому поисковая индексация сайта всегда актуальна. То есть, если что-то изменится на страницах вашего проекта, или добавятся новые страницы, робот об этом скоро узнает и учтёт.

    Как сделать, чтобы поисковая индексация прошла успешно

    Для того чтобы поисковая индексация всегда проходила успешно и была качественной, необходимо соблюдать следующие требования:

    • Сайт должен быть всегда доступен. Если индексирующий работ придёт на сайт, а он будет недоступен, страница не попадёт в поиск. Если это будет повторяться часто, траст сайта понизится.
    • Сайт должен быстро загружаться. Если страницы сайта загружаются слишком медленно, то произойдёт то же самое, как если бы они были бы не доступны.
    • На страницах сайта должен быть качественный контент. Если контент не качественный, то поисковая индексация сайта приведёт к наложению фильтров на данную страницу, и она вылетит из поиска.
    • Чем чаще вы публикуете новые материалы, тем чаще приходит к вам поисковый робот, тем быстрее будут индексироваться страницы. Соответственно, чем реже – тем медленнее.

    Значение индексации сайта

    Итак, теперь понятно, что представляет собой поисковая индексация сайта, и как она происходит. Рассмотрим, какое значение она имеет.

    Как мы уже знаем, индексация позволяет поисковикам узнать о страницах сайта. Чем больше качественных страниц сайта в поиске, тем больше вероятность того, что посетитель попадёт к вам. Поэтому перед вебмастером стоят две главные задачи – писать часто качественные статьи и поддерживать нормальное, работоспособное техническое состояние сайта.

    Также по этой теме:

    wpuroki.ru

    Индексация сайта в поисковых системах. Индексация сайта в яндексе

    Здравствуйте, уважаемые пользователи блога Золотой серфер. Сегодня мы с вами поговорим о том как быстро индексировать сайт, и добавить его в поиск яндекса, гугла и других поисковых системах.

    Индексация сайта поисковиками

    Итак, давайте приступим. Для того, чтобы сайт появился в результатах поиска яндекс, гугл или в другой поисковой системе, для него должна быть произведена индексация сайта этой системой. Это происходит  следующим образом: индексирующий поисковый робот системы приходит к Вам на сайт и собирает всю информацию о ваших страницах, домене, хостинге и т.п.

    индексация сайта в поисковых системах

    А теперь самое интересное, как индексирующего робота поисковика, пригласить на сайт? Это делается очень просто, но предварительно мы должны открыть двери на сайт. В файле robots.txt. прописываем специальные директивы: что поисковому роботу разрешается индексировать сайт, а также что не разрешается. Иначе, поисковики, просто не будут на него заходить.

    Ну что, двери индексирующему роботу открыли, позовем его на сайт.

    Индексация сайта в Яндексе и Гугл

    • При помощи пинг сервисов. Пинг сервисы – это сервисы пингования сайта с целью оповестить поисковик о некоторых изменениях на ресурсе, а именно, публикации новой статьи и становления ее в очередь на индексация. В wordpress, пинг сервисы встроены в админке, вам просто нужно немного увеличить их количество. Для других бесплатных CMS, можно использовать плагины, или специальные программы пингаторы, ранее я о них уже писал.
    • При помощи сервиса поисковика аддурил. Аддурилка от английского add url — добавить url, добавление сайта в поисковые системы.
    1. Индексация сайта в яндексе — http://webmaster.yandex.ru/addurl.xml
    2. Гугле аддурилка —  http://www.google.ru/intl/ru/addurl.html
    3. Mail аддурилка — http://go.mail.ru/addurl
    4. Bing аддурилка — http://www.bing.com/webmaster/SubmitSitePage.aspx

    индексация сайта в яндексе

    • При помощи ссылок с трастовых сайтов. В этом методе мы предлагаем поисковому роботу самому найти сайт. Он обязательно его найдет, если на ваш сайт будут активные ссылки с других сайтов, которые уже индексировал робот по мимо индексации это еще и поднимет тИЦ сайта. Очевидно, что чем больше хороших ссылок будет на ваш сайт, тем больше будет объективная возможность того, что сайт индексируется очень быстро. Где найти такие ссылки? Можно договориться с площадками, но это долго и дорого. Можно пойти на биржи, но есть риск нарваться на плохих доноров. Надежнее найти хорошие ссылки в проверенном сервисе SeoPult. Он отбирает трастовых доноров для сайта с разных бирж, из соцсетей, и достигается лучшее сочетание цена-качество. База сервиса огромная, поэтому можно смело пользоваться его инструментами.
    • Через, веб-мастера поисковика. Здесь мы создаем аккаунты веб-мастеров.
    1. Яндекс веб-мастер — http://webmaster.yandex.ru
    2. Гугл вебмастер — https://accounts.google.com
    3. Bing вебмастер- http://www.bing.com/webmaster
    • При помощи специальной программы. Бесплатная программа под названием HWaddurl — вам нужно только добавить Url и нажать клавишу «Начать» дальше программа сделает все сама.
    • При помощи аккаунтов в социальных сетях, к примеру Твиттер или Вконтакте. Здесь, всего лишь достаточно распространить статью в социальной сети и индексация 2013 ей обеспечена.

    После проделанной работы по приглашению индексирующего робота, он обязательно зайдет к вам на сайт и произведет индексацию страниц.  И через несколько дней ваш сайт появится в результатах поиска, только скорее всего далеко не в первой десятке по ключевому запросу.

    goldserfer.ru

    Индексация сайта в поисковых системах

    СОДЕРЖАНИЕ

    Что такое индексация сайта и как она происходит

    Как проверить индексацию сайта

    Проверить индексацию сайта в Яндекс.Вебмастере

    Проверка индексации сайта в Google Search Console

    Индексация сайта в Майл (Mail.ru)

    Индексация сайта в Bing.com

    Сервисы проверки индексации сайтов

    Как ускорить индексацию сайта

    Быстрая индексация сайта в Яндексе

    Индексация картинок сайта

    Вопросы

    Как запретить индексацию сайта

    Как открыть сайт для индексации

    Когда последний раз проходил индексацию сайта

    Как добавить сайт на индексацию

    Что такое индексация сайта и как она происходит

    SEO продвижение сайта невозможно без индексации сайта. Чтобы повысить поведенческие факторы, необходимо, чтобы страницы были проиндексированы. Индексация сайта - что это такое простыми словами? У каждой поисковой системы есть свой собственный поисковый робот. Он может в любой момент зайти на сайт и «погулять» по нему, передавая все отсканированные документы (весь html-код, текст, изображения, ссылки и все остальное) в базу своей поисковой системы. Этот процесс принято называть «сканированием».

    Далее поисковая система анализирует полученные данные и выставляет ссылки на документы в поисковую выдачу. Именно это и подразумевается под фразой «индексация сайта».

    Ну а теперь давайте искать ответы на вопросы «как ускорить индексацию?» и «как улучшить индексацию?»

    Как проверить индексацию сайта в Google и Яндекс

    Существует несколько способов получения ответа на вопросы «а проиндексирована ли эта страница?», «сколько страниц проиндексировано?» и т.п. Рассмотрим некоторые из самых эффективных. Но для начала маленькое уточнение – обработка поискового запроса и формирование поисковой выдачи происходит на основе проиндексированных «копий» страниц, находящихся в базе данных поисковой системы, а не на основе имеющихся на сайте страниц. Ну а теперь о трех способах проверки индексации:

    1. Кабинеты поисковых систем Яндекс, Google, Mail.ru и т.д. Уж там-то со 100% вероятностью можно получить все необходимые данные.

    2. В Рунете полно подходящих онлайн-сервисов. Практически все они работают одинаково: указывается адрес сайта и получаем данные и вся история индексации сайта как на ладони.

    3. Ручная проверка с помощью оператора site:. Т.е. вбиваем в поисковую строку site:your-site.guru и тут же получаем и список проиндексированных страниц (в виде поисковой выдачи), и их количество.

    Проверить индексацию сайта в Яндекс.Вебмастере

    Заходим в https://webmaster.yandex.ru/ и логинимся. Далее переходим в «Индексирование сайта» - «Страницы в поиске» (как вариант - «Индексирование сайта» - «История» - «Страницы в поиске»). Здесь можно посмотреть статистику последних изменений в индексации и даже выявить исключенные из индекса страницы.

    Проверка индексации в сайта Google Search Console

    Чтобы проверить индексацию сайта в Google, нужно первым делом зайти в https://www.google.com/webmasters/tools/home, логинимся, после чего на боковой вкладке «Индекс Google» выбираем «Статус индексирования».

    Индексация сайта в Майл (Mail.ru)

    У поисковой системы Mail.ru тоже есть свой вэбмастерский кабинет - https://webmaster.mail.ru/. Заходим туда, логинимся и через форму go.mail.ru/addurl добавляем сайт на индексацию. Радует тот факт, что Mail.ru все-таки решила разрабатывать и продвигать свои собственные инструменты для вебмастеров.

    Индексация сайта в Bing.com

    Кто не в теме, поисковая система Bing была разработана корпорацией Microsoft (ей и принадлежит), чтоб заменить поиск Live Search. В России она пользуется очень малой популярностью. Однако, есть те, кто успешно получает с нее достаточно много поискового трафика. К слову, «пригласить поискового бота» можно и без регистрации – заходим на www.bing.com/toolbox/submit-site-url, вводим адрес сайта, капчу, кнопку «Отправить» и всё!

    Сервисы проверки индексации сайтов

    В Рунете существует достаточно большое количество сервисов по массовой проверке индексации сайтов. О некоторых из них мы и поговорим.

    1) Сервис http://www.seogadget.ru/sepages

    Здесь можно сразу закинуть столбиком список сайтов, которые необходимо проверить на индексацию. Причем в списке могут быть как исключительно имена доменов (например, your-site.go), так и ссылки на какие-то конкретные документы (например, your-site.go/content/domashka/) – это не имеет значения, т.к. имена доменов сервис «вычленяет» автоматически.

    Данный сервис умеет проверять индексацию в Google и Яндексе. Допускается до 250 проверок в сутки.

    2) Сервис http://xseo.in/indexed

    Если коротко, то сервис полностью аналогичен предыдущему, за двумя исключениями:

    • сервис проверяет индексацию «поштучно», т.е. за один заход можно проверить только один сайт;
    • можно проверить индексацию еще и в Bing’е.

    Как ускорить индексацию сайта

    Вряд ли у кого-то из вас возникнет вопрос «а зачем ускорять индексацию?», т.к. ответ на него и так очевиден: чтоб как можно быстрее предпринять все необходимые меры для завоевания всех топовых позиций по продвигаемым запросам.

    Самое первое, что нужно сделать – добавить сайт в Ваши вебмастер-кабинеты от Google и Яндекса. Если этого не сделать, то сайт будет индексироваться очень медленно и очень редко, оставляя вебмастера наедине со своими пестами о покорении хотя бы ТОП-10.

    Далее необходимо правильно настроить robots.txt, т.к. за одно посещение поисковый робот может отсканировать лишь определенное количество страниц. И будет очень обидно, если робот начнет сканировать страницы «технического» характера (например, страница регистрации на сайте, либо страница ввода логина-пароля), которым в индексе делать нечего. Чтоб этого не происходило, в файл robots.txt заносятся данные о том, какие страницы сканировать не нужно. О том, как составляется robots.txt, сейчас рассказывать не будем, т.к. у нас уже есть подробнейшая статья на эту тему.

    Следующим этапом является настройка xml-карты сайта (sitemap.xml). Она содержит в себе список всех страниц, которые должны быть проиндексированы поисковыми системами. Также можно указать приоритет индексирования, и даже интервалы. Чем чаще будет обновляться карта сайта – тем выше вероятность того, что поисковый робот примет решение заходить на сайт почаще (а нам именно это и нужно, верно?).

    Скорость работы сайта также может повлиять на индексацию, т.к. чем быстрее поисковый робот получает ответ на свой запрос – тем лучше, ибо если сказать роботу «у нас обед, приходите через час» - робот просто уйдет, причем надолго.

    Ошибки в коде также могут повлиять на индексацию, только негативно. Поэтому крайне важно, чтоб ошибок в коде не было совсем, т.к. вместо кода 200 (а именно такой код отдается при правильной работе) поисковый робот может получить код, например, 404, либо другой, свидетельствующий об ошибке.

    В большинстве случаев, описанных выше мер достаточно, чтоб сайт индексировался достаточно быстро.

    Быстрая индексация сайта в Яндексе

    Есть еще пара неочевидных способов ускорить индексацию нового сайта в Яндексе. Мы уже многократно упоминали о регистрации в вебмастер-кабинетах от Яндекса, Google, Bing и Mail.

    В данных кабинетах можно получать статистику о переиндексации страниц, а также получать уведомления о тех или иных ошибках, связанных с работой сайта.

    А вот теперь небольшой «лайфхак». В Яндекс.Вебмастере идем в «Индексирование» - «Переобход страниц» и указываем адрес только что созданной страницы. Да, мы не спорим, это не всегда срабатывает, т.к. поисковый робот Яндекса после уведомления действует на свое усмотрение и не всегда принимает решение о посещении этой страницы, но он о ней как минимум узнает. Поэтому мы рекомендуем пользоваться данным инструментом для ускорения индексация нового сайта или его страниц.

    Индексация картинок сайта

    В основном получение данной информации будет полезно в том случае, если Вы продвигаете, скажем, фотохостинг.

    Важно отметить, что у Google, Bing и Яндекса текст и картинки индексируются разными роботами. Быстрее всего картинки индексируются Google’ом. Яндекс индексирует картинки гораздо медленнее по сравнению с Google, но гораздо быстрее по сравнению с Bing, причем последняя медленно индексирует только рунетовские сайты. Не доверяет?

    Однако, есть один универсальный совет по оптимизации изображений – прописать в коде атрибуты alt=”” и title=”” для каждого изображения, т.к. они оба очень важны.

    Если навести на картинку, то может «всплыть» поясняющая текстовая подсказка, чтобы пользователю было проще понять «куда смотреть и что видеть». Текст этой самой подсказки и прописывается в атрибуте title=””

    Также бывают ситуации, когда изображение по каким-то причинам не загружается (может оно удалено, может в браузере отключена загрузка картинок – неважно). В этом случае вместо фотографии должен появиться текст, описывающий, что именно изображено на картинке, которая не загрузилась. Именно этот текст и прописывается в атрибуте alt=””.

    Как узнать, сколько картинок проиндексировано поисковиком?

    Ответ предельно прост: идем в интересующую нас поисковую систему, в поисковой строке вбиваем оператор site:, после двоеточия без пробела прописываете имя домена, подтверждаем запрос клавишей Enter, а затем переходим на вкладку «Изображения» или «Картинки» (в зависимости от поисковой системы). Вы увидите сами картинки, а также узнаете их точное количество.

    Для Яндекса это будет выглядеть вот так:

    А для Google – вот так

    Вопросы

    Как запретить индексацию сайта

    Иногда возникает необходимость установить запрет на индексацию сайта. Причин на это может быть несколько – технические работы на сайте, либо тестируется новый дизайн, и т.д.

    Способов сказать поисковым системам «не надо тут ничего индексировать» несколько.

    Самый первый, самый популярный и самый простой – через файл robots.txt. Достаточно просто прописать вот этот код:

    User-agent: *

    Disallow: /

    Теперь давайте разберем, что этот код означает.

    User-agent – это директива, в которой указывается имя поискового робота, для которого сформирован список правил. Если в качестве имени указана звездочка – значит список актуален для всех поисковых роботов (кроме тех, для кого составлены индивидуальные списки правил). Если же указать вместо звездочки имя поискового робота, то список правил будет действовать именно для него:

    Директива Disallow: предназначена для того, чтобы сообщить поисковым роботам, какие файлы/папки сканировать не нужно. В нашем случае одиночный слеш показывает, что запрещено индексировать весь сайт целиком.

    Бывают и особые случаи, когда требуется закрыть индексацию для всех поисковых систем, кроме какой-то конкретной. В этом случае у нас будет 2 списка (один из которых приведен выше на скриншоте), а второй – индивидуальный список для какого-то конкретного робота. В данном случае – робота поисковой системы Яндекс.

    User-agent: *

    Disallow: /

    User-agent: Yandex

    Allow: /

    С User-agent и Disallow разобрались, теперь разберемся с директивой Allow. Она является разрешающей директивой. Говоря простым языком, приведенный выше код файла robots.txt запрещает индексацию сайта всем поисковым системам, кроме Яндекса.

    Да, мы не спорим, не смотря на запреты, поисковые системы все равно могут проиндексировать сайт. Однако, это бывает настолько редко, что даже статистической погрешностью можно назвать с большой натяжкой.

    Второй способ – метатег robots. Для этого необходимо в код сайта добавить следующую строку:

    META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”

    ВАЖНО!!! Можно ее добавить таким образом, чтоб она прогружалась в код каждой страницы сайта без исключения, а можно добавить на какие-то отдельные страницы. Но в обоих случаях данный мета-тег должен быть размещен в области head html.

    По сравнению с первым, второй способ является более сложным для массового запрета на индексацию, и более легким для точечного.

    Третий способ – закрытие сайта через .htaccess

    Способ тоже довольно простой – добавить в файл .htaccess следующий код:

    Теперь поисковый робот не сможет без пароля получить доступ к сайту.

    Это самый верный способ закрыть сайт от индексации, но появляется другая проблема – возникают сложности со сканированием сайта на наличие ошибок, т.к. не каждый парсер умеет авторизовываться.

    Способ 4 представляет собой настройку заголовка ответа HTTP

    Данный способ так же достаточно эффективен для точечного запрета на индексацию. Работает это следующим образом – вместе с кодом ответа сервера отдается еще и X-Robots-Tag заголовок с пометкой noindex. Получив такой «сопроводительный» ответ, поисковая система не будет индексировать данную страницу.

    При необходимости можно отдавать несколько X-Robots-Tag заголовков. В данном случае их два noarchive и unavailable_after.

    При необходимости можно перед директивой указывать еще и поискового робота, которому адресована директива, да и сами директивы можно писать через запятую. Например, вот так:

    Ну и, конечно же, Вы уже и сами догадались, что при отсутствии имени юзер-агента команда будет выполняться всеми роботами. Т.е. директивы можно по-разному комбинировать для разных поисковых роботов.

    Как открыть сайт для индексации

    Ответ ранее уже прозвучал – с помощью директивы Allow (вспомните пример, когда с помощью robots.txt мы закрывали от индексации сайт для всех поисковых систем, кроме Яндекса).

    Еще раз:

    Allow: / разрешает индексацию сайта, а Disallow: / запрещает.

    Когда последний раз проходила индексация сайта

    Посмотреть и историю обхода страниц поисковыми роботами Google достаточно просто. Для начала в поисковую строку вбивается оператор site:, после двоеточия без пробелов указывается имя Вашего домена, затем кликаем в «Инструменты» и выбрать в одном из столбцов подходящий период. Если выбрать «за последние 24 часа», то можно получить либо список станиц, которые были проиндексированы за последние 24 часа, либо получить «Ничего не найдено». Это значит, что за последние 24 часа переиндексации Вашего сайта не было.

    В Яндексе же сделано все еще проще – вся необходимая информация и история доступна в Яндекс.Вебмастере:

    Как добавить сайт на индексацию

    Данная информация будет полезна всем, кто только что создал свой первый сайт, т.е. чем быстрее проиндексируется сайт – тем быстрее Вы получите свой первый поисковый трафик.

    Добавление сайта в Google

    Для начала переходим по ссылке http://www.google.com/addurl/?continue=/addurl, логинимся (при необходимости), вводим URL, проходим капчу (в данном случае – ставим галочку «Я не робот» и проходим 1-2 задания с картинками), и жмем «Отправить запрос».

    Затем Вам будет выдано вот такое сообщение. Оно означает «ОК, сайт принят к сведенью, скоро мы туда заглянем».

    Если с сайтом все в порядке, то индексация произойдет очень быстро.

    Добавление сайта в Яндекс

    Первым делом заходим на https://webmaster.yandex.ru/, регистрируемся, затем переходим в «Индексирование» - «Переобход страниц» и добавляем туда имя домена Вашего сайта. Всё.

    Добавление сайта в Bing

    Тут все еще проще – идём сюда http://www.bing.com/toolbox/submit-site-url, вводим имя домена, капчу, и все – готово! Регистрация при этом не требуется.

    ВАЖНО!!! На данный момент продвигать в Bing русскоязычные сайты бессмысленно, в отличие от англоязычных. Это связано с тем, что в России крайне мало кто знает про поисковую систему Bing.

    Добавление сайта в Поиск Mail.ru

    Данная процедура тоже достаточно проста – переходим в кабинет вебмастера mail.ru по ссылке http://go.mail.ru/addurl, регистрируемся/логинимся, затем указываем имя домена сайта, вводим капчу и жмем «Добавить».

    Затем на экран будет выведено вот такое сообщение:

    Готово!

    P.S. Индексация сайта на Wordpress, Wix, Joomla, Ucoz или на любой другой CMS или конструкторе - ничем не отличается. Все зависит от набора правил, которые прописаны в файле robots.txt или же в самом коде страниц. Более подробно узнать о том, как правильно настроить файл robots.txt, а также как открыть или закрыть страницы от сканирования в Яндекс и Google прочтите ЭТУ статью! Также, в статье вы найдете готовые файлы robots для правильной индексации сайтов WordPress, Joomla, Wix в Яндексе и Гугле.

    stokrat.org