Борьба за трафик. Как вывести сайт из-под спам-фильтра Google (Первая Часть). Как вывести сайт из под фильтра


Как вывести сайт из под фильтра? Новые алгоритмы Google и Яндекс.

Не так давно ведущие поисковые системы Гугл и Яндекс представили новые поисковые алгоритмы: Гугл Панда и Гугл Пингвин (Google), Снежинск и Рейкьявик (Яндекс). В частности, были запущены не только новые, но также внесены изменения в уже существующие поисковые алгоритмы. Если раньше веб-мастера и оптимизаторы довольно вяло реагировали на изменения в текущих алгоритмах, то последние новшества фактически поменяли всё представление о современном SEO.

Раньше даже новички, имея определённый бюджет, могли закупить большое количество ссылок по нужным запросам, сделать самую «нехитрую» оптимизацию, и сайты уверенно шли в ТОП. Конечно, после каждого апдейта позиции «штормило», но это обычно больше касалось Яндекса, Гугл же был более стабилен. Большую популярность имели темы на подобии: «Как вывести сайт из под фильтра АГС Яндекса?» и т.п.

Яндекс и Гугл постоянно твердили, что делайте сайты для людей, развивайте, наполняйте качественным контентом и т.п. Но всё это было написано в рекомендациях поисковых систем и 10 лет назад, никто особо не обращал внимания на требования, которые предъявлялись к сайтам. Тем более старые поисковые алгоритмы «не умели» наказывать за невыполнение существующих «правил». Поэтому большинство начинающих сайтостроителей думали только о том, как бы наделать побольше сайтов (сателлитов) для заработка и не попасть под фильтр, (АГС и т.д.,) это волновало многих.

Как изменилось продвижение сайтов (SEO) после введения новых поисковых алгоритмов (Гугл Панда, Гугл Пингвин и др.)?

Методом проб и ошибок, поисковые алгоритмы научились отсеивать и выбрасывать из поиска откровенно плохие сайты (ГС). Право на жизнь получили только действительно качественные и с умом сделанные «сателлиты», ну или просто везунчики.

Всё логично, раз плохим сайтам жизни нет, для них уже есть свои «фильтры», то пришло время взяться за более хорошие сайты. Количество мест в ТОПе строго ограничено, а сайтов много. Огромное количество страниц оптимизированы (в большинстве своём некачественно, но всё же), даже новички научились принудительно пихать в тексты нужные ключи, выделять их жирным, дублировать в заголовках, всё как «учили» на SEO форумах. Все хотят в ТОП, от мала до велика!

Но вот беда, пока веб-мастера и оптимизаторы «дерутся» за «место под солнцем» в поисковой выдаче, страдают рядовые пользователи. Простыми словами, люди, для которых и делаются сайты, которые ищут нужную информацию (совершают покупки и т.д.), о них некоторые владельцы сайтов совсем забыли.

И поисковые системы решили создать алгоритмы (фильтры), которые смогли бы отделять качественные, полезные и интересные страницы (сайты), от некачественных. Я уже говорил о важности пользовательских факторов (поведенческие данные) в построении поисковой выдачи. Теперь пользователи получили возможность влиять на позиции тех или иных страниц в поиске, даже не зная об этом.

Плюс добавились специальные фильтры, которые накладываются на страницы и сайты, продвигаемые «неправильным» путём (ссылочный спам, неестественные и нерелевантные ссылки, переоптимизация страниц и т.д.). И теперь у многих владельцев сайтов начала болеть голова о том, как вывести сайт из под фильтра Гугла или Яндекса. Если раньше «чудил» в основном только Яндекс, а Гугл многое прощал, то теперь ситуация изменилась. Многие отечественные оптимизаторы уже даже счастливы, что в Рунете нет монополии Google и при «немилости» последнего, можно поискать «счастья» в Яндексе.

Представители поисковых систем выделили два вида продвижения сайтов: черное SEO и белое SEO. Естественно, первый вид «раскрутки» сайтов запрещается и наказывается фильтрами, а второй даже приветствуется (к примеру, Гугл прямо заявил о пользе белой оптимизации).

Каким образом работают современные поисковые алгоритмы, в частности последние новинки от Google Penguin и Google Panda, я уже писал ранее. Кому интересно, перейдёт по ссылкам и прочитает: какие сайты и за что будут наказаны соответствующими фильтрами.

Итог получается простой. Владелец сайта вкладывает деньги в продвижение своего сайта, но если он делает это «по старинке» и «не правильно», эффект может быть даже обратным. Сайт будет не повышаться в поиске, а даже понижаться. От последних изменений поисковых систем особенно сильно пострадали сайты, которые продвигались исключительно за счёт ссылочных бирж.

Причём если ссылки закупались единовременно и в большом количестве (с точными вхождениями ключей), то фактически, люди, которые это делали, за свои же деньги понизили собственные сайты в поисковой выдаче. Печально, но, правда. А ведь так хорошо звучало: «положи деньги на счёт, и наш сервис продвинет Ваш сайт в ТОП на автомате». Это работало, но теперь такой «автоматизм» должен быть очень «умным» или он обречён на быструю «смерть». Уверен, что без подбора и контроля закупаемых ссылок вручную, эффект от продвижения будет минимальным. Но о том, какие ссылки «рулят» я уже говорил в других статьях и скажу ещё не раз.

Как вывести сайт из под фильтра Гугла или Яндекса?

Самое интересное, что у меня после введения одного из новых алгоритмов произошла, казалось бы, беда: трафик упал почти на 70%. А сайт очень хороший, как говорится, для людей. Постоянно обновляемые материалы и т.д. Я сразу написал в тех. поддержку и, о чудо, после следующего апдейта трафик не то что вернулся, а даже вырос.

Вывод тут только один: не нужно кричать, что алгоритм «глупый» или не правильный. Ведь он тестировался на миллионах страниц сайтов. Эти самообучающиеся «машины» знают о наших сайтах даже больше чем мы сами. Поэтому, если Вы считаете, что «наказание» (наложение фильтра) для Вашего сайта случайное, и уверены в своём сайте, напишите в тех. поддержку. Может, повезёт, и Вам даже что-то полезное подскажут, а, может, даже внесут Ваш сайт в «белый» список и вручную присвоят ему первое место. Я, конечно же, шучу про белый список и про первое место в выдаче.

Но знаю одно, просто жаловаться на «неправильность» действий алгоритмов – путь в никуда. Если боитесь писать представителям поисковых систем или разбираться в причинах наложения «фильтров» самостоятельно, значит, знаете, что у Вашего сайта действительно есть «проблемы». Тогда не нужно искать заветный ответ на вопрос: «Как вывести сайт из под фильтра»?

Я пробовал «чит-коды» и сочетание клавиш Ctrl+Alt+F, самое удивительное, что не помогает. Хотя если Вас очень интересует вопрос: «Как вывести сайт из под того или иного современного фильтра», рекомендую вам пошаговый практический видеокурс на эту тему http://ruslansavchenko.com/seo/kak-vyvesti-sajt-iz-pod-filtrov.html.

Главное не обманывать самих себя. Все мы понимаем, что поисковые системы выпускают новые алгоритмы не для того, чтобы наказывать сайты, а для того, чтобы улучшить качество поиска. Хорошим сайтам даются «бонусы», а плохим «минусы». И кто-то всегда будет в выигрыше, а кто-то в проигрыше, ведь ТОП поисковой выдачи не «резиновый». Но если какая-то страница опустилась в поиске, значит, на её место пришла другая страница, и это произошло не случайно.

Как же всё-таки снять фильтр с сайта, если он был наложен?

Не стоит забывать, что современные алгоритмы накладывают фильтры не только на сайты в целом, но и на отдельные страницы в частности. Поэтому не стоит думать, что если у Вас сильно упала посещаемость, то Ваш сайт попал в «чёрный» список. Вполне возможно, что какая-то часть страниц Вашего сайта была переоптимизирована. Возможно, на них закупались «спамные» ссылки.

По крайней мере, первый пункт Вы точно можете исправить. Сделать «белую оптимизацию», которую приветствуют разработчики Гугла, не очень сложно. Кстати, в ближайшее время я представлю небольшой видеокурс по эффективной «белой» оптимизации, которую «любят» все поисковые системы. Но и сейчас в сети достаточно информации на эту тему, главное отличить практический опыт от переписывания старых и уже неработающих советов с SEO форумов.

Но мы немного отвлеклись. Если Вы сделаете страницы для пользователей, уберёте ненужную переоптимизацию, то фильтр будет снят уже после следующего апдейта. Об этом говорил ведущий разработчик качества поиска Google Мэтт Каттс. Даю ссылку на его видеоинтервью (с русскими титрами) под названием: «За что на сайт накладываются фильтры Гугла и как можно снять фильтр с сайта?».

Кстати представители Яндекса также не раз сообщали, что их новые алгоритмы также накладывают фильтры на сайты не навсегда. Тоесть, Вам требуется просто исправить «грехи» Вашего сайта (или конкретных страниц) и получить «амнистию». Кстати вывод сайта или конкретных страниц из под фильтра — это очень полезный опыт. Когда уже примерно знаешь за какие «грехи» пострадал сайт и смог их исправить, тем самым «реабилитировать» сайт в глазах поисковых алгоритмов, это даёт огромную «пищу для размышлений».

В 2010 году я получил опыт вывода сайтов из под фильтра АГС — (какой-то то там номер, их было несколько). Это были сайты моего друга, и он просто попросил меня поэкспериментировать, так как знал, что мне интересна эта тема. Тогда у меня получилось вывести старый сайт (из Яндекс Каталога кстати) и ещё один сайт-сателлит. Но это отдельная история, о ней как-нибудь в другой раз.

Доведу до конца главную мысль. Если сайт Вам дорог, Вы вкладываете в него свою душу и труд, то «боритесь» за него в случае «неудач», развивайте его дальше, и ему не будут страшны никакие фильтры. Не забывайте, что с увеличением возраста поисковые системы начинают всё больше доверять Вашему сайту. Особенно если у домена не меняются владельцы.

Самая большая ошибка многих веб-мастеров в том, что они изначально уверены: их сайт качественный, он настоящий СДЛ (сайт для людей), ведь они его сами сделали! Но на поверку оказывается, что их сайты не очень удобны и полезны для людей. И будем смотреть правде в глаза, очень многие сайты созданы только для заработка на рекламе и на ссылках, а о пользователях никто и не думал.

Причём это касается не только новичков. Меня часто просили «оценить» сайты других людей, я давал советы по улучшению, критиковал, но к своим интернет-ресурсам относился всегда лояльно.

Но как же я был удивлен, когда поставил на многие свои сайты Яндекс Метрику и Гугл Аналитикс. После того как я начал уделять время и детально анализировать показания вебвизоров (видео анализ поведения пользователей на сайте), я понял, что не всё так хорошо, как на сайтах в целом, так и на отдельных страницах в частности. Нет лучших критиков, чем реальные посетители Ваших страниц. Ведь сайты делают именно для них, и нам важно мнение людей, которые приходят на наш сайт.

Очень часто хочется продвинуть какую-то страницу сразу по нескольким запросам. Но в итоге, дать полноценный ответ на каждый из запросов в рамках одной страницы (статьи), не получается. Как следствие, пользователи приходят из поиска, видят что их «обманули», и уходят обратно в поиск. Такие действия называются «отказами» и за большое количество подобных отказов, а также, если люди проводят очень мало времени на странице и на сайте в целом, поисковые алгоритмы понижают страницы в поиске.

Я очень не люблю слово «трафик», оно какое-то очень «неживое». Мне больше по душе слова: люди, посетители. Но многие веб-мастера забывают, что их сайты читают реальные люди, а не роботы. Когда Ваш сайт посещает большое количество людей, Вы должны относится к ним, как к Вашей аудитории, Вы должны пытаться их заинтересовать, дать им нужный ответ, предоставить то, зачем пользователи пришли на Ваш сайт. Тогда люди будут Вам благодарны и, скорее всего, сохранят Ваш сайт в закладки и вернутся к Вам снова. Кстати, отмечу, что приход из закладок и по другим внешним ссылкам (к примеру, из социальных сетей) также положительно влияют на позиции в поиске.

Более подробно о правильной «работе» с посетителями Ваших сайтов я поговорю в другой раз. Сейчас я хотел донести до Вас самое важное, смотрите на Ваш сайт глазами пользователей, разберитесь, почему они уходят с сайта и что им не нравится. Поверьте, поисковые алгоритмы всё лучше начинают понимать качество и структуру страниц web-сайтов. И посетители Вашего сайта им в этом помогают.

У Вас может быть потрясающий дизайн, но без хорошего контента вряд ли пользователи долго задержатся на сайте. Также у Вас может быть супер уникальный и интересный авторский контент, но оформление сайта настолько ужасное, меню такое непонятное, что люди просто не могут «добраться» до нужного им содержания.

Задумайтесь об этом, начните анализировать Ваш сайт «глазами» Ваших посетителей (клиентов). Если у Вас коммерческий сайт и Вам не хватает знаний, обратитесь к специалистам, либо изучите соответствующие курсы. Поверьте, все Ваши старания в итоге многократно окупятся.

P.S. Конент – король Интернета. Так было и так будет всегда. Только раньше поисковые системы плохо отличали качественный и некачественный контент, а теперь их практически бесполезно «обманывать». За «нечестную» оптимизацию на страницы будут наложены фильтры, а в худшем случае, сайт может быть вообще исключен из поиска.

Желаю, чтобы Ваши сайты никогда не попадали под фильтры поисковых систем и всегда были на первых позициях в поиске. Буду рад Вашим мнениям в комментариях.

 

ruslansavchenko.com

Борьба за трафик. Как вывести сайт из-под спам-фильтра Google (Первая Часть)

В марте прошлого года мы неожиданно получили письмо от команды Google по борьбе со спамом.

В письме говорилось, что некоторые ссылки, ведущие на наш сайт rusonyx.ru, не соответствуют рекомендациям по обеспечению качества. Поэтому, к нашему сайту были применены меры, которые в последствие повлияли на входящий бесплатный трафик с поиска Google. Он резко снизился, а точнее, упал ниже плинтуса.

Мы с грустью смотрели на эту картину. Но делать нечего – нужно было срочно что-то предпринимать. Спустя год, потратив 300 человеко-часов, нам удалось вытащить сайт из бана. В этой статье я постараюсь подробно описать, как нам это удалось, каких это стоило усилий и какие шаги нужно предпринимать в такой ситуации.

Изучение проблемы

Сначала я решила изучить все форумы по этой проблеме и хелпы Гугла. Но в итоге поняла, что четких и структурированных рекомендаций по этой теме нет. Проще говоря, никто толком не мог конкретно сказать, что нужно сделать, чтобы Google снял с сайта фильтры.

Тогда я стала искать хоть какую-то литературу с успешными кейсами. И наткнулась на англоязычную книгу «The complete guide to unnatural links recovery». Книга платная и стоит $90, но я все же ее купила и прочитала от корки до корки. После прочтения появилось понимание того, что нужно делать.

В этой статье я постараюсь описать весь алгоритм действий, который нужно проделать для отмены санкций Google. Это не просто изложение прочитанного. Здесь описан мой опыт вытаскивания сайта из под спам-фильтров Google.

Чего делать точно не стоит

Не рекомендую писать гневные письма в Google, тем более что это не решит проблему. В Гугле работают такие же люди, как и мы с вами, которые просто выполняют свою работу. Не надо халтурить и отправлять запросы в Google на пересмотр, не поработав с внешними ссылками на ваш сайт. Сотрудники Google должны видеть ваши страдания :) Фильтр – это наказание и вы должны сильно попотеть, вытаскивая сайт из бана. Это часть плана и вы либо принимаете правила игры, либо остаетесь без натурального трафика из поисковой системы.

Нельзя просто так взять и выйти из-под бана Google. Нам потребовалось на это полгода усердной работы. По самым скромным подсчетам на это ушло около 300 человеко-часов. Надеюсь, что вам удастся решить проблему быстрее, благодаря этой статье.

Итак, вы обнаружили резкое снижение трафика с Google. Как понять, что это именно из-за санкций, которые поисковик применил к вашему сайту?

Ваш сайт попал под спам-фильтры?

Это можно выяснить, если зайти в панель для веб-мастеров Google Webmaster Tools. В меню слева выберите «Поисковый трафик», далее «Меры, принятые вручную».Если к вашему сайту применялись фильтры, то вы увидите сообщение об этом. Наглядно показать вам не могу, так как с нас эти меры Google снял до того, как я догадалась сделать скриншот.

Если меры не применялись, то сообщение будет таким:

Первый шаг: ищем причину

Прежде всего я выяснила, что это за ссылки, которые не соответствуют рекомендациям по обеспечению качества Google. В руководстве для веб-мастеров Google подробно описаны методы работы со ссылками, которые использовать не рекомендуется. Подумайте, что могло стать причиной. Может быть, вы нанимали агентство по SEO – продвижению или сами закупали ссылки и статьи через биржи ссылок. Или, может, вы используете схемы обмена ссылками.

Мы в 2011 году работали с агентством, которое продвигало наш сайт за счет покупки вечных ссылок и SEO-статей. И несмотря на то, что в январе 2012 года мы расторгли с ними договор и целый год не продвигали сайт при помощи SEO-методов, в марте 2013 Гугл прислал нам письмо «счастья».

Изучив рекомендации Google, я выявила несколько основных причин, из-за которых, скорее всего, наш сайт мог отправиться в бан:

  1. SEO-статьи и вечные ссылки
  2. Ссылки в SEO –каталогах и SEO-закладки
  3. Большое количество сквозных ссылок на сторонних не тематических ресурсах
  4. Спам-ссылки, в т.ч. форум-спам
  5. Дорвеи

Второй шаг: Выгружаем внешние ссылки

Для того, чтобы начать работу по выявлению некачественных ссылок и их устранению, нужно создать файл и выгрузить все внешние ссылки, ведущие на ваш сайт. Обратите внимание, что файлы, лучше всего создавать в GoogleDocs. Основная причина этого требования Гугла в том, что в других файлах могут содержаться вирусы и вредоносные программы. Поэтому, MS Ecxel файлы сотрудники Гугл проигнорируют, а вот в таблицах Google Docs примут.

Где взять эти внешние ссылки? Для этого используйте инструменты GoogleWebmasterToolsКак выгрузить ссылки. Заходим в панель WebmasterTools слева в основном меню, выбираем «Поисковый трафик», далее «Ссылки на ваш сайт». Нас интересует раздел «Наиболее часто ссылаются». Нажимаем «Дополнительно» и загружаем последние ссылки. Напомню, что при выгрузке ссылок выбирайте вариант «Документы Google».

У вас должна получиться таблица со списком ссылок. Для удобства работы, отсортируйте ссылки в алфавитном порядке.

Третий шаг: Создание таблицы ссылок

Откройте созданную Google таблицу с выгруженными ссылками. В столбце «В» указана дата, когда Google обнаружил эту ссылку. Назовите его «First Discovered» («Дата обнаружения ссылки»).

Создадим еще несколько столбцов, которые нам понадобятся (далее я объясню):

  • C – Needs to be removed? (Нужно удалить?)
  • D – Disavow? (Отклонить?)
  • E — Contact e-mail found on site (Контактный e-mail, найденный на сайте)
  • F – First name of contact (Контактное лицо)
  • G – Whois e-mail (e-mail, найденный в whois)
  • H — First name of Whois contact (Имя владельца e-mail, найденного в whois)
  • I – E-mail reference # (порядковый №, указывающий на отправленный e-mail)
  • J – Url of contact form (Ссылка на контактную форму, найденную на сайте)
  • K – Contact form reference # (порядковый №, указывающий на отправленное письмо через контактную форму)
  • L – Comments (Комментарии).

В итоге у вас должна получиться такая таблица:

Четвертый шаг: Создание списка статусов

У меня получилась таблица с огромным списком ссылок – порядка 12000. Задача состояла в том, чтобы проверить каждую ссылку из выгруженного списка и присвоить ей тот или иной статус. Цель – определить, какие из ссылок, в последствие, нужно удалять, а какие оставить. В процессе работы со ссылками, каждой из них в столбце «С» — «Needs to be removed» нужно присвоить один из следующих статусов:
  • YES – SEO article (ДА – SEO статья)
  • YES – SEO directory (ДА – SEO каталог)
  • YES – SEO bookmark (ДА – SEO закладка)
  • YES – Forum spam (ДА – Форум-спам)
  • YES – Spam (ДА – Спам)
  • YES – Link made for SEO purposes (Ссылка созданная для целей SEO)
  • NO – Nofollowed (НЕТ – не индексируемая)
  • NO – Page not found (НЕТ – Страница не найдена)
  • NO – Link not found (НЕТ – ссылка не найдена)
  • NO – Site not visited due to malware warning (Не удалось зайти на сайт из-за предупреждения о вредоносных программах)
  • NO – Valid directory (НЕТ – Полноценный каталог)
  • NO – Natural link (НЕТ – Естественная ссылка)

Следующему столбцу «D» — «Disavow?» («Отклонить?») мы тоже в процессе работы над ссылками присвоим статусы:

  • YES (ДА) – если хотим отклонить весь домен целиком
  • NO (НЕТ) – отклонять не нужно
  • YES – url (ДА – url) – если не хотим отклонять весь домен, а только отдельную ссылку или ссылки на этом домене.

О Disavow. Это инструмент Google, с помощью которого можно отклонить ссылки. По сути вы просите Google не принимать во внимание некоторые ссылки при оценке вашего сайта – сделать их неиндексируемыми. Инструмент находится в панели для веб-мастеров Google (Webmaster Tools). На первом этапе достаточно просто понять, для чего этот инструмент нужен. Во второй части я расскажу как им воспользоваться.

Шаг пятый: Подготовка браузера

Перед тем как начать работу со ссылками, нужно подготовить браузер. Я пользовалась Google Chrome. Мне он показался самым удобным в плане поиска ссылок.

Для быстрого поиска Nofollow ссылок, можете установить приложение MozBar. Приложение позволяет выделять цветом индексируемые /неиндексируемые ссылки. Также можно настроить отображение Page Rank, Domain Authority и прочие полезные штуки.

Также рекомендую установить приложение Web Developer Toolbar, для того, чтобы отключать Java Script, куки и все такое. Поверьте, сайты вам будут попадаться разные: с навязчивым контентом, всплывающими окнами, редиректами и прочей гадостью.

Шаг шестой. Работа со ссылками

Это основной шаг, он же и самый трудоемкий. Задача этого шага состоит в том, чтобы открыть и проверить каждую ссылку из списка, найти на странице ссылки на ваш сайт, определить к какому статусу они относятся, и отразить статус в Google таблице.

Итак, открываем первую ссылку.

Как искать ваши ссылки на странице Иногда ссылку на странице трудно найти. Для этого используйте исходный код страницы. Открываете исходный код, задаете в поиске ваш домен (Ctrl+F) и если ссылки на ваш сайт есть, то они будут выделены цветом. В Google Chrome искать ссылки удобнее всего, если ссылок на странице много.

Если ссылок на ваш сайт на странице найти не удалось, то смело ставьте статус «NO – Link not found» (НЕТ – ссылка не найдена) в столбце «С» — «Needs to be removed». А в столбце «D» — «Disavow?» («Отклонить?») – определите статус по ситуации (Да, нет или да – url).

Также может быть, что к ссылке применен тег «Nofollow». Это означает, что ссылка не индексируется поисковыми системами и удалять/отклонять ее нет смысла. Поэтому, смело ставьте в столбце «С» статус «NO – Nofollowed» (НЕТ – не индексируемая) и в соседнем столбце «D» — NO (НЕТ).

Если вы сомневаетесь, стоит ли удалять ссылку, то отложите ее, указав в комментариях «Возможно», чтобы потом снова к ней вернуться или быстро найти все такие ссылки и пересмотреть, если вдруг после отправленного вами запроса на пересмотр, Google пришлет отказ.

Если страница не найдена

Если перейдя по ссылке, страница не отображается, то напротив этой ссылки в столбце «С» — «Needs to be removed» ставьте NO – Page not found (НЕТ – ссылка не найдена), а в столбце «Disavow?» («Отклонить?») укажите YES (ДА) или YES – url (ДА – url). Зачем такие ссылки отклонять? У меня был случай, когда Гугл отказал в снятии мер, в том числе, и из-за того, что обнаружил неестественные ссылки на страницах, которые не открывались ранее, но вскоре заработали снова и ссылки на наш сайт стали активны.

Найдена неестественная ссылка

Если вы нашли на странице неестественную ссылку, к которой присвоили один из следующих статусов в столбце «С»,

  • YES – SEO article (ДА – SEO статья)
  • YES – SEO directory (ДА – SEO каталог)
  • YES – SEO bookmark (ДА – SEO закладка)
  • YES – Forum spam (ДА – Форум-спам)
  • YES – Spam (ДА – Спам)
  • YES – Link made for SEO purposes (Ссылка созданная для целей SEO)

ищите контакты веб-мастера или владельца домена на котором размещена такая ссылка. Это может быть e-mail или контактная форма для связи. Заносите контактные данные в таблицу в соответствующие колонки (столбец «Е», «F» или «J»).

Если на сайте нет контактов, то вы можете найти e-mail владельца домена в базе Whois. Я пользовалась этим ресурсом whois-service.ru.

Если контактные данные скрыты, то всегда есть возможность отправить запрос владельцу через регистратора данного домена (строка «admin — contact»).

Заносите контактные данные, найденные через Whois, в таблицу в соответствующие колонки (столбец «G», «H» или «J»)Столбец «D» — «Disavow», пока оставьте. Статусы в этом столбце к таким ссылкам, вы будете проставлять позднее – после связи с веб-мастером или владельцем сайта. А пока пусть эти ячейки останутся пустыми.

Шаг седьмой: письма веб-мастерам

Если у вас не так много ссылок, которые нужно проверить, то пишите письма веб-мастерам после того, как работа над всем списком ссылок проделана (Шестой шаг).

Так как у меня был огромный список ссылок (12000), то я отправляла письма сразу, как только находила ссылки, подлежащие удалению.Важная деталь. Отправлять письма веб-мастерам нужно с почтового ящика на gmail. Рекомендую заранее создать отдельный ящик. Вы можете использовать и существующий, но, на мой взгляд, с отдельным работать проще. Я, например, отправляла по нескольку писем веб-мастерам в день и получала по нескольку ответов, соответственно. Поэтому создала отдельный ящик.

Итак, у вас есть почтовый адрес на gmail, с которого вы будете отправлять письма веб-мастерам, владельцам доменов и т.д.

Ниже текст письма с обращением, которое я отправляла. Вы можете взять его за основу.

Здравствуйте!

Меня зовут Анна, я представляю компанию Русоникс, которая является владельцем домена www.rusonyx.ru

Дело в том, что некоторое время назад мы получили уведомление от Google о том, что наш сайт попал в бан-списки из-за некоторого ряда ссылок. На данный момент мы проводим работу по выявлению таких ссылок и их устранению.

У меня большая к вам просьба. Пожалуйста, поставьте тег «nofollow» или удалите ссылки на вашем сайте, которые ссылаются на наш (www.rusonyx.ru ).

Вот страницы с вашего сайта, где есть ссылки на нас:

………

Заранее спасибо!

Пожалуйста, как только вы это сделаете, сообщите нам ответным письмом. Будем вам очень благодарны и признательны за оказанную помощь!

С уважением,

Мой e-mail на домене rusonyx.ru:

-------------------------------------

Как задокументировать доказательство отправки писем

Все просто. Создайте 2 новых документа в Google Docs:

  1. Первый назовите «Оригинальные коды отправленных писем»
  2. Второй — «Скриншоты запросов, отправленных с контактных форм»

В первый документ вы будете переносить оригинальные коды отправленных писем, и присваивать им номера, которые будут отражены в Google таблице в столбце «I» — «E-mail reference #» (№ Ссылки на отправленный e-mail). Выглядеть это будет так:

В документе «Оригинальные коды, отправленных писем»

В Google таблице

Не нужно копировать весь код письма, достаточно той части, где указан отправитель, получатель, дата отправки и тема письма. Как открыть код письма. Откройте отправленное письмо, и справа в выпадающем списке выберите «Показать оригинал».

Второй текстовый документ «Скриншоты запросов, отправленных с контактных форм». Сюда нужно заносить скриншоты (по аналогии с кодами писем) и присваивать им номер, который будет отражен в основной таблице в столбце «Contact form reference #» (№ Ссылки на отправленное письмо через контактную форму). Выглядеть это будет так:

В документе «Скриншоты запросов, отправленных с контактных форм»

В Google таблице

Шаг восьмой: Работа с ответами на запросы

Есть 3 варианта развития событий, после того, как письма с запросами отправлены:

Первый вариант. Вам ответили на запрос и сообщили, что ссылка удалена или к ней применен тег nofollow. В этом случае:

  • В основной таблице в столбце «L» с комментариями укажите, что ссылка удалена/применен тег nofollow и поставьте дату;
  • помечаете строку зеленым цветом;
  • в столбце «D» — Disavow ставьте статус «NO».

Вот так это выглядит в таблице

Второй вариант. Вам пришло письмо с отказом удалить ссылку.

  • Помечаете в комментариях к таблице в столбце «L» факт отказа;
  • копируете исходный код ответа в файл «Оригинальные коды, отправленных писем»;
  • даете № ссылки на этот исходный код в Google таблице в столбце «L» с комментариями;
  • Всю строку помечаете красным цветом;
  • в столбце «D» — Disavow ставьте статус YES (ДА) или YES-url (ДА-url ссылка).

Третий вариант. Вы не получили ответа.

  • В комментариях к таблице в столбце «L» укажите этот факт;
  • В столбце «D» — Disavow ставьте статус YES или YES – url;
  • Всю строку помечаете красным цветом.

Ну вот, это все, что нужно сделать на первом этапе. Второй этап работы касается подготовки и отправки отчета на пересмотр в Google. Но этот этап требует отдельной статьи, которую я буду писать, пока вы работаете над первым.

habr.com

Как мы вывели сайт из-под фильтра за переоптимизацию

Продолжаю делиться кейсами по успешному лечению сайтов от санкций. Уже давно не секрет, что я работаю с командой, поэтому сегодня представлю кейс своей коллеги Анны. Я работаю с Аней уже много лет, и пока именно у нее в компании самый высокий процент вывода сайтов из-под фильтров. Недавно на нашем корпоративном блоге она выложила два кейса по лечению сайтов от переоптимизации, об одном из которых пойдет речь в этой статье.

Проблема – фильтр за переоптимизацию

Клиент – владелец туристического инфоресурса с описаниями вариантов жилья и возможностью бронирования гостиниц в Анапе. Впервые обратился к нам вначале апреля.

Проблема – сайт резко потерял видимость в Яндексе (вылетел из топа на 20-30 позиции), из-за чего поисковый трафик снизился почти на 80%. Пессимизация подтвердилась ответом Платона:

….На Вашем сайте были проиндексированы страницы, содержащие списки поисковых запросов, то есть фрагменты текста, предназначенные не для пользователей, а исключительно для продвижения сайта в поисковых системах….. Обратите внимание на подобные страницы http://www.anapa-new.ru/anapa-chastniy-sektor/blog

После того, как это произошло, клиент заказал у кого-то аудита сайта и выполнил все предписания, изложенные в отчете, но санкции сняты не были.

Как мы выводили сайт из-под фильтра

Как обычно, мы подробно проанализировали каждую страницу и принялись за чистку сайта от переоптимизации.

Содержание 16 страниц было полностью переписано нашим копирайтером (который не знает, что такое SEO-тексты, зато отлично пишет продающие тексты для людей). Title и мета-теги корректировались более чем на 80 страницах, заголовки h2 менялись на 48 страницах.

Как мы чистили сайт от переоптимизации

1. Убрали лишние вхождения ВЧ-СЧ запросов в текстах, например:

2. Избавились от переспама в заголовках h2:

Спамные заголовки были удалены или переписаны на “человеческие”.

3. Избавились от всех спамных конструкций ключевиков.Напомню, что спамная конструкция – это употребление ключевика в неестественной формулировке. Вот они, эти конструкции:

4. Удалили бессмысленные перечисления ключевых слов.На некоторых страницах текст отсутствовал, но это не препятствовало нашим “коллегам” разместить ключевые слова:

5. Почистили от переспама URL страниц.Наличие запроса-многословника в Title, заголовке, тексте и URL страницы является для поисковика явным признаком переоптимизации. Я знаю что многие оптимизаторы считают, что ключевик просто обязан присутствовать во всех усиливающих тегах и аттрибутах. Тем не менее, наш опыт показывает обратное, и такие вхождения мы тоже почистили:

6. Избавились от “размытости” текстов.В целом тексты были очень размыты. Многие предложения были оторваны от реальности и писались только ради общего объема:

(при этом телефон поддержки на сайте отсутствовал) (а до приезда в город программу выбрать невозможно?)

Внесение изменений заняло у нас около недели. После “тотальной чистки” мы отправили в Яндекс запрос на пересмотр, но получили отказ:

Причина, по которой Ваш сайт был понижен в результатах поиска, еще не устранена. На Вашем сайте еще присутствуют фрагменты текста, предназначенные не для пользователей, а исключительно для продвижения сайта в поисковых системах.

Вторая попытка

Мы еще раз пересмотрели все тексты, подкорректировали вхождения слова “Анапа”. Но ключевым моментом стала чистка контента от фраз, заточенных под сезонный спрос. Тексты большинства страниц содержали ключевые фразы с упоминанием 2013 года: отдых в [курорт] в 2013 году, жилье в [курорт] в 2013 году и т.д. Их мы везде убрали:

После повторного запроса в Яндекс на пересмотр фильтр сняли:

Причина, по которой Ваш сайт был понижен в результатах поиска, была Вами устранена. Окончательно вопрос о снятии санкций с сайта будет решен примерно через месяц, после повторной проверки. В этот период Вы можете вносить любые запланированные изменения на сайт. Главное, чтобы на момент проверки на сайте был контент, доступный для индексирования. Что касается работ по оптимизации сайта, то с некоторыми нашими рекомендациями на этот счет Вы можете ознакомиться здесь: http://help.yandex.ru/webmaster/?id=1108938 http://company.yandex.ru/rules/optimization/index.xml

Видимость в поиске и трафик из Яндекса начали восстанавливаться практически сразу (нажмите на картинку, чтобы увеличить ее):

Удачи в борьбе с пессимизаций.

optimizatorsha.ru

Как вывести сайт из под фильтра Яндекса

Автор: Ксана(Людмила Лунева)Веб-дизайнер и разработчик сайтов на wordpress

АГС - это фильтр поисковой системы Яндекс. Он предназначен для удаления некачественных сайтов (ГС) из поисковой выдачи.Смысл фильтра заключается в том, что он почти полностью исключает сайт из поисковой выдачи, оставляя не больше 30 страниц (исключать может и постепенно).АГС фильтр: Как вывести сайт из под фильтра ЯндексаЯндекс назвал этот фильтр именем автоматических станковых гранатомётов. Собственно, эти фильтры и являются оружием для борьбы Яндекса с ГС.Первый из серии фильтров - АГС-17 был введён несколько лет назад, но его работу владельцы сайтов стали замечать только в последний год. Первой же атакой (АГС-17) Яндекс вычистил из индекса поисковой выдачи множество и хороших сайтов, но потом исправил ситуацию и обновил свой фильтр до АГС-30.Что пишут об этом фильтре в самом Яндексе:«Робот анализирует содержание всех страниц сайта и принимает решение о включении их в индекс. Если сайт большой, а в поиске участвует лишь несколько его страниц, это означает, что остальные были классифицированы как не имеющие дополнительной ценности для пользователей.Какое количество страниц будет проиндексировано – зависит от многих факторов, в том числе от качества контента, интереса пользователей к ресурсу и соответствия сайта поисковой лицензии, особенно это касается пункта 3.5. (поисковый спам). В некоторых случаях число страниц может быть и меньше 10, и больше 10. В любом случае проиндексированных страниц должно быть достаточно для того, чтобы сайт находился по основным запросам, на которые он может дать хороший и релевантный ответ».Проще говоря, если в выдаче Яндекса осталось всего несколько страниц сайта – это АГС.АГС – это не приговор, бороться с ним можно, но делать это стоит только в тех случаях - когда сайт действительно качественный СДЛ.В чем причина попадания сайта под фильтр?

  • Продажа ссылок с сайта в возрасте до полугода.
  • Не качественный или не уникальные контент на сайте.
  • Наличие в поисковой выдаче малого количества страниц (меньше тысячи).
  • Дублирование контента внутри сайта.
  • Отсутствие или малое количество ссылок на сайт.
  • Низкая посещаемость (поведенческий фактор).

Кстати, были случаи попадания молодых сайтов (в возрасте до полугода) под этот фильтр после размещения на них блоков контекстной или баннерной рекламы. Так что не только продажные ссылки опасны для сайта.Бороться с ГС – дело нужное, но, к сожалению, часто под раздачу попадают и СДЛ - в основном сайты в возрасте до года. Часто это сайты начинающих вебмастеров, которые делают ошибки по незнанию.

Что делать, если ваш сайт попал под АГС?

  • Первым делом нужно разобраться, действительно ли это АГС или БАН:

    Понять это не сложно – если в поисковой выдаче резко уменьшилось количество страниц – было, к примеру, 200, а осталось 10, это АГС. Если было 10 тыс., а осталось 30 или 40 страниц и с каждым апом их количество уменьшается – это тоже АГС.

  • Дальше нужно найти причину попадания сайта под фильтр:

    В этом вы сможете разобраться самостоятельно – кто, как не вы знает, что вы делали со своим сайтом?

    • Ссылки продавали?
    • Статьи с других сайтов заимствовали?
    • Сайт регулярно обновляли?
    • Есть ли на вашем сайте дублирующийся контент?
    • Хоть как то его продвигали (Есть ли ссылки ваш сайт с других сайтов) ?
    • Какая посещаемость на вашем сайте?

    Ну вот, причину и нашли.

  • Теперь ее нужно исправить:

    Если причина попадания под АГС заключается в продаже ссылок:

    • Удаляете все продажные ссылки и все ссылки, ведущие на ГС.А на будущее помните – поисковые системы приветствуют ссылки на качественные ресурсы и пессимизируют сайт за ссылки на некачественные сайты.
    • Делаете грамотную внутреннюю перелинковку для того, чтобы повысить количество внутренних ссылок.
    • Регулярно публикуете на сайте новые уникальные статьи.
    • Покупаете немного ссылок с трастовых сайтов.

    Если причина заключается в наличии на сайте некачественного или неуникального контента:

    • Удаляете полностью весь некачественный контент или переписываете его заново.
    • Заполняете сайт качественным и контентом и делаете грамотную внутреннюю перелинковку для того, чтобы повысить количество внутренних ссылок.
    • Закупаете немного ссылок (5-10 шт.) на главную (ТИЦ от 50).

    Если ваш сайт попал под фильтр АГС из-за того, что вы его давно не обновляли:

    • Регулярно публикуете на сайте новые уникальные статьи.
    • Покупаете немного ссылок с трастовых сайтов.

    Если ваш сайт попал под фильтр АГС из-за дублирующегося контента:

    • Закрываете от индексации весь дублирующийся контент:
      • Запрещаете в файле robots.txt индексацию архивов, тегов, категорий, результатов поиска, т.е. всех анонсов, кроме анонсов на Главной.

        Примерно так:Disallow: /search/*Disallow: /2011/*Disallow: /author/*Disallow: /tag/*Disallow: /category/*

      • Закрываете в сайдбаре тегом noindex:
        • меню категорий,
        • архивы,
        • календарь (если есть),
        • облако тегов (где бы оно ни находилось),
        • форму авторизации,
        • блок Последние комментарии,
        • все анонсы постов (только в сайдбаре, не на Главной).

        Собственно, закрываете весь контент в сайдбарах за исключением ссылок на другие статьи сайта и ссылок на страницы сайта. Т.е. меню категорий – закрываем, меню страниц – оставляем.Если просто ссылка – оставляем, если ссылка с анонсом – закрываем.

      • Закрываете тегом noindex на странице записи метки текущей записи.

        Когда сайт выйдет из под фильтра, можно будет открыть для индексирования категории и теги.

    • Регулярно публикуете на сайте новые уникальные статьи.
    • Покупаете немного ссылок с трастовых сайтов.

    И последняя причина – в глазах поисковой системы сайт не представляет ценности – на нем нет посетителей, на него не ведут ссылки с других сайтов:

    • Составляете семантическое ядро сайта.
    • Оптимизируете существующие на сайте статьи под выбранные ключевые слова – это должно дать посетителей на сайт.
    • Покупаете полсотни ссылок с качественных тематических сайтов.

И ждете …Ждать придется 2-4 апа.Должно помочь.Если не помогло – еще несколько радикальных советов можете почитать на следующей странице.

prodengiblog.ru

Как вывести сайт из-под фильтра за переоптимизацию

Вывести сайт из-под фильтра поисковых систем иногда бывает не просто. Не всегда истинная причина наложения санкций лежит на поверхности. Платоны прямо на ошибки вам не укажут, но докопаться до истины можно методом проб и ошибок, старым добрым методом научного тыка.

Как вывести сайт из-под фильтра за переоптимизацию: тонкости и нюансы

При наложении фильтра за переоптимизацию сайт может резко вылететь из топа на 20-30 пунктов вниз. Как следствие поисковый трафик может сократиться на 80%. Как же вывести сайт из-под фильтра?

Для начала нужно внимательно проанализировать контент сайта, страничка за страничкой. Уберите лишние прямые вхождения высокочастотных и низкочастотных запросов в тексте. Если ключевая фраза вписана в текст неестественно, если взгляд простого пользователя спотыкается о многочисленные ключевики, значит нужно от них избавиться.

Также будет полезно почистить от переспама заголовки h2. Если словосочетания «гостиницы Анапа» встречается и в названии раздела, и в названии статьи, и в хлебных крошках – на лицо явный переспам.

Обязательно очистите сайт от бессмысленных перечислений ключевых слов, особенно если на странице нет текста.

Если URL страниц везде содержат ключевые слова, то выглядят они неестественно. Если в доменном имени сайта соержится ключевое слово, то не стоит его настойчиво повторять в алиасе статьи. Измените URL некоторых страниц и пропишите редиректы на новые адреса.

Если на каждой странице и в Title, и в заголовке, и в URL, и в первом абзаце, и по всему тексту содержится какой-либо длинный пользовательский запрос, состоящий из нескольких слов, то поисковые роботы мимо не пройдут, непременно присмотрятся к вашему ресурсу. Пусть часть страниц сайта будет оптимизирована не столь агрессивно.

Избавьтесь от размытости в текстах. Если сотрудники Яндекса будут рассматривать ваш сайт вручную, им не понравятся оторванные от реальности и далекие от смысла предложения.

После генеральной уборки на сайте отправляйте в Яндекс запрос на пересмотр решения о наложении фильтра. Если вы получите формальную отписку о том, что сайт все еще переоптимизирован, – копайте глубже.

Пересмотрите тексты, подкорректируйте вхождения ключевых слов. Проверьте, нет ли назойливого употребления фраз, заточенных под сезонный спрос, например ключей с упоминанием года. Если есть несколько страниц построенных по принципу: отдых на таком-то курорте в 2013 году, жилье на таком-то курорте в 2013 году, возможно именно они смущают сотрудников Яндекса.

Санкции могут снять не с первого раза, но подсказку, намек в официальном отказе увидеть можно будет. После снятия фильтра трафик и позиции со временем восстановятся.

За что еще на сайт могут быть наложены фильтры?

Сотрудники Яндекса и владельцы сайтов вкладывают разный смысл в понятие «качество сайта». Для сотрудников поисковых гигантов качество сайта – это, прежде всего, не чисто технические характеристики (уникальность или плотность ключевых слов), а актуальность, удобство и полезность ресурса для пользователей. Если на ваш сайт заходит множество людей и немедленно закрывают вкладку браузера, значит, это скажется на качестве ранжирования страниц. Итак, за что можно получить пессимизацию сайта?

Если страница содержит признаки оптимизации под поисковые вопросы, но сам текст не дает достойного ответа пользователям, то страница будет понижена в выдаче или попросту из нее выброшена. Например, пользователь набрал в поиске «отели в Анапе фото», а зайдя на вашу страницу, увидел только текст, оптимизированный под данную ключевую фразу. Пользователь неминуемо разочаруется. В след за ним разочаруется и Яндекс.

Другой пример: вы размещаете на странице с текстом, описывающем достоинства мультиварок, контекстную рекламу и баннеры лид-систем. В один прекрасный момент вы решаете, что если на странице будут встречаться чисто коммерческие фразы «мультиварки купить» и «мультиварки цена», то трафик будет конвертироваться лучше. Вы наполняете текст ключевыми словами, но не приводите цен и ссылок на корзину покупателя. Заглянувшие с поиска посетители снова разочарованны. Осторожнее обращайтесь с запросами, содержащими названия товаров или услуг и слова «фотогалерея», «фото», «каталог», «скидки», «стоимость».

Таким образом, если на сайт наложен фильтр за переоптимизацию, логично было бы заглянуть в статистику и выявить страницы, которые могут похвастаться большим трафиком и большим процентом отказов. Либо добавьте на эти страницы недостающие фото и информацию, либо сотрите в тексте коммерческие запросы, либо безжалостно удалите сами страницы.

Еще один повод для фильтра – продвижение страниц с близкими, синонимичными запросами по одной и той же схеме. Допустим на сайте есть страницы «выращивание настурций», «разведение настурций», «посадка настурций» и все они оптимизированы по плану: ключевое слово в титле, в названии страницы, в мета-тегах и непременно в первом абзаце. На деле посетители просто путаются в похожих страницах, контент которых не отличается особой смысловой оригинальностью.

Для того чтобы сайт не был заподозрен в переоптимизации, нужно обязательно разбавлять прямые вхождения ключевых слов не точными. Не стремитесь все страницы сайта с одинаковым усердием оптимизировать под какой-то запрос. Не надейтесь на одну только внутреннюю оптимизацию. Если какая-то ключевая фраза в одном из предложений выглядит неестественно – лучше выбросьте ее из этого предложения, разбавьте другими словами, просто добавьте внешних ссылок на страницу.

Считается, что фильтры накладываются на сайты автоматически, в результате действия алгоритмов. Но не всегда это так. Чем больше контент относится к коммерческой тематике, тем бдительнее асессоры. (Подробнее об асессорах Яндекса можно прочитать в статье «Продвижение сайта в Яндексе. Как Яндекс ранжирует сайты?»)

И помните: если вы просите сотрудников Яндекса пересмотреть решение о наложении фильтра, будьте готовы, что присматриваться они будут не только к методам внутренней оптимизации, но и к смысловому наполнению сайта и юзабилити проекта.

www.rodinalinkov.ru

Как вывести сайт из под фильтра Яндекса

Автор: Ксана(Людмила Лунева)Веб-дизайнер и разработчик сайтов на wordpress

Еще несколько радикальных советов по выводу сайта из под фильтра Яндекса:

  • Сменить IP адрес сайта, т.е. хостинг – сайт может попасть под фильтр из-за соседства с большим количестом некачественных сайтов.
  • Выполнить поисковую перезагрузку, т.е. исключить полностью сайт из индекса поисковых систем, а затем добавить его заново.
    • Для этого нужно закрыть сайт от индексирования в файле robots.txt:User-agent: *Disallow: *Или:User-agent: YandexDisallow: *
    • Убрать с сайта все продажные ссылки и статьи.
    • Изменить заголовки статей.
    • Если это был SEO текст, то уменьшить в 3-4 раза кол-во ключевиков.
    • Добавить в каждую статью несколько картинок с разными атрибутами align (чтобы картинки располагались слева и справа, и по центру) и атрибутами alt и title.
    • Если текст статей был не уникальный – полностью переписать статьи.
    • Если и раньше был уникальный – переписать первый абзац.
    • Можно добавить к каждой статье свежих комментариев.
    • Полностью поменять структуру страниц сайта (с одного ЧПУ переключиться на другой). Например: с site.ru/category/index.php на site.ru/category/index.html
    • Поменять внутреннюю структуру сайта – можно, например, перенести сайдбар слева направо или наоборот или поменять названия основных классов в файлах шаблона и, соответственно, в файлах css. Или сделать то и другое.
    • Далее в robots.txt открыть индексацию сайта.Для этого составить правильный robots.txt по такой схеме:

      User-agent: *Disallow:Host: имя_вашего_домена_без_www._Sitemap: адрес файла sitemap.xmlНапример:User-agent: *Disallow:Host: sait.ruSitemap: http://sait.ru/sitemap.xmlВот пример robots.txt с одного из моих сайтов:User-agent: *Allow: /wp-content/uploads/Disallow: /cgi-bin/Disallow: /wp-*Disallow: /wp-login.phpDisallow: /wp-register.phpDisallow: /xmlrpc.phpDisallow: /*?*Disallow: /*?Disallow: /?Disallow: /?s=Disallow: /comments/Disallow: */comments/Disallow: /trackback/Disallow: */trackback/Disallow: */feed/Disallow: /feed/Disallow: /?feed=Disallow: /404.phpDisallow: /2011/*Disallow: /search/*Disallow: /author/*Disallow: /tag/*Disallow: /category/*Disallow: /karta-metokHost: sait.ruSitemap: http://sait.ru/sitemap.xmlUser-agent: Googlebot-ImageAllow: /*Можете взять за основу, поменяв в нем названия папок на свои.

    • И последнее, для закрепления результата, купить качественные вечные ссылки, размещенные в обзорах, например на бирже GoGetLinks – ни в коем случае не на Sape. Яндекс уже давно умеет отличать ссылки с автоматических бирж.

После выполнения всех этих пунктов ваш сайт в глазах Яндекса изменился - он стал выглядеть как новенький СДЛ. И даже не думайте впихнуть новоиспеченный сайтик в Sape!После перезагрузки, когда сайт начнёт постепенно попадать в индекс, начинайте добавить новые (естественно, уникальные статьи).

Что делать, чтобы не попасть под АГС ↓

Открыть ↓

Специальные рекомендации по предотвращению дублированного контента для сайтов в первый год существования:

(Даже если они не под фильтром, точнее - пока они еще не под фильтром :))Выполняете все, что написано в пункте «Если ваш сайт попал под фильтр АГС из-за дублирующегося контента».Конечно, закрытие от индексации тегов не очень хорошо влияет на оптимизацию, зато спасет сайт от фильтра АГС.Когда сайт благополучно переживет первый год - категории и теги можно будет открыть для индексации.

Рекомендации по предотвращению дублировано контента во всех моих WordPress-темах:

При использовании моих тем, так же, как и любых других, рекомендую сразу же закрыть все возможные дубли контента так, как это описано в пункте «Если ваш сайт попал под фильтр АГС из-за дублирующегося контента».

Рекомендации по предотвращению дублировано контента в шаблонах, не имеющих навигации по последним записям:

Если в шаблоне нет навигации по последним записям, закрывать от индексации нужно не категории, а все Главные страницы кроме первой. Т.е. закрываем страницы sait.ru/page/2, sait.ru/page/3 и т.д.Вот так:Disallow: /page/*Disallow: /search/*Disallow: /2011/*Disallow: /author/*Disallow: /tag/*Надеясь, все написанное выше поможет вам сохранить ваш сайт живым и здоровым :).

prodengiblog.ru

Как вывести сайт из-под спам-фильтра Google (Первая часть)

В марте прошлого года мы неожиданно получили письмо от команды Google по борьбе со спамом. 

В письме говорилось, что некоторые ссылки, ведущие на наш сайт rusonyx.ru, не соответствуют рекомендациям по обеспечению качества. Поэтому, к нашему сайту были применены меры, которые в последствие повлияли на входящий бесплатный трафик с поиска Google. Он резко снизился, а точнее, упал ниже плинтуса. 

Мы с грустью смотрели на эту картину. Но делать нечего – нужно было срочно что-то предпринимать. Спустя год, потратив 300 человеко-часов, нам удалось вытащить сайт из бана. В этой статье я постараюсь подробно описать, как нам это удалось, каких это стоило усилий и какие шаги нужно предпринимать в такой ситуации. 

Изучение проблемы

Сначала я решила изучить все форумы по этой проблеме и хелпы Гугла. Но в итоге поняла, что четких и структурированных рекомендаций по этой теме нет. Проще говоря, никто толком не мог конкретно сказать, что нужно сделать, чтобы Google снял с сайта фильтры. 

Тогда я стала искать хоть какую-то литературу с успешными кейсами. И наткнулась на англоязычную книгу «The complete guide to unnatural links recovery». Книга платная и стоит $90, но я все же ее купила и прочитала от корки до корки. После прочтения появилось понимание того, что нужно делать. 

В этой статье я постараюсь описать весь алгоритм действий, который нужно проделать для отмены санкций Google. Это не просто изложение прочитанного. Здесь описан мой опыт вытаскивания сайта из под спам-фильтров Google. 

Чего делать точно не стоит

Не рекомендую писать гневные письма в Google, тем более что это не решит проблему. В Гугле работают такие же люди, как и мы с вами, которые просто выполняют свою работу. Не надо халтурить и отправлять запросы в Google на пересмотр, не поработав с внешними ссылками на ваш сайт. Сотрудники Google должны видеть ваши страдания :) Фильтр – это наказание и вы должны сильно попотеть, вытаскивая сайт из бана. Это часть плана и вы либо принимаете правила игры, либо остаетесь без натурального трафика из поисковой системы. 

Нельзя просто так взять и выйти из-под бана Google. Нам потребовалось на это полгода усердной работы. По самым скромным подсчетам на это ушло около 300 человеко-часов. Надеюсь, что вам удастся решить проблему быстрее, благодаря этой статье. 

Итак, вы обнаружили резкое снижение трафика с Google. Как понять, что это именно из-за санкций, которые поисковик применил к вашему сайту? 

Ваш сайт попал под спам-фильтры?

Это можно выяснить, если зайти в панель для веб-мастеров Google Webmaster Tools. В меню слева выберите «Поисковый трафик», далее «Меры, принятые вручную». Если к вашему сайту применялись фильтры, то вы увидите сообщение об этом. Наглядно показать вам не могу, так как с нас эти меры Google снял до того, как я догадалась сделать скриншот. 

Если меры не применялись, то сообщение будет таким: 

Первый шаг: ищем причину

Прежде всего я выяснила, что это за ссылки, которые не соответствуют рекомендациям по обеспечению качества Google. В руководстве для веб-мастеров Google подробно описаны методы работы со ссылками, которые использовать не рекомендуется. Подумайте, что могло стать причиной. Может быть, вы нанимали агентство по SEO – продвижению или сами закупали ссылки и статьи через биржи ссылок. Или, может, вы используете схемы обмена ссылками. 

Мы в 2011 году работали с агентством, которое продвигало наш сайт за счет покупки вечных ссылок и SEO-статей. И несмотря на то, что в январе 2012 года мы расторгли с ними договор и целый год не продвигали сайт при помощи SEO-методов, в марте 2013 Гугл прислал нам письмо «счастья». 

Изучив рекомендации Google, я выявила несколько основных причин, из-за которых, скорее всего, наш сайт мог отправиться в бан: 

  1. SEO-статьи и вечные ссылки
  2. Ссылки в SEO –каталогах и SEO-закладки
  3. Большое количество сквозных ссылок на сторонних не тематических ресурсах
  4. Спам-ссылки, в т.ч. форум-спам
  5. Дорвеи

Второй шаг: Выгружаем внешние ссылки

Для того, чтобы начать работу по выявлению некачественных ссылок и их устранению, нужно создать файл и выгрузить все внешние ссылки, ведущие на ваш сайт. Обратите внимание, что файлы, лучше всего создавать в GoogleDocs. Основная причина этого требования Гугла в том, что в других файлах могут содержаться вирусы и вредоносные программы. Поэтому, MS Ecxel файлы сотрудники Гугл проигнорируют, а вот в таблицах Google Docs примут. 

Где взять эти внешние ссылки? Для этого используйте инструменты GoogleWebmasterTools Как выгрузить ссылки. Заходим в панель WebmasterTools слева в основном меню, выбираем «Поисковый трафик», далее «Ссылки на ваш сайт». Нас интересует раздел «Наиболее часто ссылаются». Нажимаем «Дополнительно» и загружаем последние ссылки. Напомню, что при выгрузке ссылок выбирайте вариант «Документы Google». 

У вас должна получиться таблица со списком ссылок. Для удобства работы, отсортируйте ссылки в алфавитном порядке. 

Третий шаг: Создание таблицы ссылок

Откройте созданную Google таблицу с выгруженными ссылками. В столбце «В» указана дата, когда Google обнаружил эту ссылку. Назовите его «First Discovered» («Дата обнаружения ссылки»). 

Создадим еще несколько столбцов, которые нам понадобятся (далее я объясню): 

  • C – Needs to be removed? (Нужно удалить?)
  • D – Disavow? (Отклонить?)
  • E - Contact e-mail found on site (Контактный e-mail, найденный на сайте)
  • F – First name of contact (Контактное лицо)
  • G – Whois e-mail (e-mail, найденный в whois)
  • H - First name of Whois contact (Имя владельца e-mail, найденного в whois)
  • I – E-mail reference # (порядковый № , указывающий на отправленный e-mail)
  • J – Url of contact form (Ссылка на контактную форму, найденную на сайте)
  • K – Contact form reference # (порядковый № , указывающий на отправленное письмо через контактную форму)
  • L – Comments (Комментарии).

В итоге у вас должна получиться такая таблица: 

Четвертый шаг: Создание списка статусов

У меня получилась таблица с огромным списком ссылок – порядка 12000. Задача состояла в том, чтобы проверить каждую ссылку из выгруженного списка и присвоить ей тот или иной статус. Цель – определить, какие из ссылок, в последствие, нужно удалять, а какие оставить. В процессе работы со ссылками, каждой из них в столбце «С» - «Needs to be removed» нужно присвоить один из следующих статусов: 
  • YES – SEO article (ДА – SEO статья)
  • YES – SEO directory (ДА – SEO каталог)
  • YES – SEO bookmark (ДА – SEO закладка)
  • YES – Forum spam (ДА – Форум-спам)
  • YES – Spam (ДА – Спам)
  • YES – Link made for SEO purposes (Ссылка созданная для целей SEO)
  • NO – Nofollowed (НЕТ – не индексируемая)
  • NO – Page not found (НЕТ – Страница не найдена)
  • NO – Link not found (НЕТ – ссылка не найдена)
  • NO – Site not visited due to malware warning (Не удалось зайти на сайт из-за предупреждения о вредоносных программах)
  • NO – Valid directory (НЕТ – Полноценный каталог)
  • NO – Natural link (НЕТ – Естественная ссылка)

Следующему столбцу «D» - «Disavow?» («Отклонить?») мы тоже в процессе работы над ссылками присвоим статусы: 

  • YES (ДА) – если хотим отклонить весь домен целиком
  • NO (НЕТ) – отклонять не нужно
  • YES – url (ДА – url) – если не хотим отклонять весь домен, а только отдельную ссылку или ссылки на этом домене.

О Disavow. Это инструмент Google, с помощью которого можно отклонить ссылки. По сути вы просите Google не принимать во внимание некоторые ссылки при оценке вашего сайта – сделать их неиндексируемыми. Инструмент находится в панели для веб-мастеров Google (Webmaster Tools). На первом этапе достаточно просто понять, для чего этот инструмент нужен. Во второй части я расскажу как им воспользоваться. 

Шаг пятый: Подготовка браузера

Перед тем как начать работу со ссылками, нужно подготовить браузер. Я пользовалась Google Chrome. Мне он показался самым удобным в плане поиска ссылок. 

Для быстрого поиска Nofollow ссылок, можете установить приложение MozBar. Приложение позволяет выделять цветом индексируемые /неиндексируемые ссылки. Также можно настроить отображение Page Rank, Domain Authority и прочие полезные штуки. 

Также рекомендую установить приложение Web Developer Toolbar, для того, чтобы отключать Java Script, куки и все такое. Поверьте, сайты вам будут попадаться разные: с навязчивым контентом, всплывающими окнами, редиректами и прочей гадостью. 

Шаг шестой. Работа со ссылками

Это основной шаг, он же и самый трудоемкий. Задача этого шага состоит в том, чтобы открыть и проверить каждую ссылку из списка, найти на странице ссылки на ваш сайт, определить к какому статусу они относятся, и отразить статус в Google таблице. 

Итак, открываем первую ссылку. 

Как искать ваши ссылки на странице Иногда ссылку на странице трудно найти. Для этого используйте исходный код страницы. Открываете исходный код, задаете в поиске ваш домен (Ctrl+F) и если ссылки на ваш сайт есть, то они будут выделены цветом. В Google Chrome искать ссылки удобнее всего, если ссылок на странице много. 

Если ссылок на ваш сайт на странице найти не удалось, то смело ставьте статус «NO – Link not found» (НЕТ – ссылка не найдена) в столбце «С» - «Needs to be removed». А в столбце «D» - «Disavow?» («Отклонить?») – определите статус по ситуации (Да, нет или да – url). 

Также может быть, что к ссылке применен тег «Nofollow». Это означает, что ссылка не индексируется поисковыми системами и удалять/отклонять ее нет смысла. Поэтому, смело ставьте в столбце «С» статус «NO – Nofollowed» (НЕТ – не индексируемая) и в соседнем столбце «D» - NO (НЕТ). 

Если вы сомневаетесь, стоит ли удалять ссылку, то отложите ее, указав в комментариях «Возможно», чтобы потом снова к ней вернуться или быстро найти все такие ссылки и пересмотреть, если вдруг после отправленного вами запроса на пересмотр, Google пришлет отказ. 

Если страница не найдена

Если перейдя по ссылке, страница не отображается, то напротив этой ссылки в столбце «С» - «Needs to be removed» ставьте NO – Page not found (НЕТ – ссылка не найдена), а в столбце «Disavow?» («Отклонить?») укажите YES (ДА) или YES – url (ДА – url). Зачем такие ссылки отклонять? У меня был случай, когда Гугл отказал в снятии мер, в том числе, и из-за того, что обнаружил неестественные ссылки на страницах, которые не открывались ранее, но вскоре заработали снова и ссылки на наш сайт стали активны. 

Найдена неестественная ссылка

Если вы нашли на странице неестественную ссылку, к которой присвоили один из следующих статусов в столбце «С», 

  • YES – SEO article (ДА – SEO статья)
  • YES – SEO directory (ДА – SEO каталог)
  • YES – SEO bookmark (ДА – SEO закладка)
  • YES – Forum spam (ДА – Форум-спам)
  • YES – Spam (ДА – Спам)
  • YES – Link made for SEO purposes (Ссылка созданная для целей SEO)

ищите контакты веб-мастера или владельца домена на котором размещена такая ссылка. Это может быть e-mail или контактная форма для связи. Заносите контактные данные в таблицу в соответствующие колонки (столбец «Е», «F» или «J»). 

Если на сайте нет контактов, то вы можете найти e-mail владельца домена в базе Whois. Я пользовалась этим ресурсом whois-service.ru. 

Если контактные данные скрыты, то всегда есть возможность отправить запрос владельцу через регистратора данного домена (строка «admin - contact»). 

Заносите контактные данные, найденные через Whois, в таблицу в соответствующие колонки (столбец «G», «H» или «J») Столбец «D» - «Disavow», пока оставьте. Статусы в этом столбце к таким ссылкам, вы будете проставлять позднее – после связи с веб-мастером или владельцем сайта. А пока пусть эти ячейки останутся пустыми. 

Шаг седьмой: письма веб-мастерам

Если у вас не так много ссылок, которые нужно проверить, то пишите письма веб-мастерам после того, как работа над всем списком ссылок проделана (Шестой шаг). 

Так как у меня был огромный список ссылок (12000), то я отправляла письма сразу, как только находила ссылки, подлежащие удалению. Важная деталь. Отправлять письма веб-мастерам нужно с почтового ящика на gmail. Рекомендую заранее создать отдельный ящик. Вы можете использовать и существующий, но, на мой взгляд, с отдельным работать проще. Я, например, отправляла по нескольку писем веб-мастерам в день и получала по нескольку ответов, соответственно. Поэтому создала отдельный ящик. 

Итак, у вас есть почтовый адрес на gmail, с которого вы будете отправлять письма веб-мастерам, владельцам доменов и т.д. 

Ниже текст письма с обращением, которое я отправляла. Вы можете взять его за основу. 

Здравствуйте! 

Меня зовут Анна, я представляю компанию Русоникс, которая является владельцем домена www.rusonyx.ru 

Дело в том, что некоторое время назад мы получили уведомление от Google о том, что наш сайт попал в бан-списки из-за некоторого ряда ссылок. На данный момент мы проводим работу по выявлению таких ссылок и их устранению. 

У меня большая к вам просьба. Пожалуйста, поставьте тег «nofollow» или удалите ссылки на вашем сайте, которые ссылаются на наш (www.rusonyx.ru). 

Вот страницы с вашего сайта, где есть ссылки на нас: 

……… 

Заранее спасибо! 

Пожалуйста, как только вы это сделаете, сообщите нам ответным письмом. Будем вам очень благодарны и признательны за оказанную помощь! 

С уважением, 

Мой e-mail на домене rusonyx.ru: 

-------------------------------------

Как задокументировать доказательство отправки писем

Все просто. Создайте 2 новых документа в Google Docs: 

  1. Первый назовите «Оригинальные коды отправленных писем»
  2. Второй - «Скриншоты запросов, отправленных с контактных форм»

В первый документ вы будете переносить оригинальные коды отправленных писем, и присваивать им номера, которые будут отражены в Google таблице в столбце «I» - «E-mail reference #» (№ Ссылки на отправленный e-mail) . Выглядеть это будет так: 

В документе «Оригинальные коды, отправленных писем» 

В Google таблице 

Не нужно копировать весь код письма, достаточно той части, где указан отправитель, получатель, дата отправки и тема письма. Как открыть код письма. Откройте отправленное письмо, и справа в выпадающем списке выберите «Показать оригинал». 

Второй текстовый документ «Скриншоты запросов, отправленных с контактных форм». Сюда нужно заносить скриншоты (по аналогии с кодами писем) и присваивать им номер, который будет отражен в основной таблице в столбце «Contact form reference #» (№ Ссылки на отправленное письмо через контактную форму). Выглядеть это будет так: 

В документе «Скриншоты запросов, отправленных с контактных форм» 

В Google таблице 

Шаг восьмой: Работа с ответами на запросы

Есть 3 варианта развития событий, после того, как письма с запросами отправлены: 

Первый вариант. Вам ответили на запрос и сообщили, что ссылка удалена или к ней применен тег nofollow. В этом случае: 

  • В основной таблице в столбце «L» с комментариями укажите, что ссылка удалена/применен тег nofollow и поставьте дату;
  • помечаете строку зеленым цветом;
  • в столбце «D» - Disavow ставьте статус «NO».

Вот так это выглядит в таблице 

Второй вариант. Вам пришло письмо с отказом удалить ссылку. 

  • Помечаете в комментариях к таблице в столбце «L» факт отказа;
  • копируете исходный код ответа в файл «Оригинальные коды, отправленных писем»;
  • даете № ссылки на этот исходный код в Google таблице в столбце «L» с комментариями;
  • Всю строку помечаете красным цветом;
  • в столбце «D» - Disavow ставьте статус YES (ДА) или YES-url (ДА-url ссылка).

Третий вариант. Вы не получили ответа. 

  • В комментариях к таблице в столбце «L» укажите этот факт;
  • В столбце «D» - Disavow ставьте статус YES или YES – url;
  • Всю строку помечаете красным цветом.

Ну вот, это все, что нужно сделать на первом этапе. Второй этап работы касается подготовки и отправки отчета на пересмотр в Google. Но этот этап требует отдельной статьи, которую я буду писать, пока вы работаете над первым. 

Оригинал статьи опубликован на habrahabr.ru Автор: Анна Лебедева (Русоникс)

www.rusonyx.ru