SEO и алгоритмы поисковых систем: ключи, отмычки, кувалды

 

Их служба и опасна, и трудна, и бессонна. SEO-аналитики – белая кость и красные глаза оптимизации. Вопреки расхожему мнению, они не «взламывают “Яндекс”», а пробуют разгадать механизмы его работы, его «предпочтения». Они не пифии-предсказательницы, а кадровые разведчики, занимающиеся тяжелой исследовательской работой в поле чистой эмпирики. Из скудных данных им нужно выцедить ответы на тьму вопросов: какие факторы ранжирования сайтов доминируют сегодня и в какой пропорции, могут ли алгоритмы «Яндекса» выйти из-под контроля, что происходит с технологией машинного обучения MatrixNet, противоречат ли отдельные требования «Яндекса» и Google друг другу? Свою точку зрения на эти и прочие вопросы в дискуссии с авторами книги высказал Сергей Людкевич, начальник отдела аналитики системы WebEffector.

 

Как продвигать сайты при ныне действующем алгоритме «Яндекса» MatrixNet? Ведь если степень влияния того или иного фактора меняется в зависимости от региона и запроса, нельзя точно знать, как действовать. Неужели только методом проб и ошибок?

Сергей Людкевич: Нужно учитывать следующие свойства запроса:

• коммерческий или некоммерческий характер;

• регион;

• геозависимость или геонезависимость.

Именно по перечисленным параметрам алгоритмы существенно разнятся. Например, для коммерческих запросов все еще вполне неплохо работают коммерческие ссылки. Для некоммерческих они практически бесполезны. Но сайты все-таки, как правило, продвигаются именно по коммерческим запросам.

Гораздо острее ситуация в случае с региональностью запросов. В разных регионах – различные алгоритмы (формулы) для геозависимых запросов. Отдельно для Москвы, отдельно для Санкт-Петербурга, отдельно для каждого из городов релиза «Арзамас+16», отдельно для всех остальных – так называемая общероссийская выдача с бонусом для сайтов из данного региона. А все геонезависимые запросы ранжируются общероссийским алгоритмом. Он очень сильно отличается от алгоритма для Москвы и от алгоритмов для городов релиза «Арзамас+16». Все это, естественно, вносит дополнительные сложности в продвижение. Ну а метод проб и ошибок всегда был на вооружении у оптимизаторов.

 

Формула для остальных регионов не учитывает множества факторов или их значимость очень мала, правильно? Это сделано скорее потому, что в регионах еще не настолько сильная конкуренция и сами сайты недостаточно хороши или же просто невозможно за всеми уследить?

С. Л.: Я не думаю, что формулы для регионов не учитывают каких-то факторов, которые, к примеру, есть в формуле для Москвы. Скорее всего, они строятся по другой обучающей выборке с преобладанием сайтов данного региона.

 

За несколько лет существования в MatrixNet добавилось множество новых факторов. А поменялся ли сам алгоритм? Если да, то как?

С. Л.: Суть текущего подхода «Яндекса» к построению алгоритма ранжирования – машинное обучение. MatrixNet был революционным в том смысле, что позволил без больших вычислительных затрат учитывать в ранжировании существенно больше факторов, чем предыдущий алгоритм машинного обучения. Вместе с тем факторы добавляются, но машинное обучение как таковое остается. Гораздо более значимая революция совершилась во времена релиза «Магадан» (или чуть раньше), когда произошел переход от аналитической формулы к машинному обучению.

Но, кроме построения формулы с помощью машинного обучения, есть куча предфильтров и постштрафов: создаются новые, модифицируются старые. Развитие алгоритма на текущий момент, с моей точки зрения, заключается преимущественно в создании «костылей» и «подпорок» к тому, что выдало машинное обучение. Дело в том, что в результате машинного обучения получается формула, не имеющая физического смысла. И трудно понять, что нужно подправить на входе, чтобы на выходе получались осмысленные результаты. Поэтому кое-что приходится править с помощью надстроек – фильтров и штрафов.

 

Оптимизаторы часто слышат о появлении новых факторов ранжирования сайтов. А какие факторы ушли в прошлое? На что «Яндекс» перестал обращать внимание?

С. Л.: Например, на содержимое метатега keywords, учет которого имел место в начале 2000-х. А если серьезно, дело в том, что алгоритм машинного обучения может счесть часть факторов незначащими и присвоить им в конечной формуле нулевые веса. Сегодня набор незначащих факторов будет одним, завтра, после пересчета формулы по новой обучающей коллекции, другим. Наверняка разработчики отслеживают, какие факторы остаются незначащими на протяжении нескольких пересчетов, и впоследствии принимается решение об их физическом исключении из алгоритма. Но извне достоверно определить, с каким весом тот или иной фактор участвует в формуле, практически невозможно.

 

Предположим, наша задача – проверить влияние того или иного фактора. Как правильно поставить эксперимент, чтобы не принять совпадение за тенденцию? Каким должен быть объем выборки?

С. Л.: Многое зависит от того, какой именно фактор вы собираетесь исследовать. И есть ли вообще он в алгоритме. Увы, сейчас проверить влияние большинства факторов нельзя ввиду невозможности убрать шум, даже если вы наверняка знаете, что представляет собой тот или иной фактор. Дело в том, что для чистой проверки работы одного фактора необходимо зафиксировать все остальные, включая временные. Иначе говоря, создать достаточное количество одинаковых тестовых страниц, которые будут различаться между собой значением одного-единственного изучаемого фактора, практически полных копий. Но зачастую и этого мало, так как результат может зависеть от комбинации искомого фактора с каким-то другим, причем вам неизвестно каким. И при разных значениях второго фактора исследуемый будет вести себя по-разному. Также нужно понимать, что, изменяя значение проверяемого фактора, вы можете изменить значение других факторов, которые вы обязаны зафиксировать. Все это сильно зашумляет эксперимент, обычно приводя к недостоверности результатов. Те же факторы, которые поддаются проверке с достаточной степенью достоверности, должны быть настолько мощными, чтобы шум не мешал их анализу. Пример – кликовые факторы.

 

Значит, по вашим наблюдениям, кликовые факторы играют значительно большую роль, чем многие другие? А не преувеличивает ли «Яндекс» степень их влияния?

С. Л.: Да, они играют колоссальную роль по сравнению с прочими. По крайней мере, я не знаю другой группы факторов, которая в одиночку позволяла бы, несмотря на значения всех остальных, довольно быстро выводить сайты в топ из ниоткуда. И, на мой взгляд, здесь налицо явный дисбаланс, да еще эти факторы имеют положительную обратную связь. Происходит «консервация» топов, и это еще не худшее. Худшее – то, что кликовые факторы весьма уязвимы по отношению к внешнему искусственному влиянию.

 

Должен ли «Яндекс» использовать только действительно нужные факторы, или можно добавлять бесконечное количество даже, казалось бы, бесполезных метрик (условно говоря, «количество гласных букв в слове»). Может ли из-за этого алгоритм выйти из-под контроля?

С. Л.: Мне трудно судить, что «Яндекс» должен, а что не должен. Я не вижу их метрик, мне неизвестно, что с ними происходит при добавлении абсурдных факторов. Но мне представляется, что безграничная вера в машинное обучение, в то, что чем больше факторов, пусть самых нелепых, тем лучше, – это не совсем правильно. Как сказал сотрудник Google Владимир Офицеров, «если формулу понять нельзя, то ее нельзя и улучшить». Эта позиция мне больше импонирует. Получается, что сотрудники «Яндекса» пытаются улучшить свою формулу, жонглируя факторами, придумывая их новые комбинации, в надежде на то, что умный алгоритм обучения сам все разложит по полочкам. Но не всегда выходит так. Вообще, машинное обучение создает опасную иллюзию, что любую проблему можно решить легко и быстро, особо не вникая в физический смысл. Нужно только придумать побольше разнообразных факторов, собрать достаточно широкую обучающую выборку и засунуть все это в MatrixNet. Получили неважный результат? Надо поколдовать с факторами. Помножить количество латинских букв в тексте документа на количество запятых на сайте и засунуть внутрь. Ого, значение метрики увеличилось на две миллионные. Хороший фактор, оставляем. Пусть будет «фактор имени меня». Так, что бы нам еще эдакое придумать?

 

Развитие службы асессоров «Яндекса», расширение ее штата тоже следствие необходимости постоянно корректировать алгоритм? Убери сейчас асессоров, и выдача превратится в кромешный ад или не все так страшно?

С. Л.: Асессоры – это люди, которые размечают обучающую выборку для алгоритма ранжирования. Это неотъемлемая часть машинного обучения. Не будет асессоров – не будет обучающей выборки. Не будет обучения – не будет выдачи вообще. Часто асессоров путают с сотрудниками отдела анти-SEO, с теми, кто вручную накладывает санкции на сайты. Да, есть такие специалисты, которые глазами просматривают кучу сайтов и решают, для людей те или нет, учитывать ли с них ссылки и т. д. И они уже в том числе составляют обучающие выборки для антиспам-алгоритмов.

 

Нужны ли вообще «Яндексу» фильтры, если теоретически MatrixNet должен сам не пускать в топ «плохие» сайты?

С. Л.: Вот-вот, только теоретически. Но возрастающее количество штрафов и фильтров свидетельствует о том, что результат далек от идеала. И итог деятельности хитрого механизма приходится по старинке править кувалдой. Не исключено, что со временем все фильтры и штрафы сольются в настолько мощную надстройку над результатом машинного обучения, что тот не будет оказывать заметного влияния на конечную выдачу. И в итоге мы опять получим вместо машинного обучения аналитическую формулу.

 

С чем, по-вашему, связана разница в политике поисковых систем относительно апдейтов: у Google корректировки выдачи происходят ежедневно, а у «Яндекса» – раз в пять-десять дней?

С. Л.: Может быть, дело в мощностях?

 

Кстати, а что с Google? Каков общий принцип работы его алгоритма?

С. Л.: Google более закрытый, чем «Яндекс», в плане освещения особенностей алгоритма ранжирования, но, судя по тем скудным обрывкам информации, что доходят до нас от его сотрудников, там имеет место аналитическая формула ранжирования. Какие-то ее параметры могут рассчитываться с помощью машинного обучения, но не вся формула, как это происходит в «Яндексе». Может быть, Google уже прошел путь обратной эволюции от полностью машинного обучения назад к аналитической формуле?

 

Есть ли у «Яндекса» и Google явно противоречащие факторы? Такие, что из-за них, делая страницу «хорошей» для одной поисковой системы (ПС), мы ухудшаем показатели для другой. Как тогда быть?

С. Л.: Возьмем, к примеру, один из последних штрафов «Яндекса» – за переоптимизацию. Штрафуются документы, которые имеют достаточно большое количество подзаголовков <h1>… <h6> и тегов логической и физической разметки <b>, <strong>, <i>, <em>. В Google за такое не штрафуют. Наоборот, это может сработать в плюс.

 

И как же поступить несчастному оптимизатору, чтобы угодить всем? Ведь не секрет, что среднестатистический сайт гораздо быстрее может оказаться в топе Google, но в перспективе «Яндекс» способен обеспечить больший трафик.

С. Л.: В русскоязычном поиске осталось всего два поисковых движка. Ситуация еще не самая плохая. Конечно, как и вообще в жизни, приходится искать разумные компромиссы.

 

Чего сейчас больше в SEO – математики или маркетинга? Ведь, с одной стороны, сами ПС действуют по математическим формулам и хорошо бы их разгадать, с другой же – по мнению ряда специалистов, если делать сайты для людей (полезные, интересные, юзабельные), ни к чему думать о формулах, сайт поднимется и так.

С. Л.: Без математики пока никуда. Полезные и интересные сайты, может, и поднимутся без специальных технических действий, но не очень быстро. Если вообще когда-нибудь поднимутся.

 

После того как оптимизаторы «разгадывают» какой-то фактор и начинают им злоупотреблять (поведенческие факторы, например), «Яндекс» усложняет его алгоритм. А усложняет ли он себе тем самым жизнь? Получается, вместо учета большого объема данных ему приходится отсеивать шум. С другой стороны, если бы не было оптимизаторов, алгоритмы ПС развивались бы значительно медленнее? Можно ли сказать, что SEO – двигатель прогресса в поиске?

С. Л.: Если бы не было оптимизаторов, поисковикам жилось бы много проще. Не нужно было бы расходовать колоссальное количество энергии на противодействие попыткам манипулировать результатами поиска. Так что двигателем прогресса я бы SEO не назвал. Впрочем, SEO – это не что иное, как поиск экстремума той формулы, которую создают поисковики. И SEO в конечном счете способствует тому, чтобы оптимальное решение не выглядело уродливым. Хотя, по идее, поисковикам следовало бы об этом заботиться загодя, а не после того, как оптимизаторы наглядно продемонстрируют уродливость оптимального решения для текущей формулы. У меня складывается впечатление, что разработчики поисковых систем заранее практически не учитывают возможности искусственного влияния на тот или иной фактор, не просчитывают ситуаций, к которым такое влияние способно привести, и в итоге мы получаем линкбомбинг, текстовые «портянки» или кликерские клубы.

 

Ну и напоследок: нужно ли «пить водку с “яндексоидами”», чтобы успешно продвигать сайты?

С. Л.: Питие водки с «яндексоидами», к сожалению, не является фактором ранжирования.

 

Сгинь, нечистая! История и эволюция нечестных методов поисковой оптимизации

 

В беседе с авторами книги Сергей Цыплаков, создатель и руководитель биржи MainLink (http://www.mainlink.ru), и Алексей Жуков, известный как burunduk, руководитель аналитического отдела UnMedia (http://www.unmedia.ru), накопившие большой опыт в SEO с первых лет его существования в российском Интернете, углубились в историю «пограничных» методов поискового продвижения – историю безответственных авантюр и тонкой аналитики единовременно. Вместе с ними мы постарались понять, что заставляло и заставляет веб-мастеров либо нарушать гласные и негласные требования поисковых систем, либо искать не до конца регламентированные способы SEO, прежде всего с точки зрения ссылочного продвижения.

 

Что, условно говоря, легитимно, с точки зрения поисковиков, где пролегает эта граница сегодня и как она менялась?

Сергей Цыплаков: До того как возникло ссылочное ранжирование, в продвижении преобладали ключи. Как только владельцы сайтов принялись поголовно употреблять ключи, и к тому же помногу, «Яндекс» принял меры. Позднее, в 2002–2003 годах, актуальными оказались SEO-методы, связанные с текстами.

В 2004 году «Яндекс» заявил, что для того, чтобы нормально ранжировать сайты, он станет учитывать ссылки. Вначале были обменные сети, которые плодились как грибы после дождя. Один веб-мастер обменивался с другим ссылками, и выигрывали оба. Чуть позже расцвели автоматические системы обмена с разными схемами: использовались перекрестные ссылки, задействовалось огромное количество страниц на тьме-тьмущей сайтов. Тогда «Яндекс» за это не банил, метод был действенным. В BDBD (http://www.bdbd.ru/) даже создали систему автопродвижения: в нее вводился сайт и на него мигом автоматически ставилось множество ссылок, и эта механика какое-то время оправдывала себя.

Постепенно обмен перестал быть обменом в классическом понимании. Возобладала коммерческая составляющая: люди стали платить за ссылку. Это было выгодно как веб-мастеру, так и оптимизатору. Веб-мастер зарабатывал деньги, оптимизатор добивался желаемого эффекта. Как раз в ту пору создавалась биржа MainLink, поначалу не имевшая никакого интерфейса: одна страничка, где фиксировалось, кто кому и сколько должен заплатить.

В 2005–2006 годах работало ссылочное продвижение через главные страницы. Ссылки размещались на титульной странице, обычно внизу. «Яндекс» на это никакого внимания не обращал год-два. Клиенты были счастливы. Но и гигантского трафика с «Яндекса» на площадки не шло.

Так, сайт VIP-Teatr.ru продвигался 30 ссылками с главных страниц по запросам «билеты в театр», «билеты в ленком», «билеты в большой театр». Он по всем ключевым словам был первым в топе около полутора лет. Затем открылся Sape, приобрели значение внутренние страницы. Хватало $80-200 на раскрутку. Тогда внутренние страницы стали работать еще лучше, они были дешевле. Первая ссылка на внутренней странице у Sape стоила 3 руб. Действовал такой неписаный закон: ссылка должна стоить 3 руб. И тысяча таких ссылок в 2006–2007 годах вытягивала вверх любой запрос. В конце концов завелись ушлые веб-мастера, которые облапошивали рекламодателей, зарабатывая деньги, но не показывая ссылки. Обычно такое проворачивали на чужих ресурсах: сидит админ сайта, и ему надо подзаработать. Чтобы клиент не увидел, он изгалялся, придумывая, как закамуфлировать ссылку под цвет фона, сдвинуть вправо-влево, задействовать невидимый слой. Таких способов насчитывалось множество. Создавались даже мини-агентства – фирмы-посредники, которые выкупали сайт или доступ к нему, ставили на него свой скрипт и размещали на нем ссылки.

 

Поисковики не реагировали на эти ухищрения?

С. Ц.: Поисковая система, особенно «Яндекс», крайне инертна и неповоротлива в своих решениях. Если Google на заре своего становления продекларировал: «За ссылки я вас буду банить, вы нарушаете наши законы» (Google американский, с российским иначе), то у нас, вместо того чтобы соблюдать рекомендации «Яндекса», пытались обжулить его с удвоенными усилиями. «Яндекс» упустил время. Ему нужно было ссылки разбомбить в 2006 году, когда Sape открылся. Возможно, в ту пору его действия увенчались бы успехом.

Алексей Жуков: Впоследствии, когда поисковики начали наказывать за массовую продажу ссылок, веб-мастера пытались прятать эти ссылки. Доходы никто терять не хотел. Было придумано много вариантов клоакинга. Сначала пробовали не показывать эти ссылки только «Яндексу». Были, да и сегодня встречаются индивидуумы, которые обманывают клоакингом саму биржу: ей показывается, будто ссылка есть, а остальным – что ее нет. Очень жесткая форма обмана, но, к счастью, она хотя бы выявляется, пусть даже с наибольшей надежностью лишь ручными методами. Только с наступлением эпохи агрегаторов – SeoPult, Rookee и пр. – ссылки начали автоматизированно проверять на всевозможные виды клоакинга.

Маленькое отступление: в 2006–2007 годах я нашел забавный способ объегорить биржу – ставить ссылку в стандартном HMTL-комментарии. Робот биржи понимал, что ссылка стоит, но она же закомментирована. На странице не отображалась, и поисковая система ее не видела. Достаточно долго биржа на это никак не реагировала.

<!–<a href="http://www/site.ru">анкор ссылки</a>–>

С. Ц.: В 2006–2007 годы, когда ссылки стали «клоачить», по Интернету даже гуляли базы IP «Яндекса» и Google, которые подставлялись, притом обновляясь, чтобы все (рекламодатель, веб-мастер, оптимизатор) видели ссылки, а «Яндекс» в упор не замечал.

А. Ж.: «Яндекс» потом сам открыл, как проверять его IP, – обратным запросом. Не так давно, когда проблемы с клоакингом приобрели нешуточный масштаб, в «Яндексе» была найдена уязвимость. Можно было посмотреть, зайдя с IP «Яндекса», как отображается ресурс. На данный момент она доступна только из браузера. Но хитрые веб-мастера нашли выход. В общем, если стоит запрет на отображение донора в данном сервисе, то, скорее всего, что-то нечисто.

 

Много ли сейчас таких сайтов? Как менялась обстановка после 2007 года?

С. Ц.: Около 5 % всех ссылок имеют так или иначе выраженные нарушения, либо осознанные, либо неосознанные. На сегодняшний день все способы сокрытия известны. Раньше что-то еще было в диковинку: noindex, nofollow, robots.txt. Очень много ошибок в robots.txt веб-мастера делают из-за неправильного составления написания, не придерживаются формата. Зачастую не учитывают, что robots. txt нужно создавать отдельно под «Яндекс» и под Google. А они делают один: мол, под «Яндекс» – значит «под все».

На 5 % впору рукой махнуть – отклонения в пределах допустимого. Но это сдерживающая сила: если хоть биржа, хоть оптимизатор, хоть агрегатор, хоть конечный клиент опустит руки и не будет выявлять нарушения, все будет куда хуже.

А. Ж.: Что до 2007 года, как раз тогда, по-моему, был популярен запрет индексации ссылок через sitemap. Указывалось, что страница важная, но переиндексировать ее не надо. Тогда много площадок с Sape улетело.

С. Ц.: Следуем дальше. 2008 год. АГС. Что это означает? Был сайт с хорошим, да пусть даже с не очень хорошим контентом, включавший множество страниц. И «Яндекс» издал указ, по которому все такие сайты автоматически понижались в рейтинге. Не очень правильное решение. Если раньше у сайта было в индексе около 1000 страниц, то осталось 10–15. Но ссылки, которые ранее были куплены на тех тысячах страниц, остались. Ведь оптимизаторы не имеют возможности проверять каждую ссылку ежедневно. Ссылка остается висеть, страницы в индексе «Яндекса» нет, но работает ссылка или нет, большой вопрос.

А. Ж.: У меня сайт одним из первых попал под АГС, причем не под тот, что до десяти страниц индекс сайта сворачивал, а под другой, который был намного раньше включен. Страницы на том ресурсе были следующими: одна большая фотография, несколько маленьких да одна подпись. Плюс ссылки на другие страницы с фотографиями. Никакого контента. Картинки в индексе были, картиночный трафик был, а сами страницы – удалены из индекса. Причем у сайта оставалось на тот момент около 300–400 страниц в индексе. Потом, когда АГС включили, их количество еще подсократилось, хотя реально на сайте было около 2000 страниц. И с них внутренние ссылки работали, перелинковка работала. С НПС и внешними тоже порядок был.

Слегка отойду от заданной темы: сейчас у «Яндекса» с индексом тоже проблемы, когда под новую дату кэша выставляется старая страница, причем может быть выведена несуществующая, которой нет добрых полгода. Несмотря на обилие дата-центров в «Яндексе», все равно база грязная и не так часто обновляется, как хотелось бы. Хотя, насколько я понимаю, они хранят вообще всю информацию по сайту, которая когда-либо появлялась.

С. Ц.: Вернемся в 2008 год. Тогда Константин Каширин сделал сервис проверки на непот. Это была золотая жила – якобы проверка работоспособности ссылок с донора посредством языка запросов. Чтобы понять, участвует ли в поиске данная страница по тому или иному анкору с некоего донора, может ли она попасть в поиск.

Потом отключили операторы #link и ancor. Это был болезненный удар по оптимизаторам. Да что там – одна из ядерных бомб на SEO. Дальше операторы начали отключать один за другим. Были какие-то недокументированные. Порой до сих пор оператор существует, но показывает белиберду. Одно время в BDBD хотели запустить биржу Indexoid. Они фиксировали дату индексации ссылки с помощью языка запросов «Яндекса». Завязались на один запрос. Но это их не спасло.

Ссылочные базы бирж все приохотились парсить, стали свои белые списки формировать. Но эта волна быстро спала.

Поисковики начали закручивать гайки. То, что работало для одного, могло не работать для другого. Одно время ходила хохма: мол, если ссылка с точкой на конце, значит, она работает. А без точки – нет. Был еще экзотический способ: в конце ссылки ставили /n, перевод на следующую строку. Мне один клиент прислал ссылку со словами: «А если взять простую ссылку, без этой каретки, то донор находится под непотом. А когда ее добавляешь, донор работает». Ссылки стали разнообразиться. Их начали делать с разными ухищрениями (абракадабра, текстовые простановки и пр.), чтобы узнать, работают ли они. Это вошло в моду. Перед тем как закупаться, большой оптимизатор ставил несколько ссылок на сайт, смотрел, работают они или нет, анализировал обстановку.

 

2008 год был переломным для оптимизации?

С. Ц.: Он точно был переломным для «Яндекса». Именно тогда он объявил войну SEO-ссылкам. Биржам, между прочим, войну не объявляли. Если бы объявили, то, наверное, сразу бы их забанили.

Положа руку на сердце, Россия – уникальная страна с точки зрения ссылочного ранжирования. В Рунете на 2009–2010 годы «живых», активных сайтов был миллион, из них биржи заняли 60 %. Сравним с Google. Это несколько триллионов сайтов, и из них участвующих в линкоторговле, наверное, 0,5 %. Упомянутые наши 60 % надо было, возможно, сразу срубить под корень, но тогда осталась бы абсолютная помойка – всякие дорвеи и иже с ними. «Яндекс» упустил момент. Не знаю, жалеет он или нет. Процент ГС сохраняется, и ситуация необратима. Даже «публичные порки» ее не изменят. Если отменить ссылочное ранжирование, в топе останется шлак.

А. Ж.: Кроме ссылочных, нет других факторов, которые позволяли бы достаточно хорошо отранжировать сайты. «Яндекс» постепенно снижает влияние ссылочного ранжирования, но полностью от него никогда не откажется. Это невозможно.

 

Какие способы обмана со ссылочным продвижением использовались позднее, вплоть до настоящего времени?

А. Ж.: Последнее веяние – это когда ссылка… есть. Заходишь на страницу – ссылка вроде стоит. По ней переходишь – все чисто. Ведь как проверяется ссылка? Проиндексирована – не проиндексирована. Что ищется? Анкор ссылки на конкретной странице. Итак, анкор наличествует. Но это не ссылка. Это может быть кусок текста. А биржа «клоачится». Отследить такой финт сложно. Выполняется клоакинг робота биржи, чтобы тот видел ссылку, либо она в комментарии вставляется.

С. Ц.: Проверки, естественно, проводятся у всех, но вот если, например, есть каскад (комментарии) или вложенность, то структура документа нарушается и ничего нельзя отследить. Когда имеется вложенный документ – один в другой, другой в третий, – а тег берется из другого и эти области накладываются друг на друга, робот не понимает, что это за страница и что с ней происходит. Удастся ли его провести – фифти-фифти.

<noindex>

<table>

<tr>

<td>какой-то текст</td>

</noindex>

<td>какой-то текст</td>

</tr>

<tr>

<td><a href="http://www/site.ru">анкор ссылки</a></td>

<td>какой-то текст</td>

</tr>

</table>

А. Ж.: Было дело, «Яндекс» не вполне корректно обрабатывал тег noindex. Можно было закрыть с помощью noindex одну часть таблицы, а после </noindex> в тот же блок ставилась ссылка, и она попадала в noindex. Разрыв тега нарушал структуру. Например, начинается таблица, тег noindex стоит перед ней, а закрывающий тег – внутри нее, после какой-то строки. А на следующей строке – ссылка. Вроде как она не закрыта noindex, а поисковик всю таблицу забирал. Формально нарушений нет, с точки зрения веб-мастера. Предъявить ему нечего, но ссылка не индексировалась.

Одно время веб-мастера очень любили использовать для ссылок «бегущие строки». Они индексируются, но очень долго. «Бегущая строка» шла по сайту обычным тегом, и в него вставлялись ссылки. «Яндекс» почему-то не хотел индексировать его содержимое – индексировал с изрядной задержкой. Проиндексировал он страницу – и ты тотчас добавил ссылочку в «бегущую строку». А появлялась она в индексе только через три месяца. Веб-мастер три месяца получает деньги, избегая кары. Потом ему надоедало, он снимал эту ссылку. А в кэше ничего криминального не оказывалось, санкций не было.

Когда начали предъявляться более строгие требования к площадкам: «Статья должна быть уникальной» и т. д., возникла мода генерировать кучу бредотекста. В индекс он влетал на ура. Но если оптимизатор заходил на такую площадку и начинал ее изучать, то, естественно, он плевался. Значит, посетителю сайта нужно было показать что-то более или менее нормальное. Что делали? Брали какой-то сайт из «Яндекс.Каталога» и подсовывали его пользователю. (До сих пор работает.) А поисковику показывался бред полнейший. Причем если оптимизатор был неопытный, пытался скопировать часть текста со страницы вроде бы хорошего сайта, вставлял в какую-то программу, чтобы с помощью поиска проверить фрагмент на уникальность, то получал подтверждение, что текст абсолютно уникальный, в индексе нигде ни фразы, кроме как на рассматриваемом сайте.

С. Ц.: Отдельная тема – создание ГС. До сих пор эта индустрия процветает. Конечно, есть мнение, что хороший сателлит стоит от $500. Но именно хороший. У многих умельцев процесс автоматизирован. Они пишут свои программы, скачивают сайты, что-то видоизменяют, выкладывают в Сеть, ждут, когда это загонится в индекс хоть как-то, и сразу на биржу бегут.

А. Ж.: Есть более продвинутые, которые ничего не пишут. Просто в онлайн-режиме парсят контент с другого сайта и бирже это показывают. Единственное, добавляются ссылки. На хостинге находится только данный скрипт и фрагмент кода, скрипт с Sape например. Сайт выглядит прилично, его принимают в биржу. Ну почему не принять-то? Иные площадки такого сорта существуют очень долго. Мне известен сайт с бредом в коде (посетителям и роботам подсовывается сравнительно приемлемый контент), существующий больше года. Там 3000 страниц, и через Sape на него продано приблизительно 1700 ссылок. Даже если одна ссылка стоит рубль – средняя цена составляет 3 руб., но там показатели никакие, – выходит 1700 руб. в месяц. Ни с чего. Веб-мастеру в карман. Ну и биржа получает свой процент. Такие ссылки, конечно, все менее действенны. Раньше эффект приносила любая.

С. Ц.: Все больше и больше фильтров вводится, все меньше и меньше ссылок работает. Но не работать совсем они, наверное, не могут. У «Яндекса» есть вероятность срабатывания, вот что хорошо. Не «0 или 1», а какое-то промежуточное значение.

 

А может ли ссылка работать в минус?

С. Ц.: Да. Кстати, это один из большущих недостатков любого поисковика. Неоднократно в порядке эксперимента брали сайт, прогоняли по форумам, как-то еще гадили – и он валился. Даже в 2012 году целая индустрия существует – заплюй конкурента и вылези в топ. Или скопируй сайт конкурента и насоли ему. Новомодное направление – исправление репутации в Интернете. Создаешь сайт «Вася Пупкин – дегенерат», он попадает в топ, а потом Васе Пупкину сам же и предлагаешь услугу «ассенизатора» за хорошие деньги.

А. Ж.: В свою очередь, купив некачественные ссылки на бирже самостоятельно, веб-мастер сегодня рискует ухудшить свои показатели. Часто ругают SeoPult, Rookee, WebEffector, но самостоятельно многие вещи человек малознающий не сумеет сделать с той же эффективностью, что и любой из агрегаторов.

 

Чаще встречается обратное мнение, что агрегаторы покупают такие ссылки, которые заводятся под фильтры. Насколько это обоснованно?

А. Ж.: Я вправе говорить только с точки зрения SeoPult. Да, мусор встречается, любой автомат дает какой-то процент брака. У SeoPult сложная проверка доноров, вплоть до того, что все будто бы хорошо, но на сайте 30–40 % ссылок не индексируется. Донор в таком случае будет просто-напросто выкинут из системы. Ссылки переиндексируются, но примерно через полгода. Даже если я сам буду закупать, многие вещи в ручном режиме не замечу.

 

Человек не может проверить качество донора, закупаясь в SeoPult?

А. Ж.: Что-то он проверяет. При ручном отборе можно что-то просмотреть, но любой агрегатор, любая биржа обладает большей информацией. У них статистики больше. Я сам оптимизатор, у меня два проекта. Сколько я на них могу ссылок купить? На скольких донорах? Нужно перебрать достаточно большое их количество. У агрегатора эти данные есть. Он знает, что с такого-то донора ссылки не работают, хотя все индексируется. Закупка ведется, а роста позиций нет. У фрилансеров таких данных нет – им неоткуда взяться. Но чтобы оценивать площадки по другим параметрам самостоятельно, нужно быть опытным оптимизатором, каких единицы.

С. Ц.: С другой стороны, здесь можно применить концепцию «Яндекса» – «сайт для людей». Если ты будешь каждого донора проверять вручную, визуально, и хотя бы ставить себя на место поисковой машины, и открывать страницы «в режиме робота», это будет объемная работа. Для одного проекта ее можно выполнить за неделю.

А. Ж.: Одного-двух. А если у тебя пять-шесть проектов? А если у офлайнового бизнеса делается сайт, кто будет анализом заниматься? Генеральный директор сам примется выбирать ссылки? Оно ему надо? Да и надо в предмете разбираться все-таки.

Агрегаторы дают погрешность. Кто-то считает, что большую, кто-то – что маленькую. Вместе с тем у агрегаторов уйма режимов.

Пришел один: «Ба, агрегатор! Замечательно!» Запрос «реклама», или «ксерокс», или «Sony». Агрегатор ему показал бюджет. Он залил в систему деньги, неделю ждет. Топа не достиг. Уходит. Но, извините, такие вещи сейчас не проходят. Это раньше, еще в старые времена выстреливало. Система не может предугадать все выкрутасы владельцев сайтов. Вот имярек начитался умных форумов, стал твердить, что нужно продвигаться по куче слов. Спарсил эту кучу слов, составил семантическое ядро. Реальный пример: «готовые фирмы», «Готовые фирмы», «фирмы готовые» – тьма вариантов. SeoPult реально показал ему по каждому слову бюджет. Он закупился по каждому запросу. Превысив бюджет фактически в семь-восемь раз. Был ссылочный взрыв. В интерфейсе ведь тоже надо разобраться. Там написано: «Закупать плавно». А все хотят сразу, быстро. Мораль: агрегатором тоже нужно уметь пользоваться.

 

А если посмотреть на текущие способы заработка на сайте глазами веб-мастера?

С. Ц.: Для веб-мастера биржи скорее благо. Но если он единовременно начинает сразу много зарабатывать на площадке, это сказывается на ее качестве. Его банят, или он под всевозможные ссылочные санкции попадает, одна из них – «ссылочный взрыв». Это зло как для веб-мастера, так и для оптимизатора. Вроде владелец сайта хочет заработать, рекламодатель – купить ссылки. Но когда рекламодателей много, возникает угроза. Взять хотя бы агрегатор, где 10 тыс. проектов. Он берет новый сайт – и на том сразу 1–2 тыс. ссылок появляется. Это опасность для сайта. Учитывая, что сайт может участвовать не в одной бирже, а сразу в нескольких, да еще и размещать вечные ссылки, статьи, есть о чем задуматься.

Последние несколько лет все актуальнее проблема: нормальных сайтов не хватает. Если один раз веб-мастер узнал, что можно заработать на сайте с помощью ссылок, пиши пропало. Веб-мастеру никогда не объяснишь, что зарабатывать на сайте нужно постепенно.

А. Ж.: Подходы разнятся. Есть те, кто создает ГС с целью по-быстрому отбить вложения, и они что угодно вешают. Например, в домен, хостинг, сайт вложили 400 руб. Им нужно эти 400 руб. максимально быстро окупить. Отбили за полмесяца, а дальше работаем в плюс? Чудесно. Убили его – и пусть. Они на автомате это делают.

Кстати, к разговору о фильтрах. Были фильтры, которые отключали исходящее ссылочное с сайта. Ссылка была в индексе, но она никак не работала. Раньше это проверялось, теперь сложнее. Причем сайт мог находиться в топе по своим запросам. Сайт хороший, трастовый, но на нем решили заработать. Поисковик решил его не выкидывать, а просто отключить ему исходящее ссылочное. Под фильтром томились и КП[17], и «Аргументы и факты».

 

Там были люди, которые пользовались своим положением?

С. Ц.: Да. Даже редакция добро давала. Одна ссылка на Regions.ru – тИЦ 15 000 или около того – стоила $800. А у МК[18] и КП всю жизнь выкупали по $270. Мы даже ссылки закупали у МК на MainLink, у нас переходы были оттуда. Но не работали эти ссылки. Они если и работают, то на новые факторы больше, поведенческие.

А. Ж.:  Сайтов перестало хватать, а желание заработать все усиливалось и усиливалось. Стоимость ссылки как прежде всего оценивается? По PR, тИЦ, DMOZ, ЯК. Научились «клеить» домены – в бирж<