• Совместно используемый IP-адрес.
   Lisa Barone в марте 2007 г. написала великолепную статью (http://www.bruceclay.com/blog/archives/2007/03/which_is_better.html) на тему совместного использования адресов IP. Основные проблемы: скорость, возможное присутствие спамеров или не вызывающих доверия соседей на вашем IP-адресе, получение неполной выгоды от ссылок на ваш IP-адрес (более подробно обсуждается по адресу: http://www.seroundtable.com/archives/002358.html).
   • Блокирование IP-адреса.
   По мере того, как пауки ползают по Интернету, они часто находят целые блоки IP-адресов, заполненные совершенно очевидным спамом. Вместо блокирования каждого сайта по отдельности движки иногда принимают дополнительные меры – они блокируют IP-адрес или даже диапазон IP-адресов. Если это вас коснулось, то ищите ваш IP-адрес в Bing при помощи запроса IP: address.
   • Выявление ботов и работа с ними.
   Некоторые системные администраторы избыточно усердствуют в плане защиты и ограничивают доступ к файлам любому посетителю, который делает больше определенного количества запросов (в заданный промежуток времени). Для трафика поисковых движков это может быть губительно, поскольку будет постоянно ограничивать возможности пауков.
   • Ограничения на ширину полосы пропускания и скорость передачи.
   Многие серверы имеют ограничения по количеству поступающего на сайт трафика. Это может быть очень вредно в тех случаях, когда контент вашего сайта становится очень популярным, а ваш хост ограничивает доступ. Вашу работу не смогут увидеть не только те люди, которые потенциально могли бы сделать ссылки (и которые, соответственно, не сделают ссылок), но и поисковые движки также не смогут просмотреть ваши страницы.
   • География сервера.
   Это не обязательно проблема, однако нужно понимать, что поисковые движки используют местоположение web-сервера при определении релевантности контента сайта для местного поиска. Поскольку местный поиск является главной частью компаний по продвижению многих сайтов, то очень разумно размещать сайт в той стране, для которой ваш контент наиболее релевантен.

http://web.analytics.yahoo.com/) или Google Analytics (http://www.google.com/analytics). Конечно, имеются также и аналитические решения более высокого класса (мы обсудим их более подробно в главе 9).

http://awstats.sourceforge.net/), Webalizer (http://www.webalizer.com) или что-то подобное. Как можно быстрее получите доступ к этому инструменту.
   Эти инструменты делают то, чего не может сделать аналитическое программное обеспечение (выполненное на базе JavaScript). Они записывают активность пауков поисковых движков на вашем сайте. Несмотря на то, что активность пауков в разные дни сильно отличается, вы все равно сможете увидеть долгосрочные тенденции поисковых движков (активность пауков увеличивается (это хорошо) или уменьшается (это плохо)). И хотя данные по активности пауков очень ценные, не полагайтесь только на эти предоставляемые хостинговыми компаниями бесплатные решения, поскольку данные, регистрируемые традиционными инструментами аналитики, также имеют большую ценность.
   Примечание
   Некоторые пакеты программного обеспечения для web-аналитики читают также и файлы журналов, поэтому могут делать отчеты по активности пауков. Мы обсудим их подробнее в главе 9.

http://www.google.com/webmasters/tools) и Bing Webmaster Tools (http://www.bing.com/webmaster). Мы подробно опишем их в главе 11.
   Вам нужно будет получить эти инструменты для планирования как можно скорее. Оба инструмента дают ценное представление о том, как поисковые движки видят ваш сайт. Сюда входят такие вещи, как данные по внешним ссылкам, данные по внутренним ссылкам, ошибки просмотра, поисковые термины большого объема и многое, многое другое.
   Примечание
   Некоторые компании не хотят настраивать эти инструменты, потому что не хотят делиться своими данными с поисковыми движками, но это совсем не проблема, поскольку эти инструменты не дают поисковым движкам никаких дополнительных данных о вашем web-сайте, наоборот – они позволяют вам увидеть некоторые данные, которые уже имеются у поисковых движков.

http://www.enquisite.com). В главе 5 мы расскажем, как можно использовать программу Enquisite Optimizer, чтобы находить низкочастотные ключевые слова, которые вы сможете использовать для оптимизации контента вашего сайта или для ваших компаний платного поиска.
   Несмотря на то, что эта категория инструментов находится в периоде становления, за ней стоит пристально наблюдать, чтобы знать, какие инструменты могут дать вашей организации преимущество при конкурировании за поисковый трафик.

http://www.google.com/contact/spamreport.html или лучше через панель вашей учетной записи в Google Webmaster Tools (где ваше сообщение будет иметь больший вес).
   Как узнать, соблюдает ли правила сайт, находящийся в верхних строках результатов поиска? Поищите сомнительные ссылки на этот сайт при помощи инструментов анализа обратных ссылок (таких, как Linkscape (http://www.seomoz.org/linkscape)). Поскольку количество ссылок – это один из факторов, который используется поисковыми движками для определения позиции в поиске, то не соблюдающие этических правил web-сайты получают ссылки с множества нерелевантных сайтов низкого качества.
   Такая слежка может принести некоторые сюрпризы. Приведем примеры двух нечестных ссылочных схем.
   Пример 1.
   Бедой для GiftCertificates.com (на некоторое непродолжительное время) стала FindGiftCards.com, которая появилась из ниоткуда и заняла две верхние позиции в Google по очень важному поисковому термину gift certificates, оттеснив таким образом GiftCertificates.com на третью позицию.
   Как же FindGiftCards.com сделала это? Она управляла другим сайтом (123counters.com), где имелся бесплатный счетчик количества посещений, а этот счетчик распространял ссылочный спам по тысячам сайтов, которые делали обратные ссылки на FindGiftCards.com и другие сайты его сети.
   К несчастью для FindGiftCards.com, Stephan Spencer (основатель и президент агентства электронного маркетинга Netconcepts) разоблачил эту компанию в своей статье, которую написал для Multichannel Merchant в 2004 г. (http://multichannelmerchant.com/catalogage/ar/marketing_casing_competition/), после чего компания Google узнала об этой афере.
   Конечный результат? В индексе Google осталось две страницы (рис. 4.9).
   Рис. 4.9. Сайт всего с двумя страницами в индексе
 
   Пример 2.
   CraigPadoa.com досаждал компании SharperImage.com, превосходя ее рейтинг по самому ее популярному продукту Ionic Breeze при помощи жульничества с фреймами и спама в гостевой книге (иначе говоря, атакуя уязвимые сайты и размещая в гостевых книгах фальшивые записи, которые содержали спамерские ссылки на свой собственный сайт). Как только SharperImage.com поняла, что происходит, она наложила ограничения на подобные практики в своих договорах с партнерскими компаниями и усилила наблюдение за такими спамерскими практиками.

http://www.netconcepts.com/urlcheck либо можете зайти на поисковый движок и ввести там site: theirdomain.com. Тот конкурент, у которого в базе Google содержится лишь небольшой процент его сайта, вероятно, имеет недружественный к паукам поисковых движков сайт.
   • Имеют ли их товарные страницы насыщенные ключевыми словами заголовки страниц (теги title), уникальные для каждой страницы?
   Вы можете без труда просмотреть заголовки страниц всего сайта в Google или Yahoo!. Для этого нужно сделать поиск по site: www.yourcompetitor.com.
   Между прочим, такой поиск может иногда выдать конфиденциальную информацию. Многие web-мастера не понимают, что Google обнаружил и проиндексировал коммерческий конфиденциальный контент, спрятанный глубоко внутри их сайтов. Например, поиск в Google по confidential business plan filetype: doc выдаст вам массу настоящих бизнес-планов.
   • Имеют ли их страницы с товарами и категориями товаров достаточно высокие рейтинги PageRank?
   • Достаточно ли насыщен якорный текст ключевыми словами по всему их сайту (в частности, в навигации)?
   • Штрафуются ли их web-сайты?
   С оптимизацией можно и перестараться. Слишком частое повторение ключевых слов или слишком большое количество подозрительно хорошо оптимизированных текстовых ссылок может привести к штрафу за чрезмерную оптимизацию. Сайты могут также наказываться за избыточное количество дублированного контента. Подробнее узнать о том, как определить наличие штрафов поисковых движков, вы можете в разд. "Воровство контента” главы 10.
   • Используют ли они спамерскую тактику "входных страниц" для поисковых движков?

http://www.netcraft.com. На рис. 4.10 показан моментальный снимок экрана с результатом для HSN.com.
   Рис. 4.10. Пример выходных данных Netcraft
 
   Пока вы там находитесь, посмотрите также кэшированные (архивированные) версии страниц ваших конкурентов (щелкните ссылку Cached рядом с результатами их поиска в Google и вы увидите, не делают ли они что-то слишком агрессивно, например, используют ли "клоакинг" (это маскировка, когда поисковому пауку выдается не та версия страницы, которая демонстрируется пользователю)). Кэшированная страница покажет вам, что именно увидел поисковый движок, и вы поймете, чем она отличается от той страницы, которую вы видите, когда приходите на эту страницу сами.
   • Какой эффект их будущие мероприятия по оптимизации окажут на трафик их сайта?
   Оценивайте успех их оптимизации не только по подъему рейтингов. Периодически записывайте их основные показатели по оптимизации: количество проиндексированных страниц, размер рейтинга PageRank, количество ссылок. Наблюдайте за изменениями трафика их сайта.
   Чтобы получить представление о том, сколько трафика они получают, вам не нужен доступ к аналитическим данным вашего конкурента или к журналам их серверов. Отправляйтесь на сайты Compete (http://www.compete.com), Quantcast (http://www.quantcast.com) или Alexa (http://www.alexa.com) и поищите домен конкурента. Если у вас есть деньги на инструменты для конкурентной аналитики, то можете воспользоваться продуктами компаний Compete (http://comscore.com) или Hitwise (http://www.hitwise.com).
   Предоставляемые этими инструментами данные не очень точные, но они весьма полезны для того, чтобы вы получили представление, в какой ситуации находятся ваши конкуренты. Эти инструменты полезны для выполнения сравнений тех сайтов, которые находятся в одном рыночном пространстве. Чтобы получить более точное представление, используйте их возможности по сравнению трафика нескольких сайтов. В этом режиме вы сможете получить очень точные данные для сравнения их трафика и вашего.
   Теперь вы можете получить эти данные и непосредственно из Google при помощи инструмента Google Trends for Websites (http://trends.google.com/websites?q=wikipedia.org). Этот инструмент выдает только суммарные цифры по трафику Google, но все же гораздо большее количество данных, чем можно получить из других инструментов. На рис. 4.11 показан пример выходных данных инструмента Google Trends for Websites. Обратите внимание, что такие инструменты, как Alexa, Compete и Quantcast, имеют другие уникальные возможности, которых нет в Google Trends for Websites.
   Рис. 4.11. Инструмент Google Trends for Websites
 
   • Каково текущее состояние их сайтов в плане оптимизации (по сравнению с прошлыми годами)?
   Вы можете заглянуть в историю, увидеть предыдущие версии начальных страниц ваших конкурентов и просмотреть их HTML-код (чтобы понять, какие тактики оптимизации они использовали в то время). Чрезвычайно обширный архив web-страниц предоставляет Wayback Machine (http://www.archive.org).

http://www.archive.org), чтобы посмотреть, есть ли там исторические данные по вашему web-сайту (там имеются моментальные снимки того, как выглядел сайт в разные моменты времени).
   Даже если журнал не велся, потратьте некоторое время на создание истории тех изменений, которые оказывают влияние на оптимизацию (мы уже обсуждали их в этом разделе). В частности, узнайте, не сможете ли вы получить те рекомендации, которые давал предыдущий консультант по оптимизации, поскольку это поможет при создании истории изменений и в понимании специфики выполненных изменений.
   Необходимо также обратить особое внимание на то, чтобы понять тип предпринимавшихся ранее действий по сбору ссылок. Использовались ли при этом рискованные теневые схемы? Была ли какая-то конкретная тактика, которая работала очень хорошо? Изучение истории сбора ссылок может дать огромное количество информации, которую вы сможете использовать для определения следующих шагов.

Контрольная точка текущего состояния индексирования

   У поисковых движков огромная задача. Они индексируют онлайновый контент всего мира. Реальность такова: они усердно стараются обнаружить весь этот контент, но в свой индекс включают не все. Это происходит по целому ряду причин. Страница может быть недоступна пауку, она может быть оштрафована, может не иметь достаточного (чтобы заслужить включение в индекс) "сока ссылок".
   Когда вы запускаете новый сайт, добавляете на существующий сайт новые разделы, имеете дело с очень большим сайтом, то в индекс необязательно попадут все страницы. Чтобы контролировать это, вам нужно будет активно отслеживать уровень индексирования вашего сайта. Если проиндексирован не весь ваш сайт, то это может быть признаком наличия проблемы (недостаточно ссылок, плохая структура сайта и т. д.).
   Получить основные данные по индексированию от поисковых движков очень легко. Все три основных поисковых движка поддерживают для этой цели одинаковый синтаксис: site: yourdomain.com. На рис. 4.12 показан пример выходных данных из Bing.
   Рис. 4.12. Данные по индексированию из Bing