В таких ситуациях необходимо найти и проиндексировать новую информацию почти в реальном масштабе времени. Google называет эту концепцию "запрос заслуживает свежих данных" (query deserves freshness, QDF). Согласно статье в New York Times (http://www.nytimes.com/2007/06/03/business/yourmoney/03google.html?pagewanted=3), QDF учитывает несколько факторов:
   • объем поиска;
   • освещение в новостях;
   • освещение в блогах;
   • данные панелей инструментов (возможно).
   QDF применяется для самых последних новостей, но может использоваться и для других ситуаций (таких, как новые скидки или выпуски новых товаров), по которым появляется много запросов и которые широко освещаются в средствах массовой информации.

http://www.seomoz.org/blog/7-reasons-why-search-engines-dont-return-relevant-results-100-of-the-time

http://www.seomoz.org/article/search-ranking-factors).
   Вот сводка девяти самых важных факторов:
   • использование ключевых слов в теге title;
   • якорный текст входящей ссылки;
   • глобальный авторитет ссылок данного сайта;
   • возраст сайта;
   • популярность ссылки во внутренней структуре ссылок самого сайта;
   • тематическая релевантность входящих ссылок;
   • популярность ссылок на сайт внутри тематического сообщества;
   • использование ключевых слов в тексте;
   • глобальная популярность ссылок тех сайтов, которые ссылаются на сайт. Сделаем краткий обзор всех этих факторов.
   • Использование ключевых слов в теге title.
   Тег title был четко поставлен на первое место. Слова в теге title многое говорят (либо должны говорить) о теме страницы. Это полезный для индексирования поисковыми движками элемент. Одна из причин состоит в том, что это хорошо заметный элемент web-страницы и потому он, вероятно, будет использован как название для этой страницы.
   Также широко признается, что поисковые движки придают самый большой вес тем словам, которые появляются в начале названия. По этой причине всегда полезно размещать самые важные ключевые слова в начале тега title, но старайтесь избегать "фаршировки ключевыми словами" (эту концепцию мы обсудим более подробно в главе 6).
   • Якорный текст входящей ссылки.
   Когда одна web-страница делает ссылку на другую, то использованный для этой ссылки якорный текст также применяется поисковыми движками как сильный сигнал. Web-мастера и издатели, которые делают ссылки на другие web-страницы со своего сайта, часто помещают в эти ссылки насыщенный ключевыми словами якорный текст. Это привлекло огромное внимание собирателей ссылок, которые стараются обеспечить на других web-сайтах насыщенные ключевыми словами текстовые ссылки на web-сайты своих клиентов.
   • Глобальный авторитет ссылок данного сайта.
   Этот показатель учитывает суммарный авторитет ссылок сайта (в отличие от авторитета ссылок конкретной страницы сайта). Как указано в опросе SEOmoz, он предназначен для регистрации количества и качества ссылок сайта. Есть три быстрых способа получения представления о нем:
   – посмотрите на рейтинг PageRank для начальной страницы домена. Несмотря на то, что исходный алгоритм PageRank имеет ошибки, он все же может дать общее представление о глобальной популярности ссылок сайта (но не даст вам представления о релевантности этих ссылок). Однако обратите внимание, что начальная страница не всегда имеет самый высокий рейтинг PageRank по сайту;
   – используйте поиск Site Explorer компании Yahoo! (https://siteexplorer.search.yahoo.com/). Он даст вам примерное число всех входящих ссылок домена и позволит загрузить до 1 000 результатов прямо в электронную таблицу;
   – используйте рейтинг домена mozRank компании Linkscape (http://www.seomoz.org/linkscape).
   • Возраст сайта.
   Этот показатель часто удивляет новичков в мире оптимизации. Причина ценности такого сигнала в том, что сайт, существующий давно, несомненно, что-то делает правильно для того сообщества, которому он служит. Спамерские сайты и сайты плохого качества в конечном итоге столько не выдерживают. Кроме того, спама в 1998 г. было меньше, так что созданные в 1998 г. сайты с меньшей вероятностью являются спамерскими (по сравнению с более новыми сайтами).
   • Популярность ссылки во внутренней структуре ссылок самого сайта.
   Поисковые движки используют самого издателя, чтобы узнать, что он считает самой важной частью своего сайта. Например, если до какой-то страницы можно добраться с начальной страницы только после пяти щелчков мышью, то, вероятно, она не является очень важной.
   С другой стороны, включенная в глобальную навигацию по сайту страница (на которую в результате этого ссылается каждая страница сайта) явно будет более важной страницей. Релевантность этих внутренних ссылок также является фактором (чем больше релевантность, тем лучше).
   • Тематическая релевантность входящих ссылок.
   Релевантность ссылающихся на целевую страницу (и целевое ключевое слово) сайтов и страниц также является важным фактором. Ссылки с другого сайта из посторонней темы тоже полезны, но высоко релевантные ссылки на сайт значат гораздо больше.
   • Популярность ссылок на сайт внутри тематического сообщества.
   Этот показатель создает авторитет вашего сайта. Если у вас есть много ссылок от членов тематического сообщества, то это очень серьезное выражение доверия вашему сайту.
   • Использование ключевых слов в тексте.
   Поисковые движки смотрят также и на текст страницы. Размещение релевантного ключевого слова в теге title – это хорошо, но оно дает эффект только в том случае, если содержимое страницы ему соответствует. Не ограничивайте содержимое точным целевым словом – поисковые движки ищут также и синонимы (чтобы увеличить релевантность страницы для темы поиска).
   • Глобальная популярность ссылок тех сайтов, которые ссылаются на ваш сайт.
   Еще один фактор ранжирования – важность ссылающегося сайта. Является ли этот сайт проверенным авторитетом в своей области? Если да, то это, вероятно, скажется в его рейтинге Global Link Popularity.

http://appft1.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PG01&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.html&r=1&f=G&l=50&s1=%2220050071741%22.PGNR.&OS=DN/20050071741&RS=DN/20050071741
   Либо его можно найти поиском по номеру патента: 20050071741.
   • Данные по использованию.
   В качестве сигнала ранжирования можно интерпретировать и другие факторы. Например, если пользователь делает щелчок на странице SERP и приходит на ваш сайт, а затем нажимает кнопку Back и щелкает по другой ссылке в том же наборе результатов поиска, то это может рассматриваться как отрицательный сигнал для ранжирования. Или если чаще щелкают по тем ссылкам, которые находятся в SERP ниже вашей, то это может рассматриваться как позитивный сигнал ранжирования для них и как негативный сигнал для вас.
   Используют ли поисковые движки такой сигнал и какой вес они ему придают, неизвестно. Этот сигнал ранжирования имеет много помех и вряд ли широко применяется. Использовать его можно в основном для персонализации и для обратной связи по релевантности.
   • Пользовательские данные.
   Персонализация – это передний край поиска, о котором говорят больше всего, она может делаться несколькими способами. Например, поисковый движок может сделать геолокационный поиск, чтобы примерно вычислить, где вы находитесь. На основе этих данных поисковый движок сможет показать адаптированные для вашего местоположения результаты. Это полезно, например, в том случае, когда вы ищете местный ресторан.
   Другой способ получения поисковым движком данных о пользователе – это создание пользователем профиля для поискового движка и добровольное предоставление некоторой информации. Простой пример – предпочитаемый язык. Если пользователь указывает, что он предпочитает португальский, то поисковый движок может подстроить результаты под это предпочтение.
   Поисковые движки могут также учитывать историю поисков данного пользователя. Движок регистрирует все выполненные вами запросы. По этим данным он сможет увидеть, что недавно вы интересовались автомобилями класса люкс и сможет использовать эту информацию для настройки результатов вашего поиска по слову jaguar.
   • Песочница Google.
   Как мы уже упоминали в этой главе, для борьбы со спамом поисковые движки используют несколько методов. Один из методов стал известен как "песочница Google" – это фильтр, которым Google ограничивает скорость роста рейтинга PageRank для новых доменов.
   Такой подход полезен для фильтрации спамерских доменов, поскольку они часто быстро исчезают. Песочница может в принципе создать такую ситуацию, когда web-сайт будет отловлен улучшенными алгоритмами (или ручным способом) еще до того, как он станет высокопроизводительным. Это как минимум увеличит стоимость работы спамеров.

http://www.google.com/help/operators.html), которые можно использовать для диагностирования проблем оптимизации. В табл. 2.2 дан краткий обзор запросов, их использования для оптимизации и примеры применения.
   Примечание
   При использовании оператора site: некоторые проиндексированные URL могут не отобразиться (даже если вы используете ссылку "повторить поиск с включением опущенных результатов"). Запрос site: печально известен своей неточностью. Вы можете получить более точное количество проиндексированных страниц вашего сайта, если добавите в конец URL страницы полученных по команде site: результатов следующий код: &start=990&filter=0.
   Он дает указание Google начать с результата 990 (это последняя страница, которую Google вам покажет, поскольку он ограничивает количество результатов числом 1 000). То есть вы должны сделать это в два этапа. Сначала введите основную команду site: BanwoMeH.com и получите результаты. Затем перейдите в адресную строку и добавьте в конец URL параметры &start=990&filter=0. После этого вы сможете увидеть более точное количество страниц (для этого надо посмотреть на общее количество страниц).

Таблица 2.2. Расширенные операторы поиска в Google
 
   Чтобы увидеть больше результатов, вы можете использовать следующие шаблоны поиска:
   • [site: yourdomain.com/subdirectory1] + [site: yourdomain.com/subdirectory2] + и т. д. (чем глубже "копаете", тем более точные результаты получите);
   • [site: yourdomain.com inurl: keyword1] + [site: yourdomain.com inurl: keyword2] + и т. д. (специфичные для подкаталогов ключевые слова);
   • [site: yourdomain.com intitle: keyword1] + [site: yourdomain.com intitle: keyword2] + и т. д. (для страниц, использующих ключевые слова в названии страницы).
Комбинированные запросы Google
   Чтобы получить больше информации из расширенного поиска Google, нужно понять, как эффективно комбинировать операции поиска. В табл. 2.3 показано, какие шаблоны поиска вы можете применить, чтобы выполнить некоторые самые важные исследовательские задачи по оптимизации.
Таблица 2.3. Комбинированные операторы поиска Google
 
Дополнительные модули браузера Firefox для ускорения доступа к расширенным запросам поиска Google
   C браузером Firefox вы можете использовать несколько дополнительных модулей, чтобы облегчить доступ к этим расширенным запросам:
   • Advanced Dork (https://addons.mozilla.org/ru/firefox/addon/2144) – для быстрого доступа к операторам: intitle:, inurl:, site: и ext: по отношению к выделенному на странице слову (рис. 2.24);
   Рис. 2.24. Дополнительный модуль Advanced Dork для Firefox
 
   • SearchStatus (http://www.quirk.biz/searchstatus/) – для быстрого доступа к оператору site: с целью изучения текущего активного домена (рис. 2.25)
   Рис. 2.25. Дополнительный модуль SearchStatus для Firefox

http://search.yahoo.com/web/advanced) является тот, который проверяет обратные ссылки страницы или домена. Поскольку Bing не делает проверки входящих ссылок (кроме как через свой API), а Google дает только частичные отчеты (за исключением подтвержденных сайтов внутри Webmaster Central), то Yahoo! остался главным источником информации по обратным ссылкам страниц.
   Другие запросы Yahoo! в основном используются для улучшения поисков Link: и LinkDomain:. В табл. 2.4 перечислены самые важные расширенные операторы Yahoo! (отличающиеся от описанных ранее для Google) и даны примеры их использования при оптимизации. Обратите внимание на то, что совершенно неясно, какие из них будут поддерживаться в будущем (из-за объявленного плана использования в Yahoo! движка Bing компании Microsoft) (http://topics.nytimes.com/top/news/business/companies/yahoo_inc/yahoo-microsoft-deal/index.html).

Таблица 2.4. Операторы расширенного поиска движка Yahoo!

http://www.quirk.biz/searchstatus/) предназначен для показа текущих активных обратных ссылок страницы и домена в Yahoo! (рис. 2.26).
   Рис. 2.26. SearchStatus получает внешние обратные ссылки из Yahoo!
 
   • SEO for Firefox Toolbar Extension (http://tools.seobook.com/firefox/seo-for-firefox.html) покажет вам подробную информацию по обратным ссылкам непосредственно в ваших результатах поиска (рис. 2.27).
   Рис. 2.27. Расширение SEO for Firefox Toolbar Extension
 
   • Seoquake Firefox Extension (http://seoquake.com/) можно использовать для доступа к данным Yahoo! по обратным ссылкам (и многому другому) непосредственно со страницы результатов поиска или с текущей активной страницы (рис. 2.28).
   Рис. 2.28. Данные по обратным ссылкам из Seoquake

http://google.com/search?as_rights=(cc_publicdomain|cc_attribute|cc_sharealike|cc_nonderived).-(cc_noncommercial)&q=KEYWORDS;
   • с разрешением на производные работы:
   http://google.com/search?as_rights=(cc_publicdomain|cc_attribute|cc_sharealike|cc_noncommercial).-(cc_nonderived)&q=KEYWORDS;
   • с разрешением на коммерческое использование и производные работы:
   http://google.com/search?as_rights=(cc_publicdomain|cc_attribute|cc_sharealike).-(cc_noncommercial|cc_nonderived)&q=KEYWORDS.
   Не забудьте заменить keywords теми ключевыми словами, которые помогут вам найти релевантный вашему сайту контент. Ценность этого материала для поисковой оптимизации косвенная. Контент типа Creative Commons может быть хорошим источником контента для web-сайта.

Движки вертикального поиска

   Вертикальный поиск – это термин, который иногда используют для специальных движков поиска, работающих с ограниченным набором данных (как уже упоминалось, Google называет эти результаты "все в одной коробке"). Примерами решений вертикального поиска (предоставляемых основными поисковыми движками) является поиск изображений, видео, новостей и поиск по блогам. Возможно, это является стандартными функциями данных движков, но они отличаются от общих функций поиска этих движков в Интернете.
   Результаты вертикального поиска могут дать серьезные возможности специалисту по оптимизации. Высокую позицию в результатах вертикального поиска можно приравнять к высокой позиции в результатах поиска по сети. Часто такая позиция значит больше, чем традиционные 10 синих ссылок, выдаваемых поисковыми движками.