□ В индексе отражены версии страниц для печати.
   □ Страница выглядит как сообщение об ошибке, но на уровне сервера отдает код ответа 200 (все в порядке).
   □ Страницы с практически идентичным контентом.
   □ Страницы с ошибкой базы данных (страница отдает код ответа 200, но весь контент на ней – ошибка базы данных (БД)).
   □ Дубли, связанные с индексацией страниц с www и без.
   □ Дубли, связанные с возможностью зайти на сайт по IP.
   □ Дубли, связанные с Session ID.
   □ Дубли, связанные с сортировкой элементов в каталогах.
   □ Дубли, связанные с пагинацией и календарем событий.
   □ Индексация страниц внутренней поисковой выдачи (тут следует отметить, что «Яндекс» не желает индексировать такие страницы, но грань между страницей внутренней поисковой выдачи и страницей каталога довольно зыбка).
   □ Страницы с поддоменов – зеркальных, тестовых и т. п.
   Веселая история про тестовый поддомен. Забавная история из практики связана с тестовыми поддоменами. Клиент звонит в ужасе и говорит: «Мы попали под фильтр». – «Почему?» – «У нас одна страница в выдаче». Смотрим – правда, одна страница в выдаче. Непонятно, как так получилось. Вчера было несколько тысяч страниц, сегодня одна. Оказалось, программист, перенося сайт с тестового домена на основной, поскольку на тестовом все продумано, перенес и robots.txt со строчкой «disallow/». Все.
   Все отмеченные ранее проблемы приводят к тому, что вес размывается, нужные страницы не индексируются и ранжирование осуществляется не по тем страницам, которые нам необходимы, а по тем, которые нашел робот. При создании нами портала все эти проблемы должны быть исключены.
   Как выявлять подобные проблемы?
   Большая разница между количеством проиндексированных страниц в кластере говорит о том, что какая-то система проиндексировала большое количество дублей (это почти всегда Google) или какая-то система вследствие большого количества ошибок не хочет полноценно индексировать кластер (мы не будем называть ее по имени, но это, конечно, «Яндекс»). Таким образом, разница в индексах является важным поводом для более пристального изучения.

HTML-код страниц разных типов

   Детальное изучение кода страниц – очень кропотливая и неинтересная работа, но ее необходимо выполнить. Это позволит вам выявить ошибки, допущенные конкурентом, и решения, им разработанные. И то и другое необходимо учитывать при создании собственного сайта.
   Типичные ошибки в коде:
   □ избыточное и ничем не обоснованное использование тегов заголовков (например, выделение заголовком H1 (главный заголовок страницы) названия рубрики «Наши партнеры»);
   □ незакрытые теги;
   □ дублирование ссылок с размыванием анкорного веса (типичный пример – из каталога на страницу товара ведут три ссылки – с анкором в виде заглавия товара, с анкором в виде картинки и с анкором «Подробнее»).

Типы и источники контента

   Изучать контент следует в плотной взаимосвязи с изучением видимости в поисковых системах и трафика. Цель – разработать стратегию наполнения нашего портала, которая по эффективности будет как минимум не уступать стратегии лидера. Если же вам удастся найти скрытый потенциал, например практически не проиндексированные разделы контента, то ваши инвестиции в контент могут стать еще более эффективными.
   Видимость сайта в поисковых системах. О сервисах, которые позволяют частично оценить видимость сайта, я писал ранее. Вам необходимо изучить:
   □ запросы, по которым сайт находится на высоких позициях, и трафик с них;
   □ запросы, которым сайт пока не достиг высоких позиций (и попытаться определить причины);
   □ основные входные страницы для поискового трафика (в идеале необходимо приложить немного усилий и определить страницы для разных поисковых систем);
   □ запросы, по которым продвигаются конкуренты.
   Если у вас установлены «Яндекс.Метрика», Awstats или LiveInternet, необходимо собрать все возможные низкочастотные запросы, по которым находится сайт. Они дополнят нашу семантику.

Ссылочная масса

   С тех пор как «Яндекс», а затем и Yahoo! (который, впрочем, все равно показывал далеко не все) закрыли доступ к просмотру ссылок, для оценки ссылочного веса приходится пользоваться платными сервисами. Для этой цели подходят системы Solomono.ru, Ahrefs.com, Majestic-SEO.com (рис. 2.7), которые представляют массу полезных данных.
   Рис. 2.7
 
   Что важно оценить?
   □ Общую ссылочную массу, а по мере работы над порталом (конкурентов надо анализировать не раз и не два) – и динамику ее прироста.
   □ Источники ссылок, в том числе и естественных. Это позволит вам определить социальные сервисы и форумы с вашей целевой аудиторией. Кроме того, изучая естественное ссылочное ранжирование, вы узнаете, какие материалы вызывают наибольший интерес у пользователей.
   □ Примерный бюджет на закупку ссылок, структуру закупки.
   □ Анкор-лист.

Каким разделам следует уделить особое внимание?

   Форум. Хорошо работающий форум является основным источником пользовательского контента и очень важным источником низкочастотного поискового и закладочного трафика. Нередко форум является главным сервисом портала и основным фактором его успеха. В качестве примера можно привести форумы порталов club.foto.ru и searchengines.ru – без комьюнити, сформировавшихся на базе форумов, оба портала были бы практически ничем.
   Коллекция видео. Далеко не для всех тематик коллекция видео является мощным генератором трафика, но в ряде случаев без нее просто никуда. Так, очень большое внимание видео уделяют автопорталы, кинопорталы, музыкальные, игровые проекты и т. п. Основную ценность в данном случае опять же представляют комментарии: удачное видео может спровоцировать оживленную дискуссию и привлечь массу ссылок из социальных сетей и с форумов.
   Доски объявлений и аналогичные сервисы. Портал Auto.ru, порталы, посвященные поиску работы, и некоторые другие привлекают львиную долю трафика именно благодаря мощной доске объявлений или сервису размещения вакансий/резюме. Нередко подобная «биржа» запускается в рамках форума. Это не самое удачное решение: перевод доски объявлений с форума на собственный интерфейс (зачастую гораздо более совершенный) требует массы усилий и времени. Впрочем, пусть лучше доска функционирует на базе форума, нежели вообще нигде.
   Запуск и развитие подобных сервисов должны быть спланированы еще до начала работы над порталом.
   Справочные и обучающие статьи. Статьи обычно привлекают гораздо меньше посетителей, чем форум или доска объявлений, но они позволяют собрать трафик по запросам, которые могут быть просто не отражены на форуме. Кроме того, большая масса текстов, представляющих портал в выдаче по низкочастотным запросам, очень важна и для продвижения по высокочастотным запросам. Если у вас есть ответы на любой узкий вопрос, связанный с покупкой и эксплуатацией любой модели автомобиля, то, скорее всего, ваш портал будет неплохим ответом и на вопрос «купить автомобиль». Это означает успех в поисковом продвижении, большой трафик и приличную прибыль. С этой точки зрения любые вложения в создание контента всегда оправданны. Проблема лишь в организации производства контента в промышленных масштабах, но в нынешних условиях она легко решаема.
   Каталог предприятий. Поразительно, но зачастую при создании порталов каталог компаний либо вовсе не создается, либо его создание и наполнение осуществляются по остаточному принципу. Между тем в ряде тематик (например, автомобильной и промышленной) каталог компаний может быть одним из лидеров по объему привлекаемого трафика. Роль каталога компаний легко определить при анализе конкурентов.
   Отзывы. Раздел с отзывами неизменно привлекает пользователей. Разумеется, первичное наполнение придется сделать самому (тут очень важно, чтобы созданием отзывов занимались профессионалы), но очень быстро раздел начинает наполняться самостоятельно и требует лишь модерации. Модерация в этом разделе должна быть очень оперативной, поскольку по достижении определенной посещаемости его станут использовать как для прямой рекламы своих продуктов, так и для борьбы с конкурентами. Будут и спамеры, и спам-машины разной степени изощренности. На весь этот поток разнообразных сообщений необходимо будет реагировать быстрее, чем это делают юристы компаний, которым посвящены негативные отзывы. При этом включать премодерацию крайне неразумно: пользователь хочет видеть свой текст и реакцию на него сразу – в противном случае он, скорее всего, уйдет.
   Новости. Как правило, это наименее посещаемый раздел на коммерческих сайтах, но не всегда. В моей практике были случаи, когда грамотно написанная и своевременно размещенная новость собирала за день до 2000 просмотров – больше, чем какая-либо другая страница на портале. При этом новость, разумеется, должна быть актуальной и интересной. Плохой рерайт статьи о давно прошедшем событии интереса не вызовет.

Еще раз о структуре портала

   Вот принципы создания портала, которые следует соблюдать всегда.
   □ Оптимальная структура портала – вещь строго индивидуальная, однако лидеры в конкурентных тематиках почти наверняка имеют неплохо продуманную структуру. Позаимствовать ее хотя бы отчасти – не самая плохая идея.
   □ Древовидная структура разделов от общего к частному со страницами, посвященными отдельным моделям/материалам/товарам/объектам, – отличная идея на все времена (рис. 2.8).
   □ Если конечная страница содержит ссылки на тематические страницы разных сервисов или просто информацию с этих тематических страниц, это означает только одно – такая страница представляет более полную информацию. При этом по возможности следует избегать дублирования больших фрагментов текста.
   □ Отдельные поддомены для разных регионов улучшают индексацию, ранжирование в региональной выдаче, делают портал более удобным для пользователей, упрощают таргетинг для рекламодателей и в конечном итоге работают на вас.
   □ Вынося ссылки на последние темы на форуме, последние отзывы, последние вакансии или последние объявления на главную страницу, мы заметно упрощаем индексирующим роботам задачу поиска нового контента и добиваемся более быстрой индексации.
   □ Перелинковка может и должна быть удобной для пользователя (рис. 2.9).
   □ Лишние с точки зрения SEO, но полезные для пользователя ссылки необходимо прописывать при помощи JavaScript или иных технологий. Это позволит эффективно управлять весом продвигаемых страниц.
   □ Закрывая лишние с точки зрения поисковой оптимизации фрагменты страницы в noindex, мы можем добиться лучшего ранжирования.
   Рис. 2.8
   1 Из работы Юрия Моисеева, выпускника 8-го потока профессионального курса.
 
   Рис. 2.9

Подведение итогов

   Итак, давайте подведем итог. По результатам анализа конкурентов мы должны составить некий перечень контентных решений, которые могут дать нам больше трафика, чтобы мы смогли увеличить поток пользователей на свой сайт:
   □ составление перечня контентных решений, собирающих трафик;
   □ изучение потенциала по каждому решению, выставление приоритетов;
   □ описание реализации каждого из решений.
   Примерно то же самое – в технологическом разрезе:
   □ составление перечня технологических решений;
   □ выставление приоритетов по простоте реализации;
   □ описание реализации;
   □ определение характеристик, потенциала развития и возможностей продвигаемого сайта относительно конкурентов.
   Приоритеты расставляются на основе двух параметров – простоты реализации и потенциального трафика. К примеру, каталог расходных материалов не привлечет на сайт много пользователей, но он прост в реализации – приоритет высокий. Раздел обзоров способен привлечь некоторый трафик, но наполнение этого раздела – трудоемкий и дорогой процесс – приоритет низкий.
   ДМИТРИЙ ИВАНОВ:
   «Своевременный аудит сайтов-конкурентов способен раскрыть интересные решения и уберечь от ошибок при продвижении. Зачастую, разобравшись в том, как построен и оптимизирован сайт-лидер, можно построить успешную стратегию, которая позволит сэкономить много ресурсов. Речь идет не о слепом копировании, а об анализе тех или иных факторов, которые при прочих равных позволяют конкуренту ранжироваться выше.
   Для успешного продвижения портала очень важно определить каналы, по которым приходит основной трафик. Речь идет не об одном, а о десятках источников. Это могут быть поисковые системы, рекламные площадки, группа в соцсети или свой форум. Каждый канал ведет на сайт уникальную аудиторию, которая может вовсе не пересекаться с другой, поэтому важно оценить ее размер и постоянство. Необходимо выявить и проанализировать потребности всех целевых групп. К примеру, для аудитории "Фейсбука" потребностью могут быть интересные новости, для форума – отзывы и обратная связь, для аудитории ваших рекламных площадок – уникальные предложения, для YouTube – видео о том, как пользоваться продукцией, для поисковика – полные и доступные ответы на тысячи запросов».
 
   ИВАН СЕВОСТЬЯНОВ:
   «Анализ конкурентов – это первое, с чего надо начинать при продвижении любого сайта. Не только портала. Почему?
   Во-первых, алгоритмы работы поисковых систем "Яндекс" и Google учитывают поведенческие и асессорские факторы. Этих факторов много. Одним из них является дизайн сайта. Кроме того, существуютфакторы, no которым оцениваются коммерческие сайты: информация о компании, цены, схема проезда, разнообразие информации на сайте и т. п.
   Во-вторых, проводя анализ конкурентов, можно почерпнуть множество идей и скопировать или модифицировать часть из них для своего сайта. В маркетинге для этого есть даже термин "бенчмаркинг".
   Применительно к порталам анализ конкурентов полезен еще и тем, что можно понять, как конкуренты работают со структурой сайта, контентом (какую часть контента генерируют автоматом), семантикой, какие сервисы используют, откуда берут информацию и как ею распоряжаются.
   На основании полученных данных можно делать определенные выводы и корректировать контент, структуру, добавлять сервисы.
   Для порталов очень важен такой параметр, как разнообразие информации на сайте и на странице. Чем больше разнообразной информации на вашем портале, тем выше будут асессорские оценки. Чем больше разнообразной информации на одной странице, тем выше будут оценки и позиции».
 
   ИВАН СЕВОСТЬЯНОВ:
   «Практикум "Анализируем своих конкурентов"
   Цель – узнать максимум о своих конкурентах: трафик, структуру, сервисы, методы продвижения, внешние ссылки, дизайн, технологические решения. Чем больше вы будете знать о тех, кто пока выше вас, тем быстрее догоните их.
   Задача-минимум – проанализировать 4-5 своих конкурентов.
   Задача-максимум (для продвинутых) – посмотреть 8-10 конкурентов.
   Методика анализа
   Шаг 1. Определяем лидеров по трафику в своей нише. Скорее всего, это 4-5 сайтов.
   Шаг 2. Анализируем сами сайты.
   Шаг 3. Смотрим сайты, которые находятся в топ-10 по сложным запросам.
   Шаг 4. Анализируем структуру сайтов и сервисы.
   Шаг 5. Анализируем технические параметры.
   Шаг 6. Формулируем выводы и шаги по внедрению изменений.
   Время на выполнение практикума – 2-3 недели. Это трудоемкий анализ.
   Вопросы присылайте на e-mail book@topexpert.pro».

Глава 3
Проектирование порталов и больших интернет-магазинов

   Структуре портала должно быть уделено особое значение. В моей практике не было ни одного проекта, структура которого опиралась бы на глубокое изучение спроса и разделение потребностей по правилу «1 страница = 1 потребность».

Автоматизация сбора позиций и динамики топов

   На первый взгляд кажется не совсем правильным начинать говорить о структуре сайта с конца, но это только на первый взгляд. На самом деле с необходимостью получать информацию о текущих позициях сайта вы столкнетесь очень быстро.
   Главная сложность анализа позиций заключается в огромном количестве запросов. Даже анализ 10 000 запросов в двух поисковых системах – непростая задача, но портал может продвигаться по 100 000 запросов, причем анализировать придется выдачу в разных регионах. Таким образом, программа сбора позиций должна быть не только быстрой, но и довольно нетребовательной к вычислительным ресурсам и способной обойти ограничения поисковых систем, которые не очень любят, когда кто-то пытается выкачать Интернет.
   Какие данные должна предоставлять система анализа позиций:
   □ текущую позицию;
   □ страницу, выдаваемую по запросу;
   □ историю позиций;
   □ историю сделанных изменений.
   Последний пункт важен, поскольку он позволяет довольно точно установить, какие мероприятия привели к резким изменениям позиций, и своевременно отреагировать на эти изменения. Практика показывает, что выполнять такую работу вручную оптимизаторы не любят – точнее, любят, но делают ее недостаточно дотошно. Увы, саперов и провизоров среди SEO-специалистов практически нет.
   Отслеживание динамики топов. Наличие данных по динамике топов заметно упрощает работу SEO-аналитиков, а это значит, что вы получаете больше ценных знаний за те же деньги (отмечу, что с учетом зарплат аналитиков – весьма немалые). При этом реализация такого модуля очень проста и не вызовет сложностей даже у веб-разработчика средней руки.

«Яндекс-Маркет» как источник информации для интернет-магазинов

   «Яндекс-Маркет» (ЯМ) может быть не только инструментом продаж, но и источником довольно ценной информации. Анализ данных ЯМ может дать разработчику и владельцу интернет-магазина массу сведений, получить которые иным образом сложно.
   Что мы можем узнать, анализируя «Яндекс-Маркет»:
   □ средний и минимальный уровень цен. При этом следует понимать, что минимальный уровень цен, указываемый в ЯМ, часто не имеет ничего общего с реальным. Если вы попробуете обратиться в магазин, указавший низкую цену, товара может не быть в продаже, либо он может быть, но дороже, либо он может быть не в той комплектации и т. д.;
   □ ассортимент наиболее успешных и известных магазинов. Такие магазины обычно умеют правильно формировать ассортимент, и если телефоны с двумя SIM-картами представлены там тремя моделями от Samsung и всего одной от НТС либо наоборот, это может навести на определенные мысли. То же самое – если практически ни один магазин не предлагает какую-либо товарную позицию;
   □ текущую и потенциальную полноту покрытия спроса. Вы легко можете найти способ увеличить полноту покрытия за счет сравнительно небольшого расширения ассортимента;
   □ отзывы о товарах – можно узнать неожиданно много нового о том, что вы продаете. Кроме того, анализ отзывов позволяет определить пользовательские предпочтения. Например, поворотный дисплей в Nikon D5100 является несущественным преимуществом, а вот отсутствие привода автофокуса – серьезным недостатком. При этом отсутствие привода автофокуса в Nikon D3100 не волнует почти никого, потому что его покупатели обычно не знают, что это такое.

Собственная разработка или готовое решение?

   И сайт целиком, и отдельные модули, расширяющие возможности CMS, и SEO-сервисы могут быть созданы вашими собственными разработчиками с нуля, куплены в виде «коробочного» решения и затем настроены либо написаны сторонними разработчиками. Все три варианта имеют как достоинства, так и недостатки.
   Покупка готовых решений:
   □ основные плюсы:
   ■ вы сразу получаете необходимую функциональность;
   ■ никаких проблем, связанных с разработкой;
   □ основные минусы:
   ■ готовые решения ориентированы на массового покупателя, в них не учтена специфика вашего портала. Строго говоря, портальная специфика (огромные объемы, необходимость автоматизации всего и вся) в «коробочных» решениях вообще учитывается редко;
   ■ техническая поддержка обычно оставляет желать лучшего (счастливые исключения все же есть);
   ■ адаптация к недостаточной функциональности потребует дополнительных трудозатрат.
   Сторонние разработчики, фриланс:
   □ основные плюсы:
   ■ сравнительно низкие цены;
   ■ по завершении разработки вы получите именно то, что вам нужно;
   ■ если повезет, вы получите отличного внештатного сотрудника;
   ■ никаких дополнительных затрат;
   □ основные минусы:
   ■ человек не находится в вашей команде, поэтому сложно купить процесс;
   ■ фрилансер может пропасть в любой момент вне зависимости от размера предоплаты (он может пропасть даже в том случае, если вы договорились об оплате по факту приемки и 90 % работы уже сделано);
   ■ очень сложно оценить квалификацию фрилансера по отзывам и портфолио, которые могут быть поддельными или крадеными;
   ■ после успешного завершения проекта вы будете довольно сильно зависеть от разработчика, а он от вас – нет.
   Штатный разработчик:
   □ основные плюсы:
   ■ вы покупаете не продукт, а рабочий процесс и можете совершенствовать продукт, доводя его до полного идеала;
   ■ вы имеете возможность оценить квалификацию и опыт в ходе собеседования;
   ■ человек находится в «обойме», никаких проблем с общением;
   □ основные минусы:
   ■ дорого. Социальные платежи, рабочее место, выплата заработной платы (уровень зарплат высок) при любой загрузке – все это довольно сильно давит на расходную часть бюджета;
   ■ в случае увольнения специалиста вы можете надолго потерять контроль над собственными программными продуктами. Если код плохо документирован или не документирован вообще – очень надолго;
   ■ найти штатного разработчика для долговременного сотрудничества гораздо сложнее, чем фрилансера.
   Собственный технический отдел. Хорош всем, но стоит очень дорого. Далеко не все порталы имеют на старте достаточный бюджет, а в условиях недостатка средств имеет смысл вкладывать в первую очередь в контент и аналитику. Впрочем, раньше или позже практически все порталы приходят к созданию собственного отдела со штатными разработчиками, архитекторами, тестировщиками и т. п.
   ДМИТРИЙ ИВАНОВ:
   «Действительно, сложно собрать профессионалов в рамках одного отдела. В SEO-компаниях постоянно проводят тренинги по повышению квалификации. Сотрудников регулярно отправляют на курсы и различные конференции. Для того чтобы быть уверенным в качестве работы отдела, необходимо следить за уровнем квалификации сотрудников и консультироваться у независимых экспертов на предметналичия рекомендаций и оценки текущего продвижения. Иными словами, вам нужно открыть SEO-компанию внутри вашей компании.
   Все просто (рис. 3.1). Если вы сами продвигаете сайт, то все зависит от вашей личной квалификации. Добиться максимального уровня эффективности практически невозможно, но при значительных познаниях в области SEO, целеустремленности и усидчивости можно достичь очень высокого результата.
   Рис. 3.1{Здесь 100 % – максимально эффективное продвижение.}
 
   При продвижении в качественной SEO-компании (а такую еще нужно найти) очень сложно провалиться. Вы доверяете свой сайт профессионалам, которые продвинули уже не одну сотню проектов. Отсюда довольно высокий стартовый порог эффективности.
   Потенциально самый эффективный способ продвижения – с помощью внутреннего отдела. Дорого и сердито. Большой разброс эффективности коррелирует с количеством подзатыльников и денежной мотивацией, которые получают его сотрудники.
   Для того чтобы получить максимальную отдачу от отдела, вам необходимо грамотно его структурировать. Для каждого сотрудника должны быть определены должностные обязанности, отчетность по вертикали и взаимодействие по горизонтали. Следует создатьмаксимально эффективные связки (об этом позднее) и определить способы мотивации. Для каждой вакансии нужно написать целевые объявления о приеме на работу, а самое главное, вы сами должны понимать, зачем нужна та или иная должность».

Составление семантического ядра

   Как создается семантическое ядро или поле для подавляющего большинства русскоязычных сайтов?
   Обычно все начинается с клиента, который приходит в веб-студию или к штатному специалисту и просит создать сайт, посвященный тому, что продает его бизнес. В лучшем случае к такому заданию будет приложен полный каталог или прайс-лист, в худшем – предложено сделать в точности как у компании N, только лучше.