К основным требованиям для сайтов всех типов и размеров относятся приведенные ниже рекомендации, которые отсортированы в порядке их важности и относительной встречаемости в интернете:
1. Настройка 301-редиректа с неглавного зеркала сайта с «www» (или без «www») на главное.
Две статьи руководства по теме:
http://www.pixelplus.ru/studio/stat/kak-sdelat-301-redirekt/,
https://devaka.ru/articles/redirect-301.
Проверить код ответа сервера любого документа в сети можно с помощью сервиса: http://bertal.ru/ (пригодится и в дальнейшей работе).
2. Установка 301-редиректов с прочих неглавных зеркал сайта на основное (скажем, с доменного имени «www.pxpl.ru» на «www.pixelplus.ru»).
Особое внимание следует уделить тестовым доменам, выделяем на хостинге для настройки вида «http://domain.nichost.ru/», «http://domain.1gb.ru» и аналогичным.
3. Создание и настройка файла robots.txt. Рекомендуется разделить правила для Яндекса и других поисковых систем из-за обработки различных директив (скажем, директиву «Host:» поддерживает только Яндекс, а для Google она является некорректной).
Анализ корректности файла и доступности страниц по ссылке: https://webmaster.yandex.ru/robots.xml.
4. Каждой странице на сайте установлен уникальный тег Title и meta-тег Description отражающие её содержимое.
Проверка уникальности тега Title и meta-тега Description может быть автоматизирована. Здесь мы не затрагиваем вопросы того, как корректно заполнять данные зоны документа, а лишь рассматриваем технический аспект.
Данное требование также относится к страницам постраничной навигации.
5. Настройка ЧПУ для продвигаемых страниц сайта. Оптимально — настроенное ЧПУ для всех страниц сайта.
Проверка качества созданного ЧПУ: предоставляем только URL-адрес странице коллеге и просим его описать, чему посвящена страница?
6. Создать и проверить корректность работы 404-ошибки. Код ответа данной страницы должен быть «404 Not Found».
404-ошибка должна выводиться для ошибочных URL-адресов во всех разделах сайта. Оформить страницу необходимо в дизайне сайта. Также — не производить переадресацию при попадании на несуществующий URL и помочь пользователю быстро найти нужную страницу на сайте (вывести основные ссылки, форму поиска).
7. Проверить коды ответов сервера всех страниц на сайте посредством сканирования проекта. Все страницы доступные по ссылкам должны отдавать код ответа «200 OK».
Помогут программы:
— Page Weight
— Netpeak Spider
— И аналоги
Соответственно, в случае изменения адреса страницы и простановки 301-редиректа, требуется также скорректировать URL для внутренних ссылок на сайте, чтобы они сразу вели на конечную цель.
8. Проверить время загрузки сайта и размер страницы в КБ. Рекомендованные показатели: до 0.7 сек (700 мс) для времени скачки исходного кода документа, до 0.2 сек (200 мс) для времени ответа сервера и до 120 КБ для размера исходного кода.
Помогут сервисы:
— http://pr-cy.ru/speed_test/
— https://developers.google.com/speed/pagespeed/insights/
— И другие…
9. Проверить наличие на всех страницах и единственность тега главного текстового заголовка h1.
Содержимое тега — должно ёмко отражать суть текста.
10. Проверить, что теги h1-h6 не используются как элементы дизайна или оформления сайта.
Негативные примеры, h1: Телефон.
Сквозной h1-h3: Новости, Акции.
11. Проверить аптайм сервера по отчетам средств статистики. Нормальный показатель: от 99,85% и выше.
12. Создать уникальный и привлекающий внимание favicon.ico и загрузить его в корень сайта.
13. На страницы закрытые от индексации в файле robots.txt требуется скрыть ссылки (посредством AJAX) для корректного распределения статического веса внутри сайта. Так, чтобы в исходном коде документов отсутствовали фрагменты вида «a href=“…» для ссылок на данные страницы.
Сам скрипт также требуется закрыть от индексации.
14. Требуется вынести большие фрагменты JS и CSS в отдельные подключаемые файлы соответствующего типа. Удалить временные комментарии. Это ускорит скачку и интерпретацию кода паукам и браузерами.
К «большим» относятся JS и CSS фрагменты в 8-10 строк и более и комментарии более 3-5 строк.
15. Проверить вёрстку на отсутствие незакрытых парных тегов. Это минимальное требование валидности кода (если строка таблицы «tr» открывается, то она должна закрываться «/tr» и т.д.).
16. Убедиться в корректности отображения основных страниц сайта во всех популярных браузерах. Особое внимание уделить (в порядке доли браузеров): Google Chrome, Android Browser, Mobile Safari, Firefox, Яндекс.Браузер, Opera (Blink).
17. Настройка 301-редиректов со страниц вида «index.php», «index.html», «default.html», на страницы без них (в корень папки, скажем, с «/dir/index.php» на «/dir/»).
18. Настройка 301-редиректа со страниц без слеша на конце «/», на страницы со слешем «/» на конце URL (или, наоборот, в зависимости от настроек CMS и сервера).
19. Настройка 301-редиректа с версии с «https» на основную версию сайта с «http» (или наоборот) в случае её доступности и дублирования.
На текущий момент, поисковые системы стали по умолчанию проверять доступность для индексации версии с «https», что может приводить к дублям контента по разным хостам.
20. Закрытие от индексации страниц входа в CMS-систему вида «/bitrix», «/login», «/admin», «/administrator», «/wp-admin» в файле robots.txt.
Помогает директива Disallow вида:
Disallow: /bitrix
Disallow: /login
Disallow: /admin
Disallow: /administrator
Disallow: /wp-admin
21. Скрыть от индексации страницы с индикаторов «PHPSESSID=», «session_id=» сессий в файле robots.txt.
Важно учесть, что указания в файле robots.txt являются регистрозависимыми. Помогут директивы:
Disallow: *PHPSESSID=
Disallow: *session_id=
Актуальность проблемы подтверждается приличным числом подобных страниц в индексе поисковой системы Яндекс:
22. Создаем карту сайта sitemap.xml с указанием всех страниц сайта и проверяем её на валидность (https://webmaster.yandex.ru/sitemaptest.xml). Если число страниц превышает 50 000, то потребуется создать несколько карт.
Саму карту рекомендуется загрузить непосредственно в панели Вебмастера Яндекса и Google и не указывать в файле robots.txt.
23. Всем внешним ссылкам прописываем открытие в новой вкладке с помощью target=”_blank”. Если требуется не допустить передачу статического веса по ряду ссылок, то скрываем их от сканирующего робота с помощью AJAX.
24. Открыть и проверить корректность сохраненной копии ряда ключевых страниц сайта. Обратить внимание на кодировку, дату сохраненной копии, полноту кода.
25. Требуется произвести закрытие от индексации служебных папок вида «cgi-bin», «wp-icnludes», «cache», «backup» в файле robots.txt.
26. Неинформативные файлы (вида *.swf) или пустые *.doc и *.pdf файлы требуется закрыть от индексации в файле robots.txt.
Если файлы *.doc и *.pdf являются полезными и несут ценную информацию — их не скрывают от индексации.
Дополнительные требования: для интернет-магазинов, сайтов с поиском, авторизацией
Для более сложных с технической точки зрения проектов с авторизацией, внутренним поиском сортировками товаров и т.д. появляется целый ряд дополнительных требований для корректной индексации:
27. Рекомендуется настроить rel=“canonical” для устранения дубликатов страниц и корректного учёта всех поведенческих и ссылочных метрик документов.
Данная рекомендация оправдана и для небольших/простых сайтов, но из-за определенных трудностей её реализации она часто остаётся лишь рекомендацией.
Вспомогательный материал: http://www.pixelplus.ru/samostoyatelno/otvety-na-voprosy/vnutrennyaya-optimizaciya/291384.html
28. Для улучшения индексации и уменьшения объема передаваемого «холостого» трафика необходимо настроить корректную работу сервера и возвращать 304 код ответа при запросе с If-Modified-Since, если документ не был изменен с последнего захода пользователя (поискового робота).
Внедрение данной рекомендации позволяет повысить полноту индексации сайта за счёт экономии времени краулера и отсутствия необходимости скачивать неизмененный документ повторно.
Необходимо также выдавать корректную дату модификации документа в заголовке Last-Modified совместно с 304 кодом ответа сервера на запрос с If-Modified-Since, если документ не менялся с указанной даты.
29. Требуется скрыть от индексации страницы различных сортировок, фильтраций, если на них не настроена оптимизация и ЧПУ для привлечения трафика по НЧ-запросам. Сами ссылки скрыть посредство AJAX.
30. Страницы авторизации, смены пароля, оформления заказа и т.д. требуется закрыть от индексации в файле robots.txt: «?basket&step=», «register=», «change_password=», «logout=».
31. Результаты поиска «search», «poisk» требуется закрыть от индексации в файле robots.txt.
32. Версию для печати вида: «_print», «version=print» и аналогичные, требуется закрыть от индексации в файле robots.txt.
33. Страницы совершения действия вида «?action=ADD2BASKET», «?action=BUY» требуется закрыть от индексации в файле robots.txt.
34. Разделы с дублированным контентом, скажем, RSS-фиды требуется закрыть от индексации в файле robots.txt: «feed», «rss», «wp-feed».
Важные замечания
А. В качестве альтернативы файла robots.txt можно использовать meta-тег name=“robots” со значениями полей «content=“noindex, follow“». Данное указание соблюдается поисковыми системами более чётко, но требует чуть более сложной настройки.
Б. Корректно настроенный атрибут rel=“canonical” для тега <link> помогает:
Существенно упросить настройку индексации сайта.
Корректно учитывать и склеивать поведенческие и прочие метрики на дублирующих страницах, скажем, страницах с UTM-метками. Особенно, при проведении рекламных кампаний.
Данные преимущества позволяют рекомендовать его к использованию на сайтах.
(!) В поисковой системе Яндекс rel=“canonical” до сих пор не всегда отрабатывает корректно, что приводит к отсутствию «склейки» ряда поведенческих и ссылочных фактов для двух страниц. В данном случае надежней оказывается использование 301-редиректа.
В. Обратите внимание, что скрытие ряда разделов через файл robots.txt без скрытия ссылок на них, может приводить к некорректному распределению статического веса на сайте.
Г. Даже после детальной настройки индексации, рекомендуется производить регулярный мониторинг попадания дублей контента в индекс поисковых систем с использованием операторов цитатного поиска (кавычки) и оператора «site:».
Часто, полезным также оказывается оператор «title:» для поиска документов с одинаковыми тегами. Пример запроса приведен ниже (для случайного сайта):
Д. Довольно элегантным решением проблемы дублей с GET-параметрами в URL является использование только документов с ЧПУ на всём сайте, совместно с директивой «Disallow: *?*» в файле robots.txt.
Данная директива не допускает к индексации страницы с любыми GET-параметрами. Однако её использование можно рекомендовать только в случае отсутствия трафика на страницах с UTM-метками. Если же на вашем сайте имеется приличный объем трафика на страницах с UTM-метками или прочими необходимыми GET-параметрами, то рекомендуется настроить атрибут rel=“canonical” для тега <link>, а сами страницы открыть для индексации.