Как провести технический аудит сайта самостоятельно — инструкция по применению

Один из первых и очень важных этапов продвижения сайта — это технический аудит сайта. Почему? Все просто — технические ошибки влияют на индексацию сайта и, как следствие, на его ранжирование в поисковых системах. Ранжирование — это номер позиции, которую сайт занимает в выдаче поисковой системы при введение пользователем того или иного запроса. Я не удивлю вас, если скажу, что без высоких позиций в Яндексе и Гугле не будет и трафика на сайт с этих поисковиков, а без трафика не будет покупателей или заказчиков ваших услуг. За последние 8 лет я провел большое количество технических аудитов и, на основе своего опыта, собрал ряд тестов, которые помогут найти ошибки на сайте, мешающие продвижению сайта в поисковых системах. В этой статья я покажу, как сделать аудит сайта и оформить результат этого аудита в техническое задание для программиста.

Что такое технический аудит сайта и для чего он нужен

Технический аудит сайта — комплекс тестов и проверок для определения “больных” мест и поиска точек роста трафика из поисковых систем. В конце аудита даются советы, как исправить найденные ошибки, а также предоставляется полное т.з. для программиста.

Когда стоит сделать технический аудит:

  • перед запуском проекта;
  • при старте SEO-продвижения;
  • вкладываете деньги и силы в продвижение, а результата нет;
  • позиции или трафик из поиска резко просели;
  • сайт попал под санкции поисковиков.

Большинство владельцев сайтов не понимают, для чего нужен технический аудит веб сайта. И совершают большую ошибку, не делая его. Ведь просто сделать сайт недостаточно. В интернете сотни сайтов той же тематики, что и ваш, и конкуренция растет с каждым годом. Чтобы попасть в ТОПы выдач поисковиков по требуемым запросам, нужно чтобы ваш сайт был лучше сайтов конкурентов или, как минимум, не хуже.

Сервисы и программы для проведения аудита

Бесплатные

  • Яндекс Вебмастер — Это сервис для владельцев сайтов от поисковой системы Яндекс.
  • Google Search Console (Гугл Вебмастер) — Тоже самое, что и Яндекс Вебмастер, но только от Google.
  • GTmetrix — Сервис для анализа скорости загрузки страниц, дает оценки страниц по различным характеристикам и предлагает рекомендации по их улучшению. Использует PageSpeed и YSlow.
  • Batch Speed — Позволяет измерить скорость загрузки сразу всех страниц сайта, и выявить самые медленные из них.
  • Xenu Link Sleuth — Умеет искать битые ссылки на сайте, определять уровень вложенности страниц и показывать внутренние редиректы. Если экспортировать полученный отчет в Excel, то можно легко найти дубли Title и Description.

Платные

Функционал платных вариантов расписывать, думаю, нет смысла. Все они умеют делать то, что нам нужно и даже больше.

  • Screaming Frog SEO Spider — Программа платная (149 £ в год), но есть бесплатная версия с ограничением сканирования в 500 страниц и урезанным функционалом.
  • Netpeak Spider — Удобно, что программу можно купить на 1-3-6-12 месяцев, есть бесплатный 14-дневный триал.
  • ComparseR — Цена демократичная, 2000 руб за пожизненную лицензию. Бесплатная версия имеет ограничение в 150 страниц.

Что нужно проверять: пошаговая инструкция

Проверка на санкции со стороны ПС

Яндекс и Гугл используют фильтры, для понижения сайтов в поисковой выдаче, которые по мнению поисковых систем: низкого качества, плохо отвечают на вопросы пользователей, используют черные методы SEO продвижения.

Проверить это можно посмотрев уведомления о санкциях в панелях для вебмастеров.

Отображение фильтра малополезный контент, некорректная реклама, спам в Яндекс Вебмастер
Яндекс Вебмастер → Диагностика → Безопасность и нарушения
Отображение фильтра Агрессивный спам в Google Search Console
Google Search Console → Проблемы безопасности и меры, принятые вручную → Меры, принятые вручную

Если уведомлений нет, то все ок. Если уведомления есть, то с каждым случаем нужно разбираться отдельно.

Ошибки сканирования в Яндекс и Google

Это технические ошибки, которые обнаружили роботы Яндекса и Google. Причины могут быть самые разные, от нестабильной работы хостинга до изменения структуры сайта. Ошибки могут повлиять на отношения пользователей и поисковых систем к сайту.

Узнать об ошибках можно все в тех же панелях вебмастеров.

Google Search Console → Индекс → Покрытие
Google Search Console → Индекс → Покрытие
Яндекс Вебмастер → Индексирование → Страницы в поиске → Исключенные
Яндекс Вебмастер → Индексирование → Страницы в поиске → Исключенные

Примеры ошибок и пути их решения:

Ошибка сервера (5xx) — говорит нам о том, что существуют проблемы с хостингом. Решение проблемы — это изменение тарифного плана или переезд на другой хостинг.

Ошибка 404 — такие ошибки еще называют битыми ссылками, когда другие страницы вашего сайта ссылаются на несуществующую страницу. Найти страницы, которые содержат битые ссылки легче всего через специальные программы типа Xenu Link Sleuth или ее платные аналоги.

Ошибка переадресации (Редирект) — это когда одна страница автоматически перенаправляет на другую, это негативно сказывается на позициях сайта. Искать опять же удобно программами-краулерами типа Screaming Frog SEO Spider.

Региональность сайта

Для успешного продвижения по ГЕОзависимым ключевым фразам, отображение результатов по которым имеет привязку к местоположению пользователя. Нужно, чтобы поисковые системы правильно определяли регион продвижения сайта. Бывает так, что автоматически определяется неверный регион или не определяется вообще.

Раздел региональность сайта в Яндекс Вебмастер
Посмотреть и изменить региональность сайта в Яндексе можно в сервисе Вебмастер.

В поисковой системе Google региональность указывается в Google Мой Бизнес.

Поиск дублей и мусорных страниц

  • Мусорные страницы — это страницы, которые не содержат полезного и уникального контента.
  • Дубли — страницы с одинаковым контентом.
  • Дублирование тегов Title, Н1 и Description — страницы разные, но теги дублируются.

Данные страницы негативно сказываются на SEO, потому что:

  • Тратят краулинговый бюджет — количество страниц, которые поисковые системы могут просканировать за одно посещение.
  • Влияют на релевантность — на запрос пользователя в поисковой системе может показываться то одна страница, то страница-дубль или вообще мусорная страница.
  • Размывается статический вес сайта — рейтинг сайта выраженный в ссылках, как внешних так и внутренних в их количестве и качестве, дубли и мусорные забирают часть этого рейтинга на себя.
  • Могут значительно снижать трафик — Гугл снижает трафик сайту, есть на сайте много мусорных и дублей.
Скриншот программы ComparseR
Искать дубли и мусорные страницы я советую при помощи программы ComparseR.

Решение проблемы с дублями и мусорными страницами, в зависимости от ситуации: удалить, закрыть от индексации в файле robots.txt, установить тег «rel=canonical» или «meta name=»robots» content=»noindex, nofollow»».

Проверка HTML кода и CSS (стили сайта) на ошибки

Не все ошибки создадут проблемы при SEO продвижении, но некоторые могут затруднить индексирование сайта.

Все основные страницы нужно проверить на предмет валидности HTML кода и CSS. Для этого используем сервисы validator.w3.org для HTML и jigsaw.w3.org/css-validator/ для CSS.

Список полученных ошибок нужно передать верстальщику для исправления.

Как видит сайт GoogleBot и YandexBot

Понимание того, как поисковые системы видят содержимое сайта, поможет найти ошибки. Сравните исходный код страницы в браузере и результат проверки инструмента в Яндексе или Гугле.

При разработке сайта или использовании запрещенных методов продвижения частенько закрывают (или того хуже подменяют) от поисковых роботов важные элементы страницы.

Поисковые системы выдают санкции за подмену контента для поисковых роботов. То есть, когда пользователи и роботы видят на странице разную информацию. Для юзеров веб-мастер размещает обычный текст, а для краулеров — добавляет длинный список ключевых слов.

Проверить, как роботы видят исходный код можно с помощью нескольких инструментов:

  1. «Консоли веб-мастеров».
  2. Инструменты проверки адаптивности.
  3. SEO программы. В ComparseR и Screaming Frog есть специальные настройки User-agent. В интерфейсе уже заданы основные роботы поисковиков и браузеров.

Запустите сканирование и проверьте, чтобы пользователи и краулеры видели одинаковое содержимое. Сервисы Mobile-Friendly наглядно демонстрируют, как роботы взаимодействуют с контентом. Если какие-то файлы для отображения страницы закрыты в robots.txt или не загружаются, вы увидите это.

Решение проблем зависит от их природы. Если доступ блокируется из-за ограничений в robots.txt, необходимо открыть файлы, к которым роботы не могут получить доступ. Если вы обнаружили в исходном коде подозрительные внешние ссылки, которые видят только краулеры — найдите их источник (плагин, тема, скрипт) и удалите.

Наличие битых ссылок

Битые ссылки — один из факторов, который влияет на ранжирование. Он не входит в число самых важных условий для хорошей видимости сайта в поисковиках, но влияет на органическое продвижение. Битые ссылки — адреса, которые отдают 404 код. Если роботы поисковых систем будут часто находить неправильные URL, Гугл и Яндекс сделают вывод, что сайт не удовлетворяет принципам качества. За этим могут последовать санкции в виде снижения позиций.

Screaming Frog как посмотреть битые ссылки на сайте

Битые ссылки определяют знакомые инструменты: Screaming Frog, Netpeak Spider. В интерфейсе «Лягушки» выберите HTML в фильтре страниц и посмотрите отчет «Response Codes». В разделе «Client error 4xx» отобразятся все проблемные адреса. Экспортируйте отчет в формат Excel и начните избавляться от них.

Решить проблему с битыми ссылками можно двумя способами — исправить адрес на правильный или проставить 301 редирект в .htaccess или плагинах.

Скорость загрузки сайта и/или отдельных страниц

Скорость загрузки сайта — фактор ранжирования в Яндекс и Google, он напрямую влияет на конверсию сайта. При медленной загрузке большинство пользователей просто уйдут с сайта. В идеале, любая страница проекта должна полностью прогружаться за 2-3 секунды. Доля мобильных пользователей растет, поэтому нужно оптимизировать быстродействие для смартфонов. Особенно если юзер смотрит контент не через Wi-Fi.

Для проверки скорости загрузки нужно использовать комплексный анализ. Я рекомендую использовать 3 сервиса:

  1. Gtmetrix.
  2. PageSpeed Insights от Google.
  3. Batch Speed.

Первая платформа отображает время загрузки, можно выбрать сервера в разных локациях. PageSpeed показывает проблемные места сайта и автоматически сжимает картинки под веб-стандарты. Можно загрузить архив и залить на хостинг. Очень удобно, что проверка оптимизации осуществляется под компьютеры и телефоны отдельно.

Идеальные показатели по PageSpeed — зеленая зона. Для улучшения быстродействия нужно провести целый комплекс работ:

  • сжать картинки;
  • убрать все лишние скрипты;
  • сжать css и js;
  • настроить «ленивую» загрузку контента;
  • настроить кеширование;
  • оптимизировать работу хостинга.

Частая ошибка — проверка одной главной страницы в PageSpeed и игнорирование остальных страниц сайта.

Скриншот результатов проверки скорости сайта в сервисе batchspeed.com
Проверка всех страниц сайта в сервисе Batch Speed

Я советую проверить все страницы сайта через Batch Speed и наиболее медленные проверить в Gtmetrix для выяснения причин их медленной загрузки.

Большую часть пунктов из списка можно решить с помощью дополнений для вашей системы управления контентом (CMS). Некоторые задачи должен решать программист с опытом.

Корректность установки SSL-сертификата

SSL-сертификат шифрует данные, которые пользователь вводит в форму. Google начал учитывать HTTPS в ранжировании с 2014 года. По состоянию на 2019 год на верхних строчках выдачи 90% сайтов работают на защищенном протоколе.

Для проверки корректности SSL-сертификата воспользуйтесь моим чек-листом:

  1. Проверьте срок действия сертификата и его состояние. Для этого есть специализированные инструменты. Например, модуль в WebSite Planet.
  2. Поставьте SSL на мониторинг в сервисе Monitorus. Недавно Роскомнадзор заблокировал IP популярного сервиса Let’s Encrypt. Если сертификат внезапно перестанет работать, пользователи будут наблюдать в браузере ошибку. Как следствие — ухудшение поведенческих факторов и предупреждения от поисковиков.
  3. Просканируйте страницы на смешанное содержимое через чекер. Весь контент должен подгружаться через HTTPS. В бесплатной версии программы есть ограничение на 500 адресов. Этого хватит для проверки небольшого сайта.

Для исправления ошибок смешанного содержимого нужно либо изменить абсолютные ссылки на относительные, либо сделать массовую замену адресов через Notepad++ или другие редакторы.

Уровень вложенности страниц

Уровень вложенности страницы — расположение адреса в структуре URL по отношению к главной. В SEO давно сформировался стандарт по этому пункту. Любая страница должна открываться в 3 клика. Если больше, то кликабельность и юзабилити снижается. Типичная структура: главная → категория → запись (страница, товар). Для интернет-магазина структура может быть другой, но правило 3 кликов тоже нужно соблюдать.

Уровень вложенности влияет и на распределение запросов. Высокочастотные (ВЧ) ключи обычно продвигают на главной, СЧ в категориях, НЧ в конечных записях. Если структура запутанная, поисковые роботы не смогут нормально индексировать сайт и, соответственно, это минус для ранжирования.

Скриншот из программы Screaming Frog

Проверить вложенность можно с помощью Screaming Frog или Netpeak Spider. После сканирования сайта посмотрите на количество слешей в адресе.

Что бы все страницы сайта имели уровень вложенности не больше 3, я рекомендую сделать HTML карту сайта и ссылку на нее сделать на главной странице сайте.

Для сайтов на WordPress можно использовать плагин WP Sitemap Page.

Файл sitemap.xml

Sitemap — карта сайта, которая помогает краулерам лучше понять структуру сайта. Для пользователей можно создать отдельную карту в формате HTML для удобной навигации по контенту.

Очень важно, чтобы в sitemap.xml были все страницы, которые должны ранжирования в поисковых системах. Убедитесь, что карта доступна роботам. Для этого можно использовать инструмент проверки доступности от Яндекса. Также проверьте «Консоли веб-мастеров», чтобы увидеть, насколько часто роботы сканируют карту.

Скриншот из программы ComparseR как сделать файл sitemap.xml

Создать sitemap можно с помощью ComparseR или Screaming Frog после построения структуры сайта. Задача решается в несколько кликов.

Для автоматического обновления карты я рекомендую использовать плагины для вашей системы управления. К примеру, для WordPress — All in One SEO Pack, Yoast SEO, Simple Wp Sitemap и так далее.

Файл robots.txt

Robots.txt — конфигурационный файл, который задает правила индексирования контента для поисковых систем. Яндекс и Гугл воспринимают его как рекомендацию и могут по своему желанию добавлять «запрещенные» страницы в базу.

В robots.txt нужно исключить страницы, которым нельзя вручную задать «meta name=»robots» content=»noindex, nofollow»». Например, для WordPress в файл необходимо включить ссылки на административную панель, форму регистрации и другие технические адреса.

Новичкам пригодится генератор robots от PR-CY. В нем можно создать правила для разных краулеров. Инструмент учитывает все изменения поисковиков, он не использует устаревшую директиву Hosts.

Robots — обязательный файл для всех сайтов. При необходимости правила индексирования можно в любой момент изменить через редактирование документа на хостинге.

Микроразметка

Микроразметка — структурированные данные, которые помогают поисковикам лучше понять содержимое сайта. При правильном использовании инструмент дает преимущество в выдаче поисковиков. Разметка навигации, рейтинга, отзывов, рецептов и других объектов увеличивает кликабельность.

Пример микроразметки в выдаче Google
Пример микроразметки в выдаче Google

К сожалению, недавно Гугл обновил принципы работы с микроразметкой и оставил рейтинг только для отзывов, обзоров и товаров. Для веб-мастеров остались доступны «хлебные крошки», микроразметка автора, FAQ и How-to.

Проверить корректность отображения структурированных данных можно через инструмент Google. Для Яндекса есть аналогичный сервис.

Исправить проблемы с микроразметкой без знаний не получится. Лучше найти опытного программиста, который устранит текущие проблемы и добавит поддержку новых структурированных данных.

Обратите внимание! Контент в микроразметке должен быть правильным и соответствовать типу. К примеру, в Article нельзя размечать данные вакансии. У Гугла есть фильтр за спам в микроразметке. Соблюдайте баланс и внимательно проверяйте структуру.

Сайты аффилиаты

Часто владельцы сайта создают лендинг, и в лендинге указывают тот же адрес, телефон и почту. В итоге в индексе находятся оба сайта, и если на новый начинают проставлять ссылки или откручиваться контекстная реклама, старый может резко потерять позиции, потому что его давно не обновляют и на него давно не ссылаются.

Нужно проверить не существует ли в интернете таких дублей сайтов (сайтов аффилиатов). Сделать это очень просто, вбив ваши телефоны и адреса офисов в поисковую строку.

Гугл и Яндекс не афишируют аффилиат фильтр, поэтому уведомлений в «Кабинетах веб-мастеров» не будет. Проверить наличие санкций можно только вручную. Типичные симптомы — резкое снижение позиций. Проверьте видимость всех сайтов в поисковиках и сравните динамику. Если заподозрите неладное — пишите в поддержку Яндекса с доказательствами плохого ранжирования.

Технические специалисты обычно отвечают размыто, поэтому не стоит сдаваться после первого шаблонного ответа. Чтобы избавиться от фильтра, необходимо сделать сайты максимально разными. Особенно уделите внимание контактам.

Мобильная/Адаптивная версия сайта

Скриншот из яндекс метрики - типы устройств

Смартфоны уже давно стали первым устройством, поменявшись с ПК и ноутбуками местами. Многое стало удобнее делать с телефона, чем с компьютера. А с 1 июля 2019 года для новых сайтов Google вводит Mobile-first indexing, это значит, что при индексации будет отдаваться приоритет мобильной версии сайта.

Проверить адаптивность сайта можно в сервисах Яндекса и Гугла. Google дает возможность оценить оптимизацию для смартфонов на любом сайте, а вот в Яндексе сначала нужно добавить проект в «Вебмастер».

Скриншот проверки сайта на оптимизацию для мобильных устройств

Гугл часто высылает уведомления о том, что какие-то страницы не проходят проверку и указывает причины ошибок. Веб-мастеру нужно потратить кучу времени, чтобы определить проблемные элементы сайта. Я рекомендую пользоваться сервисом Adaptivator. Он работает по схожей с Гуглом технологии, но четко указывает на неадаптивные классы.

Скриншот проверки сайта в сервисе adaptivator.ru

Чтобы исправить проблемы с адаптивностью, надо соблюдать рекомендации Гугла и заручиться поддержкой ответственного верстальщика. Если шаблон для сайта изначально был неадаптивным, его обязательно нужно переверстать под все разрешения.

Проверка сайта на вирусы, трояны и бэкдоры

Хакеры заражают тысячи сайтов ежедневно, им неважна какая тематика у вашего сайта и сколько человек его посещают — им нужны ресурсы хостинга для того, чтобы рассылать спам, создавать фишинговые страницы и распространять вирусы.

Все эти действия негативно отражаются на работе сайта и его продвижении.

Для проверки на вредоносный код можно воспользоваться тремя вариантами:

  1. Подключить услугу на хостинге. Некоторые провайдеры встраивают программное обеспечение Aibolit в панель управления.
  2. Периодически выгружать содержимое сайтов и сканировать десктопным Айболитом (придется искать старую версию).
  3. Подключить скрипт от Monitorus. Сервис следит за всеми изменениями в файлах и проверяет домен на присутствие в спам-листах.

Также стоит защитить панель управления хостингом и административной панелью сайта — установить двухфакторную авторизацию, настроить ограничение по IP, заблокировать загрузку файлов сторонними пользователями.

Самый простой способ восстановления сайта после заражения вирусами — восстановить данные из бэкапа. Если свежей резервной копии нет, придется обратиться к специалистам. Они удалят вредоносный код и закроют «дыры» в безопасности.

Проверка структуры подзаголовков

Теги H1-H6 помогают роботам лучше понять структуру текста. По правилам в контенте должна быть соблюдена иерархия. То есть, чтобы после H1 был H2 и только потом H3. Также нельзя использовать несколько заголовков первого уровня на странице.

Определить последовательность тегов H можно с помощью Screaming Frog или установить одно из расширений для браузера. Я использую SEOquake.

Скриншот плагина SEOquake

Если на какой-то страницы иерархия отличается от стандартной — зайдите и поменяйте заголовки или добавьте новые.

Анализ ссылочной массы

Обратные ссылки или бэклинки — важнейший фактор ранжирования. Качественная ссылочная масса нужна для успешного продвижения в поиске. Органические ссылки — топливо для реактивного ускорения сайта.

Проверить обратные ссылки можно с помощью бесплатного инструмента Ahrefs.

Лайфхак: в Телеграме есть @wmaster_bot, который дает возможность выгрузить полный отчет из Ahrefs и Semrush. Стоимость отчета 10 рублей.

После выгрузки ссылочной массы проанализируйте качество ссылок в CheckTrust и просмотрите доноров вручную. Некачественные бэклинки можно отклонить с помощью инструмента в Гугле, чтобы поисковик не учитывал их в ранжировании. К сожалению, в Яндексе такого модуля нет. Можно только написать в поддержку, приложить список плохих URL и надеяться на положительный ответ.

Как подготовить техническое задание для программиста

Если в процессе проверки сайта, по-моему, чек-листу, вы обнаружили много проблем, надо срочно их устранять. Особенно если ошибки глобальные, вроде отсутствия адаптивности.

Некоторые пункты из списка легко устранить вручную. Например, убрать битые ссылки, установить SSL-сертификат или создать sitemap/robots. Для удаления дублей и вирусов, а также работы по верстке нужна помощь экспертов.

Советы по созданию ТЗ:

  1. Максимально подробно опишите список задач. Не просто «удалить дубли», а приложите список конкретных страниц. Аналогично по другим пунктам. Не «снять пометку о вирусах в Гугле», а «удалить вредоносный код, предоставить полный отчет и закрыть уязвимость».
  2. Старайтесь охватить все задачи. Лучше исправить все проблемы за один раз, чем постоянно делать техническое задание. Так вы сэкономите на работе специалиста и сразу закроете задачу.
  3. Обязательно согласуйте бюджет и сроки.
  4. Договоритесь с исполнителем о правках в рамках первоначальной оплаты.

Технический аудит нужно делать на всем пути развития проекта. Некоторые проблемы можно решить за счет грамотного планирования на этапе проектирования сайта. От дублей, вирусов и плохих ссылок нельзя защититься на 100%. Следите за развитием своего проекта, чтобы вовремя решать проблемы и не терять поисковый трафик / клиентов.

Понравилась статья? Поделиться с друзьями:
Мои услуги

Включает в себя полный аудит сайта и исправление найденных ошибок.

15 000 руб.

Комплексная поэтапная работа над сайтом для достижения позиций в ТОП 10 поисковых систем Яндекс и Google и увеличения трафика на сайт.

20 000 руб.

Сделаю полный аудит сайта — найду “больные” места сайта и укажу точки роста трафика из поисковых систем, а также расскажу что с ними делать.

5 000 руб.

Консультацию по любым вопросам продвижения сайта и рекламы в интернете.

2 000 руб.

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: