Техническое руководство по аудиту SEO для новых сайтов

  1. 1. Настройте Robots.txt
  2. Эффект Robots.txt
  3. Проверка вашего Robots.txt
  4. 2. Обнаружение и устранение проблем с дублирующимся содержимым
  5. Как мне найти дублированный контент?
  6. 3. Создайте XML Sitemap
  7. Зачем вам нужен XML Sitemap?
  8. Лучшие советы по работе с XML-файлами Sitemap
  9. Отправить свой Sitemap в Google
  10. Expert XML Sitemap Советы для крупных сайтов
  11. 4. Настройте Консоль поиска Google (также Инструменты Google для веб-мастеров)
  12. Заключение

Каждую секунду 54 500   Поиски гугл   сделаны по всему миру

Каждую секунду 54 500 Поиски гугл сделаны по всему миру. Это 3 миллиона + поисков каждую минуту!

Это огромная возможность для любого владельца сайта, желающего увеличить трафик своего сайта, и, немного поработав, вы сможете увеличить свою долю в этом.

Аудит SEO вашего нового веб-сайта перед большим запуском является ключом к тому, чтобы сделать вашу компанию видимой на страницах результатов поисковой системы (SERP).

Существует множество небольших, но неправильно понятых SEO-конфигураций, которые вы можете сделать на своем веб-сайте перед запуском, чтобы убедиться, что он SEO-защищен и готов к показу в поисковой выдаче.

В этом руководстве мы рассмотрим, как проводить аудит наиболее важных технических аспектов SEO вашего сайта. Это даст вашему новому веб-сайту лучшее начало в жизни и, как мы надеемся, быстрее отобразит его в результатах поиска Google. Если вы хотите узнать больше о доступных инструментах аудита, вы можете прочитать наше независимое руководство по топ-9 инструментов аудита SEO ,

1. Настройте Robots.txt

Не расстраивайтесь из-за слегка технически звучащего «robots.txt». Это просто текстовый файл, который находится на вашем веб-сервере и на самом деле довольно прост. Robots.txt - это инструмент, созданный поисковыми системами, который позволяет веб-мастерам выбирать, хотим ли мы сканировать наши веб-страницы и обнаруживать их в результатах поиска или нет.

Протокол исключения роботов (REP), или robots.txt это просто текстовый файл, созданный веб-мастерами для указания роботам поисковых систем, какие страницы сканировать или нет на их веб-сайте.

Файл всегда находится в корне вашего сайта, т.е. http://www.yourdomain.com/robots.txt.

Если вы хотите, чтобы ваш веб-сайт отображался в поисковой выдаче, и у вас есть простой веб-сайт без большого количества страниц, то лучше сохранить доступ ко всем страницам. 99% времени это прекрасное решение для веб-сайтов.

Иногда мы видим новые веб-сайты, запускаемые со следующими файлами robots.txt:

Пользователь-агент: * Disallow: /

Это блокирует сканеры поисковых систем от сканирования веб-сайта. Обычно это происходит, когда веб-разработчики забывают удалить его с веб-сайта разработки, прежде чем запускать его в живую. SEO вашего нового сайта никогда не сдвинется с мертвой точки, если вы не поймете это правильно.

Если вы хотите заблокировать поисковые системы от сканирования частей вашего сайта, используйте это шпаргалка от Moz чтобы добавить правильные инструкции в robots.txt вашего сайта.

Помните, что любой файл robots.txt является общедоступным файлом. Это означает, что любой может видеть заблокированные разделы сервера. Поэтому старайтесь не включать страницы входа в систему или любые другие важные части веб-сайта, которые могут быть скомпрометированы. Если вы хотите создавать страницы, недоступные для публичного поиска, используйте защиту паролем, чтобы посетители не могли просматривать конфиденциальные страницы, которые вы не хотите индексировать.

Эффект Robots.txt

Когда вы блокируете сканирование URL-адресов в Google с помощью robots.txt, они все равно могут показывать эти страницы как списки «только URL» в своих результатах поиска . Как в примере ниже для amazon.com которая включает строку robots.txt:

Disallow: / gp / клиентский опыт

Но в поисковой выдаче Google при поиске страницы, включающей этот URL-адрес, говорится:

«Описание этого результата недоступно из-за robots.txt этого сайта»

txt этого сайта»

Это одна из самых неправильно понятых возможностей Robots.txt. Включение URL-адреса в файл robots.txt не удаляет его из индекса Google, если URL-адрес связан с веб-сайтом или включен в карту сайта.

Чтобы добавить файл robots.txt на свой веб-сайт, включите его в каталог верхнего уровня своего веб-сервера (т.е. http://www.yourdomain.com/robots.txt). Обычно это то же самое место, где вы размещаете главную страницу приветствия «index.html» вашего сайта. Не забудьте использовать все строчные буквы для имени файла: «robots.txt» вместо «Robots.TXT.

Вы можете иметь только один файл robots.txt для каждого сайта.

Проверка вашего Robots.txt

Использовать robots.txt анализатор чтобы отследить ваш сайт и увидеть влияние ваших файлов robots.txt на сканирование вашего сайта:

Если вам нужна дополнительная информация, см. это руководство от Moz ,

Вы также можете использовать консоль поиска Google, чтобы проверить, какие URL заблокированы (или нет) файлом robots.txt. См. Далее в статье для получения дополнительной информации о консоли поиска Google.

2. Обнаружение и устранение проблем с дублирующимся содержимым

Перед большим запуском проверьте ваш сайт на наличие дублирующегося контента и используйте Канонический URL-тег , Канонический тег указывает поисковым системам индексировать одну страницу, где у вас есть группа страниц, которые очень похожи.

Наличие нескольких веб-страниц, содержащих дублированный контент, может ослабить ваш SEO разными способами:

  1. Поисковые системы не знают, какую версию показывать в результатах поиска.
  2. Поисковые системы не уверены, какую версию включить или исключить из своего индекса.
  3. Поисковые системы не могут решить, следует ли делить эквити ссылок (ссылочный сок, полномочия и т. Д.) Между дублирующимися версиями или назначать их одной конкретной странице.

Если вы не предпримете каких-либо действий для решения проблем с дублированным содержанием, поисковые системы будут назначать более низкий показатель релевантности для вашего сайта поисковым запросам. В результате вы можете потерять очень большую часть вашего поискового трафика.

Используйте тег URL Canonical, чтобы сообщить поисковым системам, какая версия дублированного контента является оригинальной и наиболее важной. Разметьте каноническую страницу и дубликаты страниц с помощью элемента ссылки rel = ”canonical”.

Канонический URL-тег является частью HTML-заголовка веб-страницы. Это выглядит так:

<link rel = "canonical" href = "https://yourwebsite.com/" />

Обратите внимание на включение полного URL-адреса и домена (включая http: // или https: //). Канонические URL не должны использовать относительный путь.

Использование этого тега скажет поисковым системам, что страница должна рассматриваться как копия https://yourwebsite.com/ и что все ссылки и метрики релевантности должны быть назначены исходному URL.

Вот распространенные типы дублирующегося контента, который вы должны проверить на своем сайте:

  • Дискуссионные форумы, которые могут создавать как обычные, так и урезанные страницы, ориентированные на мобильные устройства.
  • Элементы интернет-магазина, отображаемые или связанные через несколько разных URL-адресов (например, один и тот же продукт, другой размер или цвет)
  • Версии веб-страниц только для принтера
  • URL-адреса, написанные заглавными буквами - если в URL-адресе есть заглавные буквы, и вы также можете отобразить ту же страницу в версии, в которой нет заглавных букв, у вас будет дублированный контент
  • Идентификаторы сеанса. Это происходит, когда каждому пользователю, посещающему веб-сайт, назначается отдельный идентификатор сеанса, который хранится в URL-адресе.
  • В блогах WordPress, использующих много категорий или тегов, но без большого количества сообщений, например, http: // mywebsite / blog / category / seo, может возвращать тот же HTML, что и http: // mywebsite / blog / tag / marketing.

Как мне найти дублированный контент?

Ответ заключается в том, что не всегда так легко найти дублированный контент, и если об этом не сообщается в Google Search Console (см. Далее в этой статье), вам необходимо выполнить детективную работу.

Вы можете использовать бесплатный веб-сканер, такой как Siteliner обнаруживать любые битые или повторяющиеся URL на вашем сайте.

Вы также можете выполнить запрос «site:» в Google, чтобы увидеть список всех проиндексированных страниц на вашем сайте и посмотреть, не похожи ли они. Вот скриншот того, что происходит, когда вы делаете запрос сайта для этого сайта:

Вот так будет выглядеть список дублирующегося контента на Siteliner для вашего сайта:

Использование бесплатных онлайн-инструментов для поиска и исправления дубликатов URL-адресов - это дешевый и простой способ повысить видимость вашей поисковой системы и привлечь больше органического трафика на ваш сайт после запуска.

Есть также экспертные, платные инструменты для сканирования веб-сайтов, такие как ScreamingFrog а также DeepCrawl для выявления проблем с дублированием контента на крупных сайтах. Результаты этого обычно бывают частью крупномасштабный цифровой маркетинговый аудит ,

3. Создайте XML Sitemap

Давайте начнем с простого вопроса: что такое карта сайта?

Вот определение Google:

Карта сайта это файл, в котором вы можете перечислить веб-страницы вашего сайта, чтобы сообщить Google и другим поисковым системам об организации содержания вашего сайта. Сканеры поисковых систем, такие как Googlebot, читают этот файл, чтобы более разумно сканировать ваш сайт.

Таким образом, в основном файл Sitemap представляет собой список URL-адресов на вашем веб-сайте, которые вы создаете, чтобы помочь поисковым системам лучше понять содержание и структуру вашего веб-сайта.

Зачем вам нужен XML Sitemap?

В некоторых случаях, если ваш контент и веб-страницы все правильно связаны и легко просматриваются, наличие карты сайта не будет иметь большого значения. Однако наличие карты сайта может улучшить рейтинг поисковых систем на вашем сайте, поскольку это помогает Google и другим поисковым системам быстрее сканировать ваш сайт.

Вот некоторые типы веб-сайтов, которые получают выгоду от файлов Sitemap:

  1. У вас большой веб-сайт - Google может пропустить некоторые из ваших последних обновленных страниц, поскольку они достаточно глубоко расположены в иерархии вашего сайта.
  2. Ваш веб-сайт имеет большой архив содержательных страниц, которые плохо связаны друг с другом - поисковые системы могут не поднять все эти страницы.
  3. Ваш сайт новый и не имеет много внешних ссылок, указывающих на него - Google может быть не в состоянии обнаружить части вашего сайта в первую очередь

Вы поймали последний? Роботы Google не смогут обнаружить ваш сайт, если он новый и имеет мало внешних ссылок на него. Вот фотография GoogleBot, чтобы украсить ваш день:

Вот фотография GoogleBot, чтобы украсить ваш день:

Источник: Google

Поэтому, если вы проводите аудит SEO перед запуском, обязательно добавьте «XML Sitemap» в свой контрольный список и оставьте GoogleBot счастливым.

Вот еще одно преимущество файлов Sitemap. Вы также можете использовать карту сайта, чтобы указать предпочтительные URL для того же контента. Все, что вам нужно сделать, это выбрать канонический (предпочтительный) URL-адрес для каждой из ваших страниц и сообщить Google о своих предпочтениях, отправив эти канонические URL-адреса в карту сайта.

Помните, что использование карты сайта не гарантирует, что все элементы в вашей карте сайта будут сканироваться и индексироваться Google. Но вы сделали все возможное, чтобы ваш сайт был легко найден.

Лучшие советы по работе с XML-файлами Sitemap

  1. Создайте свой XML-файл сайта и отправьте его поисковым системам после публикации вашего сайта.
  2. Вы можете установить поля «Приоритет» и «Последнее изменение» для каждого URL-адреса в карте сайта, чтобы дать дополнительные инструкции сканерам поисковых систем.
  3. Не забудьте добавить ссылку на карту вашего сайта из файла robots.txt вашего сайта. Он должен указать местоположение вашего XML Sitemap и сообщить поисковым системам, есть ли у вас каталоги, которые вы не хотите индексировать.

Отправить свой Sitemap в Google

Вы можете отправить свою карту сайта непосредственно в Google через консоль поиска Google.

Обратите внимание, что для отправки карты сайта в Google необходимо сначала подтвердить свой домен с помощью консоли поиска Google. Как только вы подтвердите свой сайт, Google идентифицирует вас как владельца сайта.

  1. Выберите свой сайт на главной странице консоли поиска Google
  2. Нажмите Сканирование
  3. Нажмите Sitemaps
  4. Нажмите ДОБАВИТЬ / ТЕСТОВЫЙ САЙТ
  5. Введите sitemap.xml (или путь к местоположению карты сайта вашего сайта)
  6. Нажмите Отправить файл Sitemap.

Expert XML Sitemap Советы для крупных сайтов

Крупные сайты могут разделить свою карту сайта на несколько файлов с помощью индекса Sitemap. Это облегчает решение проблем индексации в консоли поиска Google. Вы всегда должны отправлять свое изображение карты сайта отдельно на карту своего сайта.

4. Настройте Консоль поиска Google (также Инструменты Google для веб-мастеров)

Консоль поиска Google (GSC) - это основной механизм взаимодействия Google с веб-мастерами в отношении нормального состояния и производительности веб-сайтов. В сочетании с Google Analytics вы можете получить хорошее представление о состоянии SEO вашего сайта.

Google Search Analytics помогает отслеживать и поддерживать присутствие вашего сайта в результатах поиска Google, в то время как другие инструменты помогают диагностировать проблемы, настраивать параметры сканирования и множество других полезных вещей.

Установить Google Search Console Сначала вам необходимо подтвердить право собственности на ваш сайт.

Чтобы проверить недвижимость (сайт):

Нажмите Добавить свойство на домашней странице консоли поиска и отправьте свой URL.

Выберите один из методов проверки и следуйте инструкциям. Не все методы проверки доступны для всех свойств; На странице подтверждения будет указано, какие методы доступны и рекомендованы для вашего сайта.

После того, как вы проверили свой сайт, вы можете войти в систему и начать проверять данные для вашего сайта.

После того, как вы проверили свой сайт, вы можете войти в систему и начать проверять данные для вашего сайта

Инструменты Google для веб-мастеров также предоставляют некоторые дополнительные настройки для сканирования вашего сайта в соответствии с вашими предпочтениями. Например, вы можете установить скорость сканирования и выбрать, как часто вы хотите, чтобы ваш сайт сканировался GoogleBot.

Search Console - это также идеальный инструмент для проверки ошибок SEO, таких как неработающие URL или дублированный контент. Google сообщит вам о текущих ошибках, и вы сможете быстро их исправить.

Для полного обзора того, что вы можете сделать с помощью Google Search Console, см. это всеобъемлющее руководство Поисковая система Watch.

Заключение

К настоящему времени у вас должен быть четкий обзор наиболее важных тактик SEO перед запуском сайта. Если какая-то из этих тем казалась немного ошеломляющей, не беспокойтесь - есть много отличных ресурсов, которые исследуют каждый предмет еще дальше. Вам просто не нужно быть SEO-экспертом, чтобы провести базовый SEO-аудит вашего сайта. На самом деле вы можете прочитать один из наших технических SEO-аудита тематические исследования здесь что поможет вам применить некоторые навыки, которые вы узнали.

Обеспечение SEO-защиты вашего сайта перед его запуском - это ключ к тому, чтобы его можно было найти в результатах поиска и получить много органического трафика.

Поделитесь с нами своими впечатлениями перед запуском SEO! Не забудьте оставить комментарий о лучших методах и любимых советах, которые помогли вам сделать сайты очень заметными в поисковой выдаче.

Как мне найти дублированный контент?
Зачем вам нужен XML Sitemap?