Оптимизируйте свой сайт WordPress с robots.txt для SEO

1. Что такое robots.txt?
2. Как вы создаете файл robots.txt?
3. Какие инструкции вы даете?
4. Пользовательский агент, Disallow and Allow
5. Преимущества и недостатки robots.txt для вашей поисковой оптимизации (SEO)
6. Тестирование от Google
7. Наконец, некоторые моменты для внимания

Что вы думаете об этой статье?

(Avg. 3.8 / 5)

Файл robots.txt - это очень важный способ сообщить Google, что они могут и не могут получить к нему доступ. В дополнение к Google все основные поисковые системы поддерживают основные функции этого файла инструкций. Использовать его обманчиво просто, и в этой статье вы можете прочитать, что вы можете с ним сделать. Но будьте осторожны: ошибка и ваш сайт может быть проиндексирован неправильно.

Что такое robots.txt?

Файл роботов - это текстовый файл, который вы помещаете (через FTP) в корень домена. Файл содержит строгие инструкции, предназначенные для сканеров, таких как Google. Когда Google заходит на ваш сайт, сканер сначала проверяет, существует ли файл robots.txt. Затем сканер определяет, какие страницы вашего веб-сайта посещаются и индексируются Google.

Вы уже заметили, что этот файл может быть важен для вашей поисковой оптимизации. В конце концов, иногда вы хотите, чтобы страницы или части вашего сайта не были найдены Google. Читайте об этом в этой статье что я написал раньше. Кстати, сканеры вредоносных программ, которые ищут нарушения безопасности, игнорируют файл справки.

Вы можете:

• Поисковые системы запрещают доступ к определенным разделам
• Предотвратить дублирование контента
• Сделайте так, чтобы поисковые системы сканировали ваш сайт более эффективно.

Как вы создаете файл robots.txt?

Создать файл robots.txt легко. Вы открываете свою программу-блокнот и можете давать инструкции. Затем вы сохраняете файл строчными буквами (robots.txt), а не заглавными (robots.txt, Robots.TXT). Затем вы помещаете текстовый файл в корень («root») вашего домена, обычно через FTP. Обычный корневой каталог - /www/jedomeinnaam.nl или public_html.

Поисковые системы находят ваш robots.txt через https://www.jedomeinnaam.nl/robots.txt

Всегда используйте robots.txt, даже если он пуст (и сканеры могут посетить все). Вы можете сохранить трафик данных, 404 ошибки (не найдены) и длинные файлы журнала ошибок при загрузке файла robots.txt. Так что просто укажите, сколько технических знаний ему требуется. (Мы помогаем нашим клиентам в этом: мы всегда размещаем ваш robots.txt).

Какие инструкции вы даете?

Теперь у вас есть файл robots.txt, и вы знаете, как разместить его на своем сайте. Но какие инструкции вы предоставляете?

Пользовательский агент, Disallow and Allow

Пользовательский агент обозначает название поисковой системы, которая приходит в гости. Запретить означает инструкции через ваш robots.txt, чтобы исключить разделы вашего сайта. Робот Google также имеет правила включения. При этом вы указываете, какие файлы разрешены в индексе. Вы делаете это с помощью Разрешить.

• ПРИМЕР: Вы не хотите, чтобы сканер посещал любую страницу. Вот инструкция:

  Robots.txt: помогите Google посетить ваш сайт

Пользовательский агент: *
Disallow: /

Строка User-agent: * указывает, что инструкции применяются ко всем сканерам, а строка Disallow: / указывает, что сканеру не разрешено посещать какие-либо страницы. Не забудьте использовать косую черту.

• ПРИМЕР: вы хотите, чтобы программа-обходчик могла просматривать все файлы в корневой папке и подпапках. Тогда это инструкция:

Пользовательский агент: *
Disallow:

• ПРИМЕР: вы хотите, чтобы сканер пропускал файлы в определенных папках. Тогда это инструкция:

Пользовательский агент: *
Disallow: / cgi-bin /
Disallow: / tmp /
Disallow: / images /

В этом примере вы не разрешаете индексировать папку с изображениями, tmp и cgi-bin. Файлы в других папках могут быть посещены.

• ПРИМЕР: Вы хотите исключить определенных вредоносных ботов. Тогда это (пример) инструкция:

Агент пользователя: BadBot
Disallow: /

В этом случае BadBot исключается. У любого другого сканера есть доступ.

• ПРИМЕР: Вы хотите дать Google определенные инструкции. Тогда это (пример) инструкция:

Агент пользователя: Google
Disallow: /underconstruction.html

В этом примере вы не разрешаете Google посещать файл underconstruction.html.

• ПРИМЕР: Вы хотите, чтобы определенные папки WordPress (не) посещались определенным образом. Это самая распространенная инструкция для сайтов WordPress:

Disallow: / wp-admin /

Разрешить: /wp-admin/admin-ajax.php

Кстати, если вы используете disallow: / wp-admin /, поймите, что это имеет ограниченную ценность. Запрос inurl: wp-admin любимый злоумышленниками, чтобы найти (логин) вашего сайта.

• ПРИМЕР: вы хотите предоставить Google доступ только к папке с файлами PDF, но не к другим папкам.

Агент пользователя: Googlebot
Disallow: /
Разрешить: / pdf /

• ПРИМЕР: Вы хотите применить определенные фильтры, которые могут и не могут быть посещены. Тогда, например, могут быть полезны для интернет-магазинов:

# Фильтры
Disallow: / * размер =
Disallow: / * Категория =
Disallo: / * ПК аксессуары =

Преимущества и недостатки robots.txt для вашей поисковой оптимизации (SEO)

Каждый сайт имеет «допуск» на количество страниц, используемых поисковым роботом. Если вы блокируете определенные части, вы можете использовать это пособие для других разделов. Это может быть полезно для тех мест, где вы хотите очистить свой SEO.

Недостатком является то, что с файлом robots.txt вы не можете указать Google не показывать определенные URL-адреса в результатах поиска. Это означает, что Google может обойти Google. Например, если сканер находит достаточно (внешних) ссылок на определенную страницу вашего сайта, он будет просто отображаться в Google.

Тестирование от Google

Вы можете иметь один инструмент для тестирования robots.txt от Google, чтобы увидеть, как Google посещает ваш сайт.

Наконец, некоторые моменты для внимания

Следующие пункты часто упускаются из виду, когда вы начинаете использовать SEO для вашего SEO.

• Каждый может получить доступ к вашему файлу robots.txt. Поскольку файл является общедоступным, убедитесь, что вы не храните личную или секретную информацию. Лучше не включать папки, такие как / secret, / secret / logging в ваш текстовый файл
• Robots.txt не является обязательным: если вы не знаете, как реализовать файл справки, не делайте это самостоятельно и передайте его на аутсорсинг.
• Внешние ссылки могут игнорировать ваши инструкции. Если другие сайты ссылаются на части вашего сайта, которые вы исключаете, Google все равно может их проиндексировать.
• Вы можете включить файлы Sitemap в свой контекст, но лучше добавить их вручную через Google Search Console. Вы не зависите от моментов, когда сканер заходит на ваш сайт: вы можете сами указать Google, чтобы он пришел снова.
• Будьте осторожны с правильными инструкциями, но не бойтесь их использовать.
• Читайте также Руководство Google по файлам robots.txt ,
• Robots.txt в основном активен в фоновом режиме. Мета-роботы помогают сканерам на вашей странице выполнять такие инструкции, как index / noindex и follow / nofollow. Вы можете прочитать, как это работает именно в этой статье. ,