Урок 2: Поиск Паука

Последняя проверка 21 марта 2019 года в 15:24

Search Spider является неотъемлемой частью процесса индексации поисковой системы. Эти пауки несут ответственность за чтение кодов вашего сайта. Помните, что все сайты являются кодами, и эти коды читаются пауками, так как поисковые системы сохраняют их в своей базе данных.

Если вы хотите узнать, как работает Search, вы должны знать, что делает Search Tick. В этом уроке я расскажу о поисковых пауках и трех видах поисковых пауков Google.

Для чего нужен поисковый паук?

Когда у вас есть веб-сайт, вы знаете, что это все коды. Это функция веб-браузера для отображения этих кодов в удобном для человеческого глаза формате . Картинки ты видишь? Это все коды. Флэш фильм, который вы смотрите? Да, это все коды. Видео с Youtube ? Все коды.

Вот почему Мета-теги фактически читаются поисковыми системами, даже если они не отображаются в браузере HTML. Потому что это часть кода. И поисковые пауки сканируют код, а не браузер.

Как я изложил в нашем последнем уроке, поисковая система выполняет три основных действия: индексирование, извлечение и ранжирование. Поисковые пауки выполняют большую часть работы, когда дело доходит до первой части работы поисковых систем, которая заключается в индексации.

Все коды на вашем сайте должны быть прочитаны для того, чтобы он был успешно проиндексирован . Если он плохо читается, он будет отображаться искаженным в базе данных Google, которую мы можем увидеть через кеш в результатах поиска. Существуют различные виды кодов, с которыми приходится иметь дело поисковому пауку. Там есть PHP, JAVA, HTML, C # и так далее ...

Что удивительно в поисковом пауке, так это то, что он не вращает свою собственную сеть. Он использует ссылки, которые входят и выходят с вашего сайта, чтобы он мог двигаться. Он сканирует исходящие ссылки с вашего сайта на другой веб-сайт, на который вы указываете. И как он будет сканировать ваш сайт, вероятно, таким же образом - исходя из исходящей ссылки другого сайта, указывающей на вашу.

Есть три вида пауков поисковой системы Google - они больше известны как боты Google.

Первым из которых является бот AdSense . Этот бот для страниц с Google AdSense. Всякий раз, когда создается новая страница с рекламой Google AdSense, JavaScript в коде AdSense активируется, чтобы отправить сообщение боту AdSense. В свою очередь, бот AdSense будет сканировать страницу в течение 15 минут, чтобы определить, какое объявление лучше всего разместить и разместить на веб-странице. Но это для людей, которые используют AdSense.

Во-вторых, у нас есть Freshbot . Freshbot сканирует наиболее посещаемую страницу на вашем сайте. Неважно, если у вас есть только одна популярная страница или их много. Существуют веб-сайты, которые сканируются каждые десять минут из-за быстрого оборота контента и популярности его страниц, такие как CNN.com или Amazon.com и т. Д. Типичный веб-сайт, скорее всего, сканируется Freshbot примерно от 1 до 14 дней в зависимости от насколько популярны эти страницы.

Freshbot также прокладывает путь для третьего бота, DeepCrawl . Freshbot просматривает все более глубокие ссылки на вашем сайте и сохраняет их для использования DeepCrawl. DeepCrawl идет и индексирует ваш сайт примерно раз в месяц. По этой причине Google может проиндексировать весь ваш сайт даже при наличии карты сайта Google.

Вы можете прочитать больше о новой системе индексации Google - Google Caffeine чтобы узнать немного больше о том, как Google индексирует сайты

С уважением,

Шон Патрик Си

SEO Хакер Основатель и SEO специалист

Для чего нужен поисковый паук?
Картинки ты видишь?
Флэш фильм, который вы смотрите?