Web上の情報を収集することを「クロール」といいます。
そしてその役割を担うのが、そのまんまですが
「クローラー」、「スパイダー」と呼ばれるシステムです。
よく聞くのは Googlebot（グーグルボット） という自動巡回プログラムですね。
クローラーの役割
端的にいうと、クローラーが「情報を提供してくれるサイト」を
訪問（クロール）して
構成やページの内容などを分析・把握し、
それらをサーバーへ持ち帰ります。
Googleはそれらを整理（インデックス）してその中から最適な
回答を選定する（アルゴリズム）、という流れになります。
クロール（巡回）にはリンクが必要
クロールするには道が必要です。
ですから、サイトのトップページを巡回しにきたクローラーでも
「道」、つまり内部リンクが張られていないような状態だと
サイト内をうまく巡回できないまま外部サイトへ出て行ってしまう
パターンも考えられます。
クローラーにくまなく巡回してもらうには、
グーグルサーチコンソールなどを用いて
サイトマップを送信しておく必要があります。
ユーザーによるサイトの使いやすさを「ユーザビリティ」という言葉で
表現されますが、
「クローラーの巡回しやすさ」のことも「クローラビリティ」と
呼ばれSEOには重要な要素となっています。
クローラーの種類
通常のWeb検索に用いられるのが上述の「 Googlebot（グーグルボット） 」。
画像検索には「Googlebot Image（グーグルボット イメージ）」。
モバイル検索には「Googlebot-Mobile（グーグルボット モバイル）」
となります。
そのほか、広告専門のクローラーやGoogle以外の検索エンジン（Bingなど）の
クローラーなど、多数存在しています。
コメント