クローラー?インデックス?
またしてもなんか難しそうな言葉が出てきたと、一瞬引いてしまいそうになったかもしれません(笑)

がしかし、この2つの言葉の理解なくてはSEOは語れないというくらい大切なものです^^

Webサイトでの集客を成功させるにはSEO対策についての基本的な知識を身につけていかなければなりませんが、SEO対策とは『検索エンジン最適化』ということですので、検索エンジンの仕組みについても知っておく必要があります。

参考:SEO対策とは?SEOの基礎知識と考え方をサイト運営初心者向けに解説!

検索エンジンの検索結果での上位表示を獲得し、多くの人にサイトに訪問してもらえる機会を得ることがWeb集客を成功させるための何よりの課題となりますが、検索エンジンはどのようにして順位を決定して結果を表示しているのか、気になりませんか?

『クローラー』と『インデックス』は、検索エンジンがやってることを端的に表した言葉です。

今回は、検索エンジンの仕組みと、この『クローラー』と『インデックス』という働きについて、分かりやすく解説していきます。

 

まずは検索エンジンの仕組みを理解しよう

クローラー,インデックス,検索エンジン,仕組み

インターネットユーザーのほとんどの人は、GoogleやYahoo!のトップページにある『検索窓』に関心のあるキーワードを打ち込み、調べ物をしたりしていますよね^^

どんなキーワードに対しても即座に目的の情報を提示し、ユーザーにとっての『最高の回答者』であろうとしているのがこの『検索エンジン』というプログラムなのですが、この検索エンジンがどのようにして情報を収集し、検索ユーザーに的確な情報を提供しているのか、ということをしっかりと理解しておきましょう。

検索エンジンの仕組みは、『検索ユーザーの質問に的確に回答する』という目的に集約されます。

あなたがもし、『ランチ』というキーワードで検索したとします。

すると、検索エンジンは世界中のWebページから『ランチ』に関連するページを、ページ評価の高いものや整合性が高いものから順に『検索結果』として返します。

検索エンジンはこのとき、世界中のWebページの情報が格納されている本棚から、『ランチ』のことが書かれた本を取り出して、『あなたの探している情報はこれですよね?』と差し出してくれるようなイメージですね。

もし、『ランチ』に関連する情報が欲しいのに、間違って『ライオン』の情報を差し出されたり、『ランチ?ナニソレ?』ととぼけた回答をされたりしたら、もう二度とあなたは検索エンジンを利用して調べ物をしようとは思わないでしょう。

ですので、検索エンジンは、誰にとってもどんな質問に対しても、的確な情報を即座に提供しようとする仕組みになっているのです。

そのために、世界中のWebページの情報は検索エンジンが保持している『データーベース』にきちんと整理されて、検索されたらすぐに取り出せるようになっています。

検索ユーザーの質問に的確に回答する

この目的のための仕組みを支える主要の機能として、『クローリング』『インデクシング』というものがあります。

<検索エンジンが検索結果を返す際の内部的な流れ>

  1. 検索ユーザーが『キーワード』を入れて検索する。
  2. キーワードを受け取ったら、検索エンジンは『データーベース』からそのキーワードに合致するWebページを取得する。
  3. 取得したWebページを検索結果として返す。

Googleクローラーとは

さて、『クローラー』という言葉をあなたも幾度となく聞いたことがあるかもしれませんが、Web集客を成功させるためのSEOを理解する上で、知っておかなければならないものです。

先ほどは、検索エンジンが世界中のありとあらゆるWebページの情報を格納した『データーベース』を参照して、検索ユーザーのキーワードに対して検索結果を返している、とご説明しました。

この『データーベース』には、世界中のWebページの情報が網羅されているわけですが、Webページは日々新しく作成されたり内容が更新されたりと、次々と変化していきますよね。

ですので検索エンジンは、世界中のWebページを周回させデータを取得するロボットをネット上に放ち、更新情報を取得して回っているのです。

この、ロボットのことを『クローラー』といいます。
Google検索エンジンのクローラーは特に『Googlebot』というように呼ばれます。

クローラー,インデックス,検索エンジン,仕組み

 

『親分』である検索エンジンが、『子分』のクローラーに『世界中のWebページの情報を集めてこい!』と命令します。

クローラーの実体はプログラムになっていますが、私たちと同じように、リンクを辿ってインターネット上のWebサイトの情報を収集していきます。

クローラーはクモの巣のように張り巡らされた世界中の無数のリンクをすごい早さで辿って情報を集めていきます。
その動きがまるでクモ(Spider)のようだということで、『スパイダー』という呼ばれ方もします。

クローラー,インデックス,検索エンジン,仕組み

 

クローラーは、Webページの中に貼られている外部リンクから、他のサイトへ行き、そしてそのサイトのリンクからまた他のサイトへ、という動きをします。

ところが、うっかりあなたのサイトの情報全てを回収しないまま次のサイトへ移っていってしまった・・なんてことも起こったりします。

クローラーに情報を収集されない、ということは検索エンジンに認識されない、ということですよね。

ですので、サイトの回遊のしやすさ、クローラーにとっての分かりやすさを向上させていくことは、SEO対策においてとても重要なのです。
このことを『クローラビリティ』なんて言い方もします。

クローラーはリンクを辿ってWebページを巡回しているため、リンク切れがあると、そのサイトはクローラーにとってあまり好ましくないサイトということになります。
(クローラビリティがよろしくない、ということですね!)

もし内部リンクがリンク切れしていた場合、サイト内のページの情報の取りこぼしをしてしまうことによってSEO的に不利になったり、リンク切れのリンクによって、クローラーが1回に巡回できるクローラー上限回数にすぐに達してしまい、巡回頻度も遠のいてしまう、ということが起こります。

つまり、リンク切れの多いサイトというのは、クローラーからすると『このサイトはあんまり巡回しに行きたくないなぁ』というサイトになってしまい、検索エンジンからの評価も下がってしまうということに繋がります。
(クロールの巡回頻度が多ければ多いほど検索エンジンからの評価が高い)

SEO対策の観点からも、クローラビリティを向上して、クローラーにあなたのサイトの情報を収集してもらいやすくしておくことは非常に大切だということですね!

<クローラーの役割>
Webサイトの情報を集めること

インデックスとは

クローラーがせっせと集めたWebページの情報は、検索エンジンに持ち帰られます。

そして検索エンジンはその集められた情報を、検索アルゴリズムが扱いやすい形に変換・分類した上で、検索エンジンの保持するデーターベースに登録されます。

クローラー,インデックス,検索エンジン,仕組み

こんな↑イメージです。
本をカテゴリーごとに分類して書庫に収納する、というように考えていただければ分かりやすいですね。

例えば、『ランチ』というキーワードの記事は、『ランチ』というデーターベースに収納される。
こうすることで、検索ユーザーから『ランチの情報おくれ!』と言われたらすぐに『はいどうぞ!』と取り出せるということです。

このように、クローラーが持ち帰ったWebページの情報をデーターベースに登録することを『インデックスする』または『インデックス化』といいます。

インデックス化することによって、検索エンジンは検索ユーザーの入れた『キーワード』でデータベースを参照できるようになり、検索結果として表示できるようになります。

インデックスされてないと、検索エンジンは検索結果に情報を返すことができません。
もしあなたが記事を書いてアップしていたとしても、インデックスされていなければ、検索対象外のページとなり、検索結果に表示されないということです。

頻繁に更新されているブログには、クローラーが足しげく巡回に訪れるので、概してインデックス速度は早いですが、作りたてのドメインや更新があまり行われていないブログには、クローラーがなかなかやってこないためインデックスのタイミングも非常に遅い場合があります。

せっかく記事をアップしたのに、インデックスされていないと、アクセスを取り逃がすことになってしまいますよね。

ですので、クローラーの巡回頻度を多くして検索エンジンに早くインデックスしてもらうことはとても重要なのです。

<インデックスとは>
検索エンジンのデータベースに登録されたWebページの情報