FrontPage | changes | index | create | search | preferences |

検索エンジン

Last-Modified: Mon Aug 01 02:28 2005; Revision: 1.13; by KM
edit | copy | diff | rlog | raw
  1. ロボット型
    1. robots.txt
  2. ディレクトリ型
  3. 関連情報

検索エンジンは、大別すると、ロボット型とディレクトリ型の二つのタイプに分けられる。

ロボット型

ロボット型は、クローラー、もしくはスパイダー等と呼ばれるプログラムがWebを巡回して、コンテンツを収集し、その結果をインデックスする。 検索エンジンとそのクローラーには、代表的なものとして、

サイト名クローラー
Ask JeevesTeoma
GoogleGooglebot
MSN Searchmsnbot
Yahoo! SearchYahoo! Slurp

が挙げられる。

robots.txt

通常、クローラーは、サイトのコンテンツを収集して良いかを問い合わせるため、そのサイトのTOPディレクトリにあるrobots.txtというファイルにアクセスして、判断することが礼儀とされている。

ディレクトリ型

ディレクトリ型の検索エンジンとは、Webサイト運営者の申請等により登録され、内容に沿ったカテゴリーに分類されて、データベース化される。ロボット型が、プログラムで自動的にインデックスされるのに対し、ディレクトリ型は人為的に行われるものが多い。

関連情報

  • SEM - 電子商取引の用語上、検索エンジンからの検索結果により、新規に顧客を獲得する...
  • SEO - 検索エンジンで検索した時に、上位に表示されることを意識してWebサイトを最...