クローラー Crawler
Posted on | 7月 7, 2008 | 2 Comments
検索エンジンの検索結果に表示するリスト、データを集積しにインターネット上にある全てのＷＥＢページを収集するソフトウェアやプログラムの事。
WEBディレクトリ型検索エンジンでは、常に新しいWEBサイトが生まれる、現在では限界があり、現在の検索エンジンの主流となっている。
ロボットは人間と違って各サイトやページに書かれている内容の意味や相互の関連までは把握できないが、Googlebotに代表されるように、ロボット型検索エンジンは、独自のアルゴリズムを修正し、検索キーワードとの合致性を改善する事でユーザービリティを高めている。
同義語
代表的な検索ロボット
- Googlebot
- Yahoo! Slurp
- MSNBot
- Baiduspider