用語集：クローラ（Crawler）

2016年7月12日用語集

クローラ（Crawler）とは

クローラとは、検索エンジンが構築するシステムで、世界中のサーバーと通信し、コンテンツを収集する巡回プログラムです。

通信手段はHTTP/HTTPSプロトコルを採用しており、該当するものであればテキストや画像などあらゆるドキュメントを収集し、インデックスします。

「スパイダー」や「ロボット」等とも呼ばれます。

それぞれGoogleではGooglebot、 YST(Yahoo!Search Technology)ではYahoo! Slurp、bingではMSNBotという名称です。

作成したサイトやコンテンツを早くユーザーに見てもらうためには、検索エンジンにインデックスされる＝クローラに情報を取得してもらうことが重要です。

どんなに魅力的なコンテンツも露出の機会がなければ意味がありません。

クローラビリティの向上はSEOの基本であり、重点を置くべき施策です。

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください。