クロ ーラーが収集したデータは、検索エンジンのデータベースに保存されます。こ の保存されることをインデックスされるといいます。インデックスされるときには、 webページの情報をそのままコピーして保存するのではなく、検索エンジンが今後、扱 いやすいように編集されて保存されます。
検索エンジンはインデックスされた情報を元にして、検索結果を表示しているので、 webページの情報がインデックスされているかどうかは非常に重要です。作成したwebサイトのwebページの情報がインデックスされていなければ、検索結果にwebページが表示されないので、検索で見つかることもありません。 また、クローラーが読んだすべてのwebページをインデックスするわけではありません。そのためどれだけクロ ーラーに巡回をされていたとしても、検索エンジンにイン デックスされなければ、まったく意味がありません。 また、 webページの情報が間違 って 保存されてしまっていると、検索エンジンが正しい情報を扱えず、検索結果も正しく表示されません。webページの情報が正しくインデックスされるように、クロ ーラーに正しく情報を伝えることも重要です。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です