XML サイトマップを検索エンジンに送信するとクロールがどう変わるのかテストしてみた

Posted by
ぴろり
Posted at
2009/02/15 13:55
Trackbacks
関連記事 (0)
Post Comment
コメントできます
Category
電算室 カテゴリ

XMLサイトマップを検索エンジンに送信するとクロールがどう変わるのかテストしてみた
XMLサイトマップって本当にサイトの役に立っているんだろうかってね。XMLサイトマップを検索エンジンに登録すると、どんな効果があるんだろうか。

 …というわけで、このサイトでも同じ実験をしてみました。しかし、全く違う結論が導かれてしまったのです。

この記事を Delicious に追加する   このエントリーをはてなブックマークに追加  

 実験では全部で 20 本の記事を投稿しました。うち最初の 10 本の記事はブログへの投稿だけを行い、後者の 10 本の記事はブログへの投稿後に Google Sitemap と Yahoo! サイトエクスプローラーにサイトマップを送信しました。そして、記事が公開されてから、それぞれの検索クローラが訪問するまでの時間を計測しました。その結果が以下のグラフです。

Google

Yahoo!

サイトマップ最小 [秒]最大 [秒]平均 [秒]
Google送信あり73433,2386,981
Google送信なし52720,2303,002
Yahoo!送信あり1,49530,40912,290
Yahoo!送信なし44749,04614,258

結論

  • Google は AdSense を実施していればサイトマップの送信しなくても影響はない
  • Yahoo! はサイトマップを送信することで、微妙だがクロールが早くなる

 Google の検索クローラについて見ると、集計から突出して時間の掛かったデータを除いてみれば、サイトマップ送信の有無に関わらず、おおよそ 1,000~1,500 秒が平均的な値になります。これはおそらくはサイトに掲載されている Google AdSense が関係しているのではないかと考えられます。というのも、Google のクローラが訪問してしまう前に、サイトが表示された段階で、掲載広告の内容を決定するために AdSense のクローラが訪問してしまっているからです。裏を返せば、今回の実験からは、サイトに Google AdSense を掲載しているのであれば、サイトマップ送信は不要と言い切ってもよいかもしれません。

 一方の Yahoo! では、サイトマップを送信した方が約15%ほど平均値が低いのが判ります。ただ、データにばらつきが大きいので、この15%が有意かどうかは不明です。劇的にクロールが早くなることはないようですが、今回の実験からはその効果が不明であったので、一応はサイトマップを送信しておくのがよいのではないでしょうか。

実験コード

 実験で使用したコードを公開しておきます。同じ実験をしてみた方はご自由にお使いください。PHP 化されたページで動作します。

$fp = @fopen ("crawler.txt", "a");
if ($fp) {
    fprintf ($fp, "%st%s
", time(), htmlentities ($_SERVER['USER_AGENT']));
    fclose ($fp);
}
この記事を Delicious に追加する   このエントリーをはてなブックマークに追加  



関連記事/トラックバック

関連記事/トラックバックはまだありません

この記事にトラックバックを送るには?

コメントを投稿する

 
 (必須, 匿名可, 公開, トリップが使えます)
 (必須, 匿名可, 非公開, Gravatar に対応しています)
 (必須)
スパム コメント防止のため「投稿確認」欄に ランダムな数字 CAPTCHAについて を入力してから送信してください。お手数ですがご協力のほど宜しくお願いいたします。