2003年から 自分の管理してる複数のサーバーに訪れるスパイダーの訪問状況をログ、パケットレベルの両方で観測しています。Google サイトマップサービス以降、Google のクロール状況に変化が現れました。
Google サイトマップサービスは、これまで登録されなかったページが登録されるようになるというサービスです。昨年 2005年 6月にサービスが始まった当初から Google Sitemap サービスを利用してきましたが、結論から言うと 全く効果は出ていません。
クロール能力が高まるどころか、7月頃末頃から Googlebot はトップページとサイトマップファイルのみを頻繁に回収するようになり、他のページは全く訪問しなくなりました。自分の管轄する6つのサーバーも全て同じ状況です。(それまでの Googlebot の 訪問頻度は、階層が一つ深くなる毎に、1ヶ月の周期で訪問)
Google サイトマップのWebサイトでは、ほんの一時期、Sitemap サービスによる訪問なのか、通常の Crawler による訪問なのかレポートに表示されていた事がありましたが、現在はそれもありません。 Google サイトマップサービスによって、従来の Googlebot のクロールに何らかの影響を与えているのではないでしょうか。
Google サイトマップサービスでは、ブログと同様にRSSフィードをGoogle に ping (通知)する事で、サイトの更新状況を知らせるサービスです。Google Sitemaps の Webサイトも時折サーバーエラーが発生している事を確認しており、ping が集中する事でパンク状態にあるのではないかと思われます。
sitemap_gen を使用して画像URLを含めて何万URLを含むサイトマップファイルを作成する人もいるでしょうに、Google は 本当に捌き切れるんでしょうか?優先度や重要度を識別する事ができるのでしょうか?Google Analytics のこともありますし、最近の Google はちょっと読みが甘いのでは?と思う今日この頃です。
参照 => 主要検索エンジン 2005年下半期 Crawler の動向 ~ googlebot
Google は最も知名度の高い検索エンジンであり、調べ事をする時は Google で、という方も多いと思います。私もそうですが、普段の調べ事でも Google の検索品質は低下していると感じることも多くなりました。
検索エンジンと言えば、何かと SEO や順位変動について語られますが、それは、自分のサイトがテーマとするキーワードの順位についてです。
検索エンジンを使う一ネットユーザーとしては、明らかにGoogle の検索結果の品質低下を感じています。 私の場合、Yahoo! で検索したほうが目的の情報が得られる事が多く、 調べ事をする時は、Google より Yahoo ! を使用する事の方が多くなりました。
プラグインによる機能拡張で自分に適したブラウザを構築できる FireFox がシェアを伸ばしていますが、 最新版の FireFox 1.5 では、デフォルトの検索エンジンが、これまでのGoogle から Yahoo! に変更されています。Google から Yahoo に変わった憶測はいろいろあるようですが、個人的には、Yahoo の利用頻度の方が高くなったので気に入っています。 Google が必要なときはツールバーを使えますし。
新しくコンテンツを作成して半年以上経過する現在も Google にクロールされる兆もありません。結局、現在のこのコンテンツも検索結果に反映される事はなく、誰の目に止まる事もありませんでした。
sitemap.xml は定期的に回収するものの、半年経過してもページは登録されないという現状です。自分の管理しているサーバー全てで同じ結果となっているため、現状では意味のないサービスだと考えています。
検索順位はどうでもいいので、せめて検索の対象にしては、欲しいと思います。調べ事をしている人は、キーワードを絞り込んで情報に辿り着いてくれます。例え訪問数が少なかろうが、取敢えずそれで十分なのですが。
2006年 1月 3日