サイトの更新後、Sitemap.xml に変更があった場合、再度、Google に通知する必要があります。Webサイトからもおこなえますが、GSiteCrawler でも sitemap.xml 出力時に、FTP でアップロード、Googne に通知の一連の作業を自動的に行えるようになっています。 (GSiteCrawler ver 1.02)
URLリストテーブルが作成できたら、サイトの更新がある度、クロールを実行しURLリストテーブルを更新します。サイトの更新内容によって要領の良い手順は異なりますので、その点についても触れておきます。
このケースは、現在リストされているページを再取得するだけで済みます。以下の手順で URL リストを更新し、Google sitemap ファイルを再出力します。
削除された、またはURLが変更になった場合、リストからは自分で削除する必要があります。新たにクロールを実行しても、一度リストに取り込まれた情報は削除されません。
リストテーブルから手動で該当するURLを削除する必要があります。
ドキュメントにも一度リストを削除し、再度プロジェクトクロールを実行するように説明されていますが、この場合、訪問頻度などのカスタマイズはやり直しとなります。リストテーブルから該当のURLを選択してDelete する方が楽です。
どのページ、URL が削除されたのか分からない場合は、リンクのエラーを確認する事で知る事ができると思います。
このケースは、GSiteCrawler に再度 Crawl して追加された URL を探してもらう必要があります。リンクを辿るため、すこし時間がかかりますがリンクエラーがないかチェックするという事でもあります。
サイト更新作業を行い、知らずうちにリンク切れが発生していた場合、 Setting タブの HTML Code/Text on a custom 404-Error で Remove URL format list が選択されていた場合、現在あるURLリストテーブルから自動的に削除してくれると思うのですが、自分で取り除く必要があるようです。(Re)Crawl の際は、404エラーのチェックは必ず行うようにしましょう。
一人でWebサイトを運営、管理している場合はこれで十分ですが、サイトの規模が大きい、グループで制作、管理している場合など、どのページが新たに追加されたのか把握する事が難しくなります。
これらの sitemap.xml の管理を行う管理者は一人が原則であるため
『新しく追加された URL リストを提出してもらうなどのルールを決めて確認する』
などの工夫が必要になると思います。
Google Sitemap サービス自信、 Beta サービスであり始まって間がない(半年)のサービスであることもあり、GSiteCrawler も頻繁にバージョンアップしています。そのため、ここで紹介した内容は直に古くなると思います。
サイト運営者は SEO的なチューニングを必要としない、つまり 手間は一切かけたくない場合や、Google がURLを見つけてくれればそれで良い場合は、 Google Sitemap Generator の使用も検討してみて下さい。こちらは、Web サーバーに一定の権限も持っている方、又はWebサーバー管理者の協力が必要となります。
以上です。
(2005年 12月 25日 作成)