くろーらー

少し前に職場のWebサイトをリニューアルしたんですね．オープンソースの某CMSをだいぶん書き換えて使っています．以前のと見た目にはあんまり差はないのですが，前のがtableタグの入れ子だったかなりヒドイ物だったことを考えるといちおXHTML 1.0 Transitionalだったりしてそれなりに近代化 ;p しているんです．
せっかくCMSを使うんだしってことでコンテンツネゴシエーションに対応してトップページだけは同じURIでAccept Languageの1番目がjaかどうかで日本語で返すか英語で返すか切り替えるようにしたんですね*1．そこで気が付いたのがほとんどのwebクローラはAccept Languageがenなんですね．たとえばgooみたいに日本語のコンテンツをメインにしていてもおかしくなさそうなところはAccept Languageの先頭にjaを設定していても良さそうなものなのですが・・・
そんなわけでsitemapが使えるgooglebot以外のクローラは英語版のペイジしか収集していかないという少々オマヌケな状態に．
そんなわけで，日本語のコンテンツを集めているクローラはAccept Languageにjaを設定していても良いんじゃないかと思ったわけなのでした．

*1:ほかのペイジはUIが異なります