robotstxtの（新）共通書式が決まった

サーチエンジンのロボットをウェブサイト側が制御可能な技術がrobots.txtです。

以前よりrobotstxt.orgに発表されていたものが基本でしたが、今回関連技術が出揃ったためか技術標準としてYahoo,Google,Microsoftの3社が採用したと発表された。

さて、その内容だが従来のrobots.org仕様に加え、先んじて発表されたauto-discoveryとcross-host submission技術を含めた拡張が為された。クロスホストサブミッションに付いての解説は私の別サイトに掲載してあるのでご参考に。

注目はThe Robots Exclusion Protocol (REP) で、多くの新たに拡張されたタグが利用できる。

Yahoo Search Blogに詳細が掲載されているのでリンクしておきます。