クローラーのタグを付けられた記事一覧

robots.txtでクロール拒否する方法

SEO対策においてrobots.txt(ロボットテキスト)は主に検索エンジンのクローラーを制御するために使用します。

robots.txtにインデックスを許可する記述をすることで、SEO対策効果があると言われていた時期がありますが、クローラーはインデックスすることが仕事ですので、わざわざ許可を与える必要はありません。

»『robots.txtでクロール拒否する方法』の全文を読む

2009年10月22日 | コメントは受け付けていません。 |