robots.txtでクロール拒否する方法
SEO対策においてrobots.txt(ロボットテキスト)は主に検索エンジンのクローラーを制御するために使用します。
robots.txtにインデックスを許可する記述をすることで、SEO対策効果があると言われていた時期がありますが、クローラーはインデックスすることが仕事ですので、わざわざ許可を与える必要はありません。
2009年10月22日 | コメントは受け付けていません。 |
SEO対策においてrobots.txt(ロボットテキスト)は主に検索エンジンのクローラーを制御するために使用します。
robots.txtにインデックスを許可する記述をすることで、SEO対策効果があると言われていた時期がありますが、クローラーはインデックスすることが仕事ですので、わざわざ許可を与える必要はありません。
2009年10月22日 | コメントは受け付けていません。 |