さて、ロボット型の検索エンジンによって自分のサイトが勝手に登録された経験は、多くのサイト運営者の経験するところだろう。
比較的、簡単な回避方法の一つは、HTML文書のヘッダ内に
<META name="robots" content="NOINDEX">
という一行を加えておくことだ。
他にも、トップページがあるフォルダに、robots.txt というファイルを置いておくのも効果的だ。その中身は、例えば、
User-agent: *
Disallow: /abc/
としよう。こうすると、フォルダabcの中のＨＴＭＬファイルは検索されにくくなる。