当サイトをご覧になるには、ブラウザの設定でJavaScriptを有効にする必要があります。

検索避けできる?

様々な理由から、検索結果自サイトの情報自サイトの画像を拾われると困るサイトオーナーさんがおられます。

そのような場合どうすればよいのかと言うと、サイトが検索サイトのクローラーに拾われないように、クローラーに指示すればよいのです。

指示の仕方は簡単です。

スポンサーリンク

robots.txt と言う名前のテキストファイルサイトやブログの一番上の階層に置くだけです。

大手の検索サイトのクローラーは、通常、そのサイトをクロールする前に、robots.txt と言うファイルの指示を確認してから行動(サイト情報を拾う)しますから、その robots.txt に 「ここのサイトはクロールしなくてもよいですよ」という指示を与えてあげさえすれば、クローラーはそのサイトをクロールしてサイト情報を拾ったりしないというわけです。

検索避けは、PCサイトでも携帯サイトでも両方できます。
書式は両方とも同じで、同じ robots.txt ファイルを使用します。



(root directory)
folder_00
folder_01
robots.txt
index.html
a.html
b.html

ちなみに、robots.txtを↓のような場所においてしまいますと、クローラーは robots.txt を認識してくれません。



(root directory)
folder_00
folder_01
robots.txt
index.html
a.html
b.html
robots.txt
c.html
d.html

ところで、robots.txtの書き方は下のような感じになります。
Allow許可で、Disallow拒否です。

User-agentにはクローラーの名前が入ります。
*は全てのクローラーと言う意味で、Googlebot は Google のクローラーで、Slurp は Yahoo のクローラーで、baiduspider は 百度 のクローラーです。


全てのクローラーを許可

User-agent: *
Allow: /

全てのクローラーを拒否

User-agent: *
Disallow: /

特定のフォルダだけ全てのクローラーを拒否

User-agent: *
Disallow: /secret/
Allow: /

Googleのモバイル検索のクローラーだけを拒否

User-agent: *
Allow: /

User-agent: Googlebot-Mobile
Disallow: /

Googleの画像検索のクローラーだけを拒否

User-agent: *
Allow: /

User-agent: Googlebot-Image
Disallow: /

ちなみに、robots.txtは Google ウェブマスターツールからも作成できますので、Google ウェブマスターツールを利用して robots.txt を作成するというのもありかもです。

あと、上でも書きましたが、画像だけ検索結果に含めたくない場合は、画像の入ったフォルダーを検索結果から除外するか(Disallow: /画像の入ったフォルダ名/)で、画像検索用のクローラーのクロールを拒否すれば、画像の検索結果に表示されなくなります。


スポンサーリンク