クローラーはじきってご存知ですか?

今年の流行語に選ばれそうな言葉「ペルソナ・ノン・グラータ」ご存知にようにマレーシアが北朝鮮の外交官に下した表現ですね。

和訳すると「好まざれない個人」でしょうか?

インターネットの世界にも同じような事があります。

インターネットの基本理念として情報は全ての人に平等に届けられるべきものだと自分自身も思っています。

しかしながら来訪してほしくない輩(あえて輩と呼びます)も少なからずいるわけです。

この輩はネット上の情報をかき集めて、スパムメールを送りつけたり検索キーワードを盗み出したり、それらを元にコピーサイトを作成して、オリジナルサイトの評価を下げる画策を行ったりします。

googole検索から弾き飛ばされた10年前の事

これまでにコピーサイトを作成された事が2回ありまして、一度目はすぐにコピーサイトが消滅して実害は無かったのですが、2度目目で多大な被害を蒙りました。

ネットショップで販売しているメイン商品の商品名で検索かけると1ページ目のTOPを維持していました。

それがある日を境に、どこを探しても自分のサイトは見つけられず完全にネットから消されてしまった状態になっていました。

そのかわりに自分のサイトと同一のサイトが検索に引っかるようになりました。

コピーサイトです。

アドレスからみるとタイのドメインのようでした。

管理しているブロバイダーにメールを送りましたが返答は無し。

丁度サイトを作り直したいと考えていた時期でもあったのでそれまでHTMLで作成していたサイトを

WordPressを使って作り直しました。

もちろん中に記述している文章も新たにオリジナルで書き直しました。

そうするとようやくgoogle様の機嫌が収まり検索に引っかるようになってきましたが、検索の1ページ目に拾い出されるまで

1年以上かかり、その間は当然売上は激減(9割減)にまで落ち込んだ状態が続きました。

最近はこのコピーサイトは鳴りを潜めていた感がありましたが、また動き始めているようです。

コピーサイトが発見されるとgoogle様はオリジナルサイトの所有者が悪さをしていると思い込んで評価を下げようとするようで、それで僕のサイトは飛ばされましたが、なんで広告を貼りまくっているコピーサイトが検索に残るのかその判断は何なのかは僕の頭ではサッパリ分かりません。

転ばぬ先の杖でクロール弾きの処理をしました。

クロールは検索ロボットの巡回の事で、世界各国のロボットが情報収集の為にWEB上をパトロールしています。

robot・ノン・グラータ 好ましくないロボットには来てほしくないという意味でクロールに引っかからないようにします。

.htaccessファイルに以下の記載を追加するだけです。

悪さするロボットは他にもいろいろあるみたいですが、とりあえず有名なものを書きました。

.htaccessが分からいという人はググってみて下さい。

いくらでも情報があります。

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ia_archiver [NC,OR]

RewriteCond %{HTTP_USER_AGENT} Yeti Naver [NC]

RewriteRule !^robots.txt$ – [G]

</IfModule>

こちからの記事が参考になりました。https://www.taizanweb.com/webtech/htaccess/robots.php

ブログ運営しているとスパムメールという迷惑なものが届くようになりますが、検索エンジンに引っかからなければある程度は防げます。

ブログ運営している以上は、いろんな人に見て欲しいという気持ちはありますが悪意を持って来る人は来てほしく無いので致し方ない状況ですね。