Googlebotは 、 検索エンジンのボットは、 ボットやロボットのクロール

広告

dylxの開始により 、 情報技術と私は最新の訪問者のHTTP Webサーバのログに目をつけていた。 Googlebotはと私は驚いた。 2日間だけとしていると、 Googlebotが私のブログにノックされた。

それでも私は、 Googlebotが私のブログの痕跡を見つけるが、私のサイトに到達することはできませんよ。 他のロボットのクロールの場合と同じです。 私はいくつかの新しいロボットを押した私のブログを参照してください毎日。 まあしかし私のお気に入りはGooglebotのみです。 1日の検索結果を見せ始めているが、すでに私のブログをクロールした。

私は、 Googlebotがまた、 DNSサーバーに新しいエントリを、私は他のサイトからのバックリンクがないことの唯一の可能性を見て私のブログに到達すると仮定します。 ここでクモのスクリーンショットですが、私のブログにロボットの訪問者です。

非常に良いのだが、ワードプレスプラグインとは、 Googlebotの訪問者の統計情報

私はこの方法や他のロボットのクロールロボットGooglebotが私の理解や他のロボットごとにサイトのリンクを取得するためのリンクを理解するまでしない限り、他のサイトからお客様のサイトへのリンクと呼ばれるバックとしては、ボットは次のようにすることができますあなたのサイトに達する。 ときに私はこの謎の答えを得ることができる見ることができます。

Googleウェブマスター本当にGooglebotのすべてについての記事も、 Googlebotが Googleblogに関するすべての最新ニュースをチェックアウト良いのだが

ウェブマスターのhttpサーバに見守る必要がある離れて以来、いくつかの他のロボットが表示されますロボットのクロールからログ-スパム対策、迷惑ボット、研究ボットは、検索エンジンのボットは、毎日新しいニュースボットなどのロボットを追加している言葉インターネットに。 ウェブマスター検索エンジンのボットではないかもしれないが、他のロボットには満足されます。

以来、ロボットの帯域幅を食うのホスティングを行うと、この人の下に404エラーページが見つかりませんされるネットワーク上に多くの負荷が少ないと、サイト全体の帯域幅を追加したり、サイトのトラフィックは、巨大なロボットをしているウェブマスターのためにならない場合、それは、このロボットの割合は40 〜 60 ％全てのアカウントの残りされるインターネットのトラフィックの品質を計算してみます。 私たちの主な懸念スパムボットとすべてのこれらの無駄なロボットです。

ウェブマスターのための究極の目標は、スパム対策から保護するために自分のサイトです。 次へのアクセスまたはお客様のサイトから任意のロボットのクロールをブロックする方法があります。

1 ）のRobots.txt

2 ） 。 htaccessを

3 ） IPのコントロールパネルから否定する

次の記事に引き続き ...

広告