Googlebot ، محرك البحث بوت ، والزحف والسير في الروبوتات

الإعلانات

مع بدء dylx - تكنولوجيا المعلومات في حفظ العين كنت على الشبكة العالمية ، وآخر زائر المتشعب الجذوع. وفوجئت مع googlebot. كان من يومين فقط ، وأكثر وgooglebot لقد دمر بلدي بلوق.

وأنا لا تزال غير قادرة على العثور على طريقة googlebot حصل بلدي بلوق آثار وصلت الى موقعي. وينطبق الأمر نفسه على سائر الزحف السير. كل يوم أرى بعض الروبوت الجديد لتصل إلى بلدي بلوق. جيد ولكن المفضل لدي سوى googlebot. وبعد يوم الزحف بلدي بلوق انها قد بدأت بالفعل تظهر نتائج البحث.

وأفترض googlebot كما تبقي نظرة جديدة على الدخول في خوادم DNS هذا الاحتمال الوحيد للوصول الى بلدي بلوق وأنا ليس لدي اي الخلفية من موقع آخر. هنا لقطة للشاشة من العنكبوت ، الروبوتات زوار بلادي بلوق.

وقد ورد المكونات جيدا للغاية في لاحصائيات وكذلك للزائر googlebot

اريد حقا ان نفهم كيف كل هذه وغيرها من الزحف الروبوتات السير تحصل على الموقع وصلات حسب فهمي googlebot السير وغيرها من الروابط التالية لذلك وحتى اذا لم تحصل على وصلة من موقع آخر الى موقعك كما دعا الخلفية ، لا بوت ستتمكن التوصل إلى مواقعك. انظر عندما تسمح لي أن يتمكنوا من الحصول على إجابة لهذا اللغز.

جوجل المسؤول عن الموقع وظيفة جيدة فعلا على كل شيء عن Googlebot وراجع أيضا Googleblog للجميع على آخر الأخبار عن googlebot

الموقع على ضرورة إبقاء النص المتشعب عن كثب منذ سجلات الخادم فضلا عن الزحف السير سترون بعض السير الأخرى -- غير المرغوب السير ، والسير في غير المرغوب فيه ، والسير في البحث ، محرك بحث بوت بوت والأخبار في كل يوم جديد ، وما هي السير في الحصول على كلمة تضاف إلى الإنترنت . الموقع سيكون سعيدا السير في محرك البحث ولكن قد لا مع غيرها من السير.

لأن السير في القيام تلتهم استضافة الكثير من عرض النطاق الترددي ، وهذا ليس جيدا بالنسبة لأولئك الذين يقل الموقع باندوتز أو موقع ضخم وحركة السير وستضيف مزيدا من العبء على الشبكة والموقع بالكامل ، وسيتم بموجب خطأ لم يتم العثور على الصفحة 404. وإذا كنا في محاولة لحساب الجودة المرور الإنترنت فسيكون فقط 40-60 ٪ المتبقية حسابات النسب المئوية لجميع هذه السير. شاغلنا الرئيسي هو المرغوب بوت والسير في جميع تلك عديمة الجدوى.

لأصحاب المواقع والهدف النهائي هو حماية الموقع من البريد المزعج السير. وفيما يلي طرق لمنع أي بوت من الحصول على موقعك أو الزحف

1) Robots.txt

2). htaccess

3) حرمان الملكية الفكرية من خلال لوحة التحكم

وسيستمر في مرحلة ما بعد المقبلة...

الإعلانات