ما هي ميزانية الزحف

مصطلح مذكور كثيرًا اليوم في مجتمع تحسين محركات البحث هو ميزانية الزحف. إذا قمنا بترجمتها ، فسيتم قراءتها على أنها "ميزانية تتبع". إنها أرضية متوسطة نادرة ، ولكن هذا مفهوم قديم جدًا في منطقة تحسين محركات البحث.

أولئك الذين يعملون في مشاريع واسعة النطاق مثل التجارة الإلكترونية الكبيرة ، وبوابات المحتوى ، ومتخصصو تحسين محركات البحث ، يفهمون ميزانية الزحف على أنها الوقت الذي تقضيه Google في قراءة صفحات موقع الويب الخاص بك في يوم معين.

فهرس المحتويات

إنه الوقت الذي يستغرقه زاحف Google لقراءة صفحات موقع الويب. ولكن هذه المرة ينفق الزاحف على موقع الويب الخاص بك يعتمد على عدة عوامل ؛ مثل سلطة موقع الويب ونسبة المحتوى المكرر وأخطاء الصفحة وغير ذلك الكثير.

ومع ذلك ، وفقًا للمدونة الرسمية لمشرفي المواقع في Google ، فقد ذكر أنه لا ينبغي أن يقلق الجميع بشأن مشكلة ميزانية الزحف هذه. أي أنه إذا كان لديهم موقع ويب يحتوي على بضع عشرات من الصفحات ، فلا داعي للقلق بشأن مسألة زحف الصفحة هذه ، لأن Google ستفعل ذلك دون مشكلة.

ولكن إذا كان لديك متجر على الإنترنت أو أي مشروع ويب آخر يحتوي على بضعة آلاف من الصفحات ، فسيتعين عليك الانتباه عن كثب وتحسين ميزانية الزحف فيما يتعلق بموقعك على الويب.

ميزانية الزحف وتحديد المواقع على شبكة الإنترنت

من Google ، يؤكدون أن ميزانية الزحف لا تؤثر على تحديد المواقع ، ولكن مع ذلك يمكن أن تؤثر ، وأحيانًا تتحكم ، بشكل سلبي على أكثر من 200 عامل في الترتيب في محرك البحث.

ولكن لماذا نريد أن يزحف محرك بحث Google إلى صفحات موقعنا مرات أكثر؟ من ناحية أخرى ، نجد العديد من خبراء تحسين محركات البحث الذين يضمنون أن وجود ميزانية زحف جيدة سيحسن الوضع العام لصفحات موقع الويب في الترتيب وبالتالي يزيد من عدد الزيارات المجانية.

بشكل أساسي ، لدى Google وقت معين لقضائه داخل موقعك ، حيث يتعين عليها تحديد مقدار الوقت الذي ستقضيه في كل موقع من المواقع حول العالم ، والتي سيتعين عليها حساب عدد الاتصالات المتزامنة التي ستتمكن من إجرائها حتى تتمكن من اقرأ صفحات موقع الويب الخاص بك.

جودة الموقع

يقضي Google الوقت في الاتصال بموقع الويب وقراءة هذه الصفحات وإيقاف هذه القراءة. كرر هذا على مدار اليوم ، ولكن هناك دائمًا جزء صغير من الوقت. يتناسب هذا الجزء من الوقت عادةً مع سلطة موقع الويب الخاص بك ، وعدد الصفحات الجديدة ، وأهميتها تجاه Google.

يتم تقديم ذلك من خلال جودة المحتوى الخاص بك والروابط التي تشير إلى الموقع ، أي إذا كان لديك العديد من الروابط ذات الجودة التي تشير ، فقد يكون Google يفهمك بجودة أكبر ويقضي المزيد من الوقت على موقع الويب الخاص بك ، طالما هناك ارتفاع حجم الصفحات.

بشكل عام ، لا تتغير ميزانية الزحف كثيرًا لموقع 10 أو 50 أو 100 صفحة ، لذلك لا يوجد فرق كبير في بضع صفحات. ولكن بالنسبة للمواقع الكبيرة ، إذا كان لدى Google ثانية للذهاب إلى موقعك وأخبرته بما يجب قراءته ، فسيكون ذلك مفيدًا جدًا للزاحف ، مما يكمل مهمة الزحف بشكل أسرع.

قم بتعيين الصفحات المهمة

أولاً ، عليك رسم بنية أكثر تنظيماً لمعلومات الموقع ، وتحديد أي الصفحات غير ضرورية ، وعدم السماح بفهرسة صفحات معينة عن طريق التحقق من ملف robots.txt.

يجب ألا يقضي Google الوقت في قسم البحث في موقع الويب أو حتى في القسم الذي يوجد به التنقل بالفلتر ، على سبيل المثال ، كما هو الحال في متجر عبر الإنترنت ، حيث يمكنك اختيار حجم الحذاء أو حجم الشقة أو لون القميص. هذه المرشحات هي ما يسميه الناس عادة "التنقل الموجه" أو "مرشحات التنقل".

يميل بعض مشرفي المواقع إلى حظر هذه الفلاتر وعمليات البحث هذه في ملف robots.txt ، حتى لا يقضي Google وقتًا في قراءة هذه الصفحات ، لأنهم في الواقع يركزون على المستخدم الذي يبحث عن هذه التجربة ، وهم محتوى موجود بالفعل متوفرة على الصفحات الداخلية الأخرى للموقع.

نوصي بقراءة: أخطاء يجب تجنبها عند إنشاء موقع ويب

سطر آخر هو أنه من خلال تحديد الصفحات المهمة على موقعك ، فإنك توفر وقت Google على الصفحات التي تحتوي على محتوى مكرر ، مثل حالة التنقل الموجه ، وصفحة سياسة الخصوصية ، والشروط والأحكام ، وليس تريد قراءتها. ستكون هذه الصفحات متاحة فقط للمستخدمين الذين يرغبون في رؤية هذه الصفحات.

لا ينبغي أن يضيع الوقت على هذه الصفحات منخفضة القيمة ، لأنك لا تريد الترتيب لها ولا تحدث أقل فرق في حياتك ، ولكن يجب أن تكون هناك لأن بعض المستخدمين يريدون استشارة هذه المعلومات على أي حال.

كيف تعمل ميزانية الزحف داخليًا

بشكل عام ، تعتمد ميزانية الزحف على البنية. يمكنك تحديد روابط الصفحات التي ستتمكن Google من قراءتها وتحديد أولوياتها حسب مستوى أهميتها.

بعد كل شيء ، الروابط التي تخرج من هذه الصفحات هي الروابط التي يحتمل أن تعطيها Google الأولوية. لذا ، من المنطقي أن تفكر جيدًا في الروابط الداخلية وطريقة هيكلة صفحتك.

ميزانية الزحف هي الوقت الذي تقضيه Google لتتمكن من قراءة المعلومات الموجودة على موقع الويب وفهمها وتقييم عناصر مثل تنظيم الهيكل والحظر في ملف robots.txt. استخدام علامة nofollow على رابط يمنع Google من متابعة هذا الرابط. على سبيل المثال ، إذا كان الرابط يحتوي على سمة nofollow ، ولكن للوصول إلى الصفحة ، لا يوجد رابط داخلي آخر ، فإن Google ستأخذ المسار الثاني ، مما يجعلك تقضي وقتًا أقل.

فوائد موقع محسن

هناك أشياء ستساعدك على قراءة المزيد من الصفحات يوميًا ، والتي يمكن أن تكون مفيدة لأي موقع ويب. على سبيل المثال ، إذا كان خادمك أسرع ، فستطلب Google في ذلك الوقت المزيد من الصفحات.

إذا تم ضغط صفحتك ، فستطلب Google ، في هذه الطلبات ، المزيد من الصفحات. وإذا كان لديك رمز نظيف وملائم ، فستتلقى Google أيضًا صفحة أكثر ضغطًا في نهاية اليوم ، مع بتات أفضل. أي أن تحسين موقع الويب وسرعة الموقع والخادم يؤثران بشكل كبير على مشكلة ميزانية الزحف.

كيفية حساب ميزانية الزحف لموقعك

عدد المرات التي يزحف فيها محرك بحث Google عنكبوت إلى موقعك في وقت معين هو ما نسميه "ميزانية الزحف". لذلك ، إذا قام Googlebot بزيارة موقعك 32 مرة في اليوم ، فيمكننا القول أن ميزانية تتبع Google تبلغ 960 تقريبًا في الشهر.

يمكنك استخدام أدوات مثل Google Search Console وأدوات Bing Webmaster Tools لحساب ميزانية الزحف التقريبية لموقعك على الويب. ما عليك سوى تسجيل الدخول والتوجه إلى التتبع> إحصائيات التتبع لمعرفة متوسط ​​عدد الصفحات التي يتم تتبعها يوميًا.

ميزانية الزحف وكبار المسئولين الاقتصاديين: هل هما نفس الشيء؟

نعم ولا بينما يهدف كلا النوعين من التحسين إلى جعل صفحتك أكثر وضوحًا والتأثير على SERPs ، يركز SEO بشكل أكبر على تجربة المستخدم ، بينما يتعلق تحسين العنكبوت تمامًا بجذب برامج الروبوت.

يركز محرك البحث الأمثل (SEO) بشكل أكبر على عملية التحسين لاستعلامات المستخدم. بدلاً من ذلك ، يركز تحسين Googlebot على كيفية دخول زاحف Google إلى موقعك.

كيفية تحسين ميزانية الزحف

هناك عدة طرق لتحسين ميزانية الزحف لأي موقع ويب ، اعتمادًا على كل مشروع ويب وعدد الصفحات والمشكلات الأخرى ، إليك بعض النقاط التي يجب وضعها في الاعتبار:

تأكد من أن صفحاتك يمكن تتبعها

يمكن تتبع صفحتك إذا تمكنت عناكب محرك البحث من العثور على الروابط داخل موقعك على الويب ومتابعتها ، لذا سيتعين عليك تكوين ملفات .htaccess و robots.txt بحيث لا تحجب الصفحات المهمة على موقعك. قد ترغب أيضًا في توفير إصدارات نصية من الصفحات التي تعتمد بشكل كبير على ملفات الوسائط الغنية ، مثل Flash و Silverlight.

بالطبع ، يكون العكس صحيحًا إذا كنت تريد منع ظهور الصفحة في نتائج البحث. ومع ذلك ، لا يكفي تعيين ملف robots.txt على "عدم السماح" إذا كنت تريد منع فهرسة الصفحة. وفقًا لـ Google ، لا تضمن قاعدة "عدم السماح" عدم ظهور الصفحة في النتائج.

إذا استمرت المعلومات الخارجية (على سبيل المثال ، الروابط الواردة) في توجيه الزيارات إلى الصفحة التي رفضتها ، فقد تقرر Google أن الصفحة لا تزال ذات صلة. في هذه الحالة ، يجب منع فهرسة الصفحة يدويًا باستخدام العلامة الوصفية noindex أو رأس HTTP X-Robots-Tag.

- العلامة الوصفية Noindex: ضع هذه العلامة الوصفية في القسم من صفحتك لمنع معظم برامج زحف الويب من فهرسة صفحتك:

noindex "/>

- X-Robots-Tag - يضع ما يلي في استجابة رأس HTTP لتوجيه برامج الزحف إلى عدم فهرسة صفحة:

X-Robots-Tag: noindex

يرجى ملاحظة أنه إذا كنت تستخدم العلامة الوصفية noindex أو X-Robots-Tag ، فلا يجب أن تمنع الصفحة في ملف robots.txt. يجب الزحف إلى الصفحة قبل رؤية العلامة وإطااعتها.

استخدام حذر لملفات الوسائط الغنية

كان هناك وقت لم يكن فيه Googlebot قادرًا على الزحف إلى محتوى مثل JavaScript و Flash و HTML. لقد ولت هذه الأوقات منذ فترة طويلة (على الرغم من أن Googlebot لا يزال يواجه مشكلات في Silverlight وبعض الملفات الأخرى).

ومع ذلك ، حتى إذا كان بإمكان Google قراءة معظم ملفات الوسائط الغنية ، فقد لا تتمكن محركات البحث الأخرى من القيام بذلك ، مما يعني أنه يجب عليك استخدام هذه الملفات بحكمة ، وربما تريد تجنبها تمامًا على الصفحات التي تريدها. الموقف.

تجنب سلاسل إعادة التوجيه

يؤدي كل عنوان URL تعيد توجيهه إلى إهدار جزء من ميزانية الزحف. عندما يحتوي موقع الويب الخاص بك على سلاسل إعادة توجيه طويلة ، أي عدد كبير من عمليات إعادة التوجيه 301 و 302 على التوالي ، فمن الممكن أن تتعطل العناكب مثل Googlebot قبل الوصول إلى الصفحة المقصودة ، مما يعني أن هذه الصفحة لن تتم فهرستها. أفضل ممارسة مع عمليات إعادة التوجيه هي أن يكون لديك أقل عدد ممكن من عمليات إعادة التوجيه على موقع الويب ، وليس أكثر من اثنين على التوالي.

أصلح الروابط المعطلة

عندما سُئل جون مولر عما إذا كانت الروابط المعطلة تؤثر على تحديد الموقع أم لا ، أجاب أنه أكثر تركيزًا إلى حد ما على تجربة المستخدم من أغراض تحديد المواقع.

هذا هو أحد الاختلافات الأساسية بين تحسين محركات البحث وتحسين Googlebot ، لأنه قد يعني أن الروابط المعطلة لا تلعب دورًا كبيرًا في التصنيف ، على الرغم من أنها تعوق بشكل كبير قدرة Googlebot على فهرسة وترتيب موقع الويب.

مع ذلك ، يجب عليك اتباع نصيحة Mueller مع الأخذ في الاعتبار أن خوارزمية Google قد تحسنت بشكل كبير على مر السنين ، وأي شيء يؤثر على تجربة المستخدم من المرجح أن يؤثر على SERPs.

تعيين المعلمات في عناوين URL الديناميكية

تعامل العناكب عناوين URL الديناميكية التي تؤدي إلى الصفحة نفسها كصفحات منفصلة ، مما يعني أنك قد تهدر ميزانية الزحف بشكل غير ضروري. يمكنك إدارة معلمات URL من خلال الوصول إلى Search Console والنقر فوق التتبع> معلمات URL. من هنا ، يمكنك إبلاغ Googlebot إذا أضاف نظام إدارة المحتوى الخاص بك معلمات إلى عناوين URL الخاصة بك التي لا تغير محتوى الصفحة.

تنظيف خريطة الموقع

تساعد خرائط مواقع XML كلاً من الزوار وروبوتات العنكبوت ، مما يجعل المحتوى منظمًا بشكل أفضل ويسهل العثور عليه. لذلك ، حاول إبقاء ملف sitemap محدثًا وقم بتنظيفه من أي فوضى قد تضر بقابلية استخدام موقعك ، بما في ذلك 400 صفحة من المستوى ، وعمليات إعادة توجيه غير ضرورية ، وصفحات غير أساسية وصفحات محظورة.

أسهل طريقة لتنظيف خريطة الموقع هي استخدام أداة مثل Auditor Website. يمكنك استخدام منشئ ملفات Sitemap بتنسيق XML الخاص بمراجع مواقع الويب لإنشاء خريطة موقع نظيفة تستبعد جميع الصفحات المحظورة من الفهرسة. علاوة على ذلك ، من خلال الانتقال إلى خيار "تدقيق الموقع" ، يمكنك تحديد جميع أخطاء 4xx وإصلاحها ، وعمليات إعادة التوجيه 301 و 302 والصفحات غير الأساسية.

استخدم الأعلاف

تسمح كل من الخلاصات و RSS و XML و Atom بتسليم المحتوى للمتابعين عندما لا يتصفحون الموقع. يسمح هذا للمستخدمين بالاشتراك في مواقعهم المفضلة وتلقي تحديثات منتظمة في كل مرة يتم فيها نشر محتوى جديد.

بالإضافة إلى حقيقة أن خلاصات RSS كانت لفترة طويلة وسيلة جيدة لزيادة القراء والمشاركة ، فهي أيضًا من بين المواقع الأكثر زيارة بواسطة Googlebot. عندما يتلقى موقعك الإلكتروني تحديثًا (على سبيل المثال ، منتجات جديدة ومشاركات المدونات وتحديثات الصفحات وما إلى ذلك) ، أرسله إلى Google Feed Burner للتأكد من فهرسته بشكل صحيح.

إنشاء روابط خارجية

لا يزال بناء الروابط موضوعًا ساخنًا ، وليس هناك لمحة عن أنه سيختفي في أي وقت قريب.

تنمية العلاقات عبر الإنترنت ، واكتشاف مجتمعات جديدة ، وبناء قيمة العلامة التجارية ؛ يجب أن تتم طباعة هذه الانتصارات الصغيرة بالفعل في عملية تخطيط الارتباط الخاص بك. في حين أن هناك عناصر مميزة لبناء الروابط أصبحت الآن حتى عام 1990 ، فإن الحاجة البشرية للتواصل مع الآخرين لن تتغير أبدًا.

حاليًا ، لدينا بالفعل دليل على أن الروابط الخارجية ترتبط ارتباطًا وثيقًا بعدد زيارات العنكبوت التي يتلقاها موقعك على الويب.

الحفاظ على سلامة الربط الداخلي

على الرغم من أن إنشاء الروابط الداخلية لا يلعب دورًا كبيرًا في سرعة الزحف ، فإن هذا لا يعني أنه يمكن تجاهله تمامًا. تجعل بنية الموقع التي تتم صيانتها جيدًا المحتوى الخاص بك يمكن اكتشافه بسهولة بواسطة روبوتات البحث دون إضاعة ميزانية الزحف الخاصة بك.

كما يمكن لهيكل ارتباط داخلي منظم جيدًا أن يحسن تجربة المستخدم ، خاصة إذا كان بإمكان المستخدمين الوصول إلى أي منطقة من موقعك على الويب بثلاث نقرات. إن جعل كل شيء متاحًا بشكل عام يعني أن الزوار سيبقون لفترة أطول ، مما يمكن أن يحسن من SERPs.

ما الاستنتاج الذي نستخلصه؟

مرة أخرى ، من خلال تعزيز ما سبق ذكره أعلاه ، ستكون مشكلة ميزانية الزحف هذه مهمة لمواقع الويب الكبيرة التي تحتوي على مئات وآلاف صفحات الويب ، وإلا فلا داعي للقلق ، حيث ستقوم Google بتتبع بسلاسة.

يجب ألا نعقد الزحف على صفحات موقعنا إلى Google. هناك العديد من مواقع الويب التي بها أخطاء كافية ، وحتى مع وجود حواجز تم إنشاؤها بواسطة ملفات robots.txt و sitemap.xml والتي تمنع Google من الوصول إلى المحتوى. إذا أردنا تحسين الموضع في ترتيب Google ، فيجب علينا إذن تبسيط صفحات الموقع وتبسيطها حتى تتمكن Google من الوصول إليها وفهرستها ووضعها بسرعة. بسيط جدا.

حتى الآن ، ربما لاحظت وجود اتجاه في هذه المقالة: تميل أفضل ممارسات التتبع أيضًا إلى تحسين إمكانية البحث. لذلك إذا كنت تتساءل عما إذا كان تحسين ميزانية الزحف مهمًا لموقعك على الويب ، فإن الإجابة هي نعم.

ببساطة ، إذا كنت تسهل على Google اكتشاف موقعك على الويب وفهرسته ، فسوف تستمتع بالمزيد من الزحف ، مما يعني تحديثات أسرع عند نشر محتوى جديد. ستقوم أيضًا بتحسين تجربة المستخدم الإجمالية ، وتحسين الرؤية ، وفي نهاية المطاف ، ترتيب SERPs.

هذه ليست سوى بعض النقاط ، من بين العديد من النقاط الأخرى ، لتحسين وتحسين ميزانية الزحف لأحد مواقع الويب.