كيفية إنشاء واختبار ملف robots.txt بشكل صحيح + تحميل ملف الروبوت

Sitemap: https://www.arbahlix.com/sitemap.xml

 هذا الملف يحتوي على التعليمات التالية:

• User-agent: Mediapartners-Google تشير إلى أن التعليمات التالية تنطبق على روبوت Mediapartners-Google (عادةً يستخدم لإعلانات جوجل).
• Disallow: لا يمنع هذا الروبوت من الزحف إلى أي صفحات، مما يعني أنه مسموح له بالزحف إلى جميع أجزاء الموقع.
• User-agent: * تعني أن التعليمات التالية تنطبق على جميع روبوتات محركات البحث.
• Disallow: /search تعني أن الروبوتات يجب أن لا تزحف إلى الصفحات الموجودة في الدليل /search.
• Allow: / تعني أن الروبوتات مسموح لها بالزحف إلى جميع الصفحات، ما عدا تلك التي تم تحديدها في تعليمات "Disallow".
• Allow: /ads.txt تعني أن الروبوتات مسموح لها بالزحف إلى ملف /ads.txt.
• Sitemap: https://www.arbahlix.com/sitemap.xml يقدم للروبوتات رابطًا إلى ملف خريطة الموقع (sitemap) حيث يمكنهم العثور على جميع الصفحات التي يمكنهم الزحف إليها.

كيفية إنشاء ملف robots.txt بشكل صحيح

لإنشاء ملف robots.txt بشكل صحيح، يمكنك اتباع الخطوات التالية:

1. إنشاء ملف النص العادي

افتح أي محرر نصوص (مثل Notepad على ويندوز أو TextEdit على ماك) وأنشئ ملفًا جديدًا واحفظه باسم "robots.txt".

تأكد من أن الملف بتنسيق نص عادي بدون تنسيقات خاصة لإن إذا كان باي تنسيق اخر لم يقبل فى الرفع علي ووردبريس ولكن فى حالة بلوجر بالامر عادي لإنك سوف تنسخ الملف وتضيفة فى المكان المحدد فى اعدادات بلوجر.

2. إضافة التعليمات الأساسية

اكتب التعليمات التي ترغب في توجيهها إلى روبوتات محركات البحث و التعليمات تشمل تحديد الروبوتات المستهدفة (User-agent) والصفحات أو الأدلة التي تريد منع أو السماح بالزحف إليها (Disallow و Allow).

• ابدأ بتحديد الروبوتات المستهدفة باستخدام User-agent.
• استخدم تعليمات Disallow لتحديد الصفحات التي لا تريد أن يتم الزحف إليها.
• استخدم تعليمات Allow لتحديد الصفحات التي تسمح بالزحف إليها إذا كنت ترغب في تقديم استثناءات.

3. تحديد الروبوتات المستهدفة

استخدم السطر User-agent لتحديد الروبوتات التي تستهدفها التعليمات ويمكنك استخدام * للإشارة إلى جميع الروبوتات، أو تحديد روبوت معين مثل "Googlebot" أو "Bingbot".

• User-agent: * يعني أن التعليمات تنطبق على جميع الروبوتات.
• User-agent: Googlebot يعني أن التعليمات تنطبق فقط على روبوت جوجل.

4. استخدام التعليمات Disallow و Allow

استخدم Disallow لتحديد الصفحات أو الأدلة التي لا تريد أن يتم الزحف إليها و استخدم Allow لتحديد الصفحات أو الأدلة التي تسمح بالزحف إليها كما ذكرنا فى السابق.

• Disallow: /private/ يمنع الروبوتات من الزحف إلى الدليل /private/.
• Allow: /public/ يسمح للروبوتات بالزحف إلى الدليل /public/ حتى إذا كان محظورًا في تعليمات سابقة.
• Allow: /ads.txt يسمح بالزحف إلى ملف /ads.txt.

5. إضافة رابط لخريطة الموقع

يمكنك تضمين رابط إلى ملف خريطة الموقع (sitemap) باستخدام السطر Sitemap مثل:

Sitemap: https://www.example.com/sitemap.xml يشير إلى موقع ملف خريطة الموقع حيث يساعد هذا الروبوتات في العثور على جميع الصفحات التي يمكنها الزحف إليها في موقعك.

6. مثال على ملف robots.txt الصحيح 

فيما يلي مثال على ملف robots.txt الصحيح والقابل للاستخدام:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.example.com/sitemap.xml

7. حفظ الملف وتحميله إلى الخادم

احفظ الملف باسم "robots.txt" وقم بتحميله إلى الدليل الجذري لموقع الويب الخاص بك فى WordPress يجب أن يكون الملف قابلًا للوصول عبر عنوان URL مثل https://www.example.com/robots.txt.

ولكن فى حالة وضع الملف إلى موقعك فى Blogger فقم بالانقال إلى لوحة التحكم ومنها إلى "الاعدادات" ومن ثم النزول إلى برامج الزحف والفهرسة وتفعيل الخيار ووضع الملف الموضح فى الاعلي مع استبدال https://www.example.com/ برابط موقعك.

باتباع هذه الخطوات، يمكنك إنشاء ملف robots.txt بشكل صحيح يساعد في توجيه روبوتات محركات البحث بشكل فعال على موقعك.

اقرأ ايضا: كيفية إنشاء مدونة في 10 خطوات: دليل المبتدئين 2024

اقرأ ايضا: كيفية إنشاء موقع إلكتروني من الصفر في 11 خطوة (شرح للمبتدئين) 

اختبار ملف robots.txt باستخدام اداة اختبار ملف الربوت 

بعد إنشاء ملف robots.txt ورفعه إلى الدليل الجذري لموقع الويب، من الضروري التأكد من أن هذا الملف يعمل بشكل صحيح ويقوم بتوجيه روبوتات محركات البحث كما هو مطلوب. 

يمكن تحقيق ذلك من خلال استخدام أدوات اختبار ملف robots.txt المتاحة عبر الإنترنت، وأحد أبرز هذه الأدوات هي أداة اختبار robots.txt من Google. 

اداة اختبار ملف robots.txt

لاختبار الملف، قم بفتح أداة اختبار robots.txt في Google Search Console أو عبر الرابط المباشر للأداة الموضح فى الاعلي و  أدخل عنوان URL الخاص بملف robots.txt لموقعك، مثل https://www.example.com/robots.txt. 

بمجرد إدخال العنوان، ستقوم الأداة بجلب محتوى الملف وعرضه لك مع إبراز أي أخطاء أو مشاكل قد تكون موجودة في الصياغة و يمكنك اختبار عناوين URL محددة داخل موقعك لمعرفة ما إذا كانت التعليمات في ملف robots.txt تسمح بالوصول إليها أم تمنعها.

 سيساعدك هذا الاختبار على التأكد من أن الصفحات التي ترغب في استبعادها من الزحف محمية بشكل صحيح، وأن الصفحات المهمة مفتوحة للزحف.

 إذا اكتشفت أي أخطاء أو تعليمات غير صحيحة، يمكنك تعديل ملف robots.txt وإعادة تحميله إلى الخادم، ثم إعادة اختبار الملف لضمان أن التعديلات قد تم تنفيذها بنجاح.

 هذا الاختبار يضمن أن ملف robots.txt يؤدي دوره بشكل فعال في تحسين فهرسة موقعك وتنظيم حركة الروبوتات بشكل يناسب احتياجاتك.

وهذه أفضل الادوات لاختبار ملف الربوت:

الاداة الاولي: technicalseo

الاداة الثانية: logeix

الاداة الثالثة: seositecheckup

تحميل ملف robots.txt الصحيح 

أولا: تحميل ملف robots.txt بلوجر

لتحميل ملف robots.txt في بلوجر، اتبع الخطوات التالية: قم بتسجيل الدخول إلى حساب بلوجر الخاص بك وانتقل إلى لوحة التحكم الخاصة بمدونتك واختر "الإعدادات" من القائمة الجانبية، ثم انقر على "برامج الزحف والفهرسة". ضمن قسم "زحف وفهرسة"، قم بوضع ملف robots.txt بعد تحميله من ((هنا))

 بعد ذلك، ستظهر لك نافذة يمكنك من خلالها لصق محتوى ملف robots.txt المخصص  وبعد الانتهاء، احفظ التغييرات.

ثانيا: تحميل ملف robots.txt ووردبريس 

لتحميل ملف robots.txt في ووردبريس، اتبع الخطوات التالية: أولاً، سجل الدخول إلى لوحة تحكم ووردبريس الخاصة بموقعك و انتقل إلى قسم "الإضافات" وابحث عن إضافة تمكنك من تحرير ملفات الموقع مثل "Yoast SEO" أو "All in One SEO" أو Rank Math.

 بعد تثبيت وتفعيل الإضافة، انتقل إلى إعدادات الإضافة واختر "أدوات" (Tools)، ثم اختر "محرر الملفات" (File Editor) وفي محرر الملفات، ستجد خيار تحرير /إنشاء ملف robots.txt قم بتحميل الملف من ((هنا))  

ومن ثم انسخ محتوي الملف واضافته إلى قسم ملف robots.txt فى الاضافة واضغط "حفظ"

افضل ملف robots.txt مناسب لجميع المواقع 

فى الحقيقة بسبب وجود العديد من ملفات robots.txt يحتار اصحاب المواقع الجديدة فى اختيار المناسب لمواقعهم، نهيك عن ما يترتب من مشاكل فى الفهرسة بسبب اختيار الملف الخاطئ أو الذي يحتوي علي بعض الاخطاء فى التعليمات ، حيث ان ملف الربوت يعتبر هو وسيط التواصل  بينك وبين ربوتات الفهرسة وكونك لم تستطيع اعداد أو اختيار الملف الجيد سوف ينتج عن هذا فهرسة صفحات لم تريد فهرستها والعكس صحيح. لذلك إليك نموذجًا من ملف الربوت يعتبر مثاليًا لمعظم المواقع:

User-agent: *

Disallow: /admin/

Disallow: /login/

Disallow: /search/

Allow: /public/

Allow: /images/

Sitemap: https://www.example.com/sitemap.xml

وهذا نموذج اخر لملف الربوت المثالي:

User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Disallow: /search

Allow: /

Allow: / ads.txt

Sitemap:  https://www.example.com/sitemap.xml

ملحوظة: فى حالة وجود إعلانات ادسنس يمكنك ترك Allow: / ads.txt.

اقرأ ايضا: شرح كيفية إنشاء موقع ويب مجانى مدى الحياة  في 7 خطوات سهلة

كيفية تعديل ملف robots.txt 

لتعديل ملف robots.txt، يجب عليك اتباع الخطوات التالية التي تعتمد على طريقة إدارة موقعك، سواء كان عبر استضافة تقليدية أو باستخدام نظام إدارة محتوى مثل ووردبريس أو بلوجر.

1. تعديل ملف robots.txt على استضافة تقليدية

إذا كان موقعك مستضافًا على خادم ويب تقليدي، يمكنك تعديل ملف robots.txt باستخدام إحدى الطرق التالية:

- باستخدام FTP أو مدير الملفات:

• الوصول إلى الخادم: استخدم عميل FTP مثل FileZilla أو مدير الملفات في لوحة التحكم الخاصة بالاستضافة (مثل cPanel) للوصول إلى ملفات موقعك.
• العثور على الملف: انتقل إلى الدليل الجذري لموقعك (عادةً public_html أو www).
• تعديل الملف: قم بفتح ملف robots.txt باستخدام محرر نصوص (يمكنك تحريره مباشرة في مدير الملفات أو تنزيله وتعديله ثم إعادة رفعه).
• حفظ التغييرات: بعد تعديل الملف، احفظ التغييرات وأعد رفع الملف إذا قمت بتنزيله.

2. تعديل ملف robots.txt في ووردبريس

إذا كنت تستخدم ووردبريس، يمكنك تعديل ملف robots.txt باستخدام إحدى الإضافات الشائعة.

- باستخدام إضافة Yoast SEO:

• تثبيت وتفعيل الإضافة: إذا لم تكن الإضافة مثبتة بالفعل، قم بتثبيت وتفعيل إضافة Yoast SEO.
• الوصول إلى محرر الملفات: من لوحة التحكم، انتقل إلى "SEO" > "Tools" > "File Editor".
• تعديل الملف: إذا كان ملف robots.txt موجودًا، يمكنك تعديله مباشرة في المحرر و إذا لم يكن موجودًا، يمكنك إنشاء ملف جديد.
• حفظ التغييرات: بعد الانتهاء من التعديل، اضغط على "Save changes to robots.txt".

3. تعديل ملف robots.txt في بلوجر

إذا كنت تستخدم بلوجر، يمكنك تعديل ملف robots.txt باتباع الخطوات التالية:

• الوصول إلى تفضيلات البحث: سجل الدخول إلى حساب بلوجر الخاص بك وانتقل إلى لوحة التحكم الخاصة بمدونتك واختر "الإعدادات" من القائمة الجانبية، ثم انقر على "ملف الربوت".
• تمكين ملف robots.txt مخصص: في قسم "زحف وفهرسة"، قم بتمكين "ملف robots.txt مخصص".
• تعديل الملف: ستظهر لك نافذة يمكنك من خلالها لصق محتوى ملف robots.txt الخاص بك أو تعديله.
• حفظ التغييرات: بعد الانتهاء، احفظ التغييرات.

نصائح إضافية:

• التحقق من صحة الملف: يمكنك التأكد من صحة ملف robots.txt باستخدام أدوات اختبار ملفات robots.txt المتاحة عبر الإنترنت، مثل أداة اختبار robots.txt من Google والتي وضحنها لكم فى الاعلي.
• مراجعة التعديلات: تأكد من أن التعديلات التي أجريتها تعمل كما هو متوقع من خلال زيارة ملف robots.txt في متصفحك عبر عنوان URL مثل www.yourwebsite.com/robots.txt.
• التأكد من الأذونات: تأكد من أن ملف robots.txt لديه الأذونات الصحيحة (عادة 644) ليكون قابلاً للقراءة من قبل خادم الويب وروبوتات محركات البحث.
• باتباع هذه الخطوات، يمكنك تعديل ملف robots.txt بشكل فعال لضمان تنظيم وصول روبوتات محركات البحث إلى موقعك بالطريقة التي ترغب بها.

اخطاء ملف robots.txt التي يجب تجنبها 

ملف robots.txt يمكن أن يحتوي على أخطاء تؤثر سلبًا على أداء موقعك في محركات البحث إليك بعض الأخطاء الشائعة وكيفية تجنبها:

1. استخدام بناء جملة غير صحيح

الخطأ: عدم اتباع التنسيق الصحيح لبناء التعليمات في ملف robots.txt.

الحل: تأكد من أن التعليمات مكتوبة بشكل صحيح و كل مجموعة من التعليمات تبدأ بـ User-agent وتليها الأوامر مثل Disallow و Allow.

مثال صحيح:

User-agent: *

Disallow: /private/

2. حظر جميع الروبوتات عن طريق الخطأ

الخطأ: استخدام تعليمات تحظر جميع الروبوتات من الزحف إلى موقعك بالكامل عن غير قصد.

الحل: تأكد من أن Disallow: / لا يُستخدم إلا إذا كنت ترغب فعليًا في منع جميع الروبوتات من الوصول إلى جميع الصفحات.

مثال على خطأ:

User-agent: *

Disallow: /

3. تعارض التعليمات

الخطأ: وجود تعليمات متعارضة في ملف robots.txt مما يسبب ارتباكًا للروبوتات.

الحل: تنظيم التعليمات بطريقة متسقة وواضحة و إذا كانت هناك تعارضات، يجب أن تكون التعليمات الأكثر تحديدًا في المقدمة.

مثال على التعارض:

User-agent: *

Disallow: /private/

Allow: /private/data/

4. عدم استخدام "Allow" بشكل صحيح

الخطأ: عدم استخدام Allow للسماح باستثناءات معينة في مناطق محظورة.

الحل: استخدم Allow للسماح بالوصول إلى صفحات أو أدلة معينة داخل مناطق محظورة.

مثال صحيح:

User-agent: *

Disallow: /private/

Allow: /private/public-info/

5. عدم تضمين خريطة الموقع (Sitemap)

الخطأ: عدم تضمين رابط إلى ملف خريطة الموقع، مما يجعل من الصعب على الروبوتات اكتشاف جميع الصفحات الهامة.

الحل: تضمين سطر Sitemap في ملف robots.txt.

مثال صحيح:

Sitemap: https://www.example.com/sitemap.xml

6. استخدام المسارات المطلقة بدلاً من النسبية

الخطأ: استخدام مسارات URL مطلقة بدلاً من النسبية في تعليمات Disallow و Allow.

الحل: استخدم مسارات نسبية تبدأ بشرطة مائلة (/) للإشارة إلى الدليل الجذري للموقع.

مثال صحيح:

User-agent: *

Disallow: /private/

7. عدم اختبار الملف

الخطأ: عدم اختبار ملف robots.txt بعد تعديله للتأكد من صحة التعليمات.

الحل: استخدم أدوات اختبار robots.txt مثل أداة اختبار Google للتحقق من أن التعليمات تعمل كما هو متوقع.

8. عدم تحديث الملف بانتظام

الخطأ: إهمال تحديث ملف robots.txt بعد إجراء تغييرات كبيرة على بنية الموقع أو محتواه.

الحل: مراجعة وتحديث ملف robots.txt بانتظام لضمان توافقه مع هيكل الموقع الحالي.

9. وضع ملف robots.txt في مكان خاطئ

الخطأ: وضع ملف robots.txt في مكان غير الدليل الجذري للموقع.

الحل: تأكد من أن ملف robots.txt موجود في الدليل الجذري ويمكن الوصول إليه عبر عنوان URL مثل https://www.example.com/robots.txt.

سؤال وجواب حول ملف robots.txt

ما هو وكيل المستخدم؟ وماذا يعني "User-agent: *"؟

وكيل المستخدم هو معرف يُستخدم لتعريف الشخص أو البرنامج الذي يتفاعل مع الإنترنت و للمستخدمين، يتضمن معلومات عن المتصفح ونظام التشغيل، مما يساعد المواقع في عرض المحتوى بشكل مناسب و بالنسبة للروبوتات، يُساعد وكيل المستخدم في تحديد نوع الروبوت الذي يزحف إلى الموقع.

في ملف robots.txt، يمكن للمسؤولين توجيه تعليمات محددة لروبوتات معينة باستخدام سطر "User-agent" على سبيل المثال، يمكن تضمين تعليمات لجوجل وبينج باستخدام "User-agent: Googlebot" و"User-agent: Bingbot".

عند استخدام "User-agent: *"، يعني ذلك أن التعليمات تنطبق على جميع الروبوتات و تشمل أسماء وكلاء المستخدم الشائعة Googlebot وBingbot وBaidu Spider.

كيف تعمل أوامر "عدم السماح" في ملف robots.txt؟

يخبر أمر "Disallow" الروبوتات بعدم الوصول إلى صفحات معينة وهذه الصفحات لن تظهر في نتائج محركات البحث، ولكن يمكن للمستخدمين الوصول إليها مباشرة إذا كانوا يعرفون الرابط.

أمثلة:

• حظر ملف واحد: Disallow: /private-page/
• حظر دليل كامل: Disallow: /private-directory/
• السماح الكامل: Disallow:
• إخفاء الموقع بالكامل: Disallow: /

أوامر أخرى في بروتوكول استبعاد الروبوتات

Allow: يسمح للروبوتات بالوصول إلى صفحات أو أدلة محددة، لكن ليس كل محركات البحث تدعمه.

Crawl-delay: يحدد فترة الانتظار بين طلبات الروبوت لمنع إرهاق الخادم و لا تدعمه جوجل، لكن يمكن تغييره في Google Search Console.

ما هو بروتوكول Sitemaps؟

يساعد بروتوكول Sitemaps الروبوتات على معرفة الصفحات التي يجب الزحف إليها و خريطة الموقع هي ملف XML يحتوي على قائمة بجميع صفحات الموقع حيث يمكن تضمين رابط إلى خريطة الموقع في ملف robots.txt بصيغة: Sitemap: https://www.example.com/sitemap.xml.

كيف يرتبط ملف robots.txt بإدارة الروبوتات؟

ملف robots.txt يساعد في تحسين أداء الموقع لمحركات البحث والسيطرة على نشاط الروبوتات الجيدة ولكنه ليس فعالًا في إدارة الروبوتات الضارة و لحماية الموقع من الروبوتات الضارة، يمكن استخدام حلول مثل Cloudflare Bot Management المقدم من Cloudflare.

ماذا يعني اختبار حظر ملف robots.txt؟

اختبار حظر ملف robots.txt يعني التحقق من أن الروبوتات لا تستطيع الوصول إلى صفحات أو أدلة معينة وفقًا للتعليمات الموجودة في الملف و يتم ذلك لضمان أن الصفحات المحظورة ليست مرئية في نتائج محركات البحث.

ما هو التحقق من صحة ملف robots.txt؟

التحقق من صحة ملف robots.txt يتضمن التأكد من أن الملف خالٍ من الأخطاء النحوية أو التنسيقية وأنه يعمل كما هو مطلوب، بحيث يتبع الروبوتات التعليمات المحددة فيه بشكل صحيح.

هل لا يزال ملف robots.txt مستخدمًا؟

نعم، لا يزال ملف robots.txt مستخدمًا على نطاق واسع من قبل محركات البحث والروبوتات لتنظيم كيفية الزحف إلى مواقع الويب وفهرسة محتوياتها.

ما الأدوات التي يمكن استخدامها لاختبار ملف robots.txt؟

هناك العديد من الأدوات المتاحة لاختبار ملف robots.txt، بما في ذلك:

• Google Search Console
• Bing Webmaster Tools
• أدوات التحقق من robots.txt عبر الإنترنت

ماذا تعني لم يتم العثور على أي ملف robots.txt؟

عبارة "لم يتم العثور على أي ملف robots.txt" تعني أن الموقع لا يحتوي على ملف robots.txt في الدليل الجذري و بدون هذا الملف، يمكن للروبوتات الزحف إلى جميع صفحات الموقع بدون قيود.

كيفية السماح للزواحف بالوصول في ملف robots.txt؟

للسماح للربوبات الزاحفة بالوصول إلى صفحات معينة في ملف robots.txt، يمكن استخدام الأمر "Allow". مثال:

User-agent: *

Allow: /

الخاتمة 

في الختام، يعد ملف robots.txt أداة أساسية وفعالة في تحسين تفاعل محركات البحث مع موقعك الإلكتروني و من خلال توفير توجيهات واضحة لروبوتات الزحف، يمكنك التحكم في فهرسة المحتوى الخاص بك، مما يعزز من ظهور موقعك في نتائج البحث ويضمن تقديم تجربة مستخدم أفضل. 

تعلمنا في هذا المقال كيفية إنشاء وكتابة ملف robots.txt بشكل صحيح، وتناولنا طرق اختباره للتأكد من فعاليته، كما استعرضنا الأخطاء الشائعة التي يمكن أن تحدث وكيفية تجنبها.

 من المهم أن تظل متيقظًا لتحديث هذا الملف بانتظام بما يتوافق مع تغييرات موقعك وتحديثات محركات البحث و باستخدام ملف robots.txt بشكل صحيح، يمكنك تحسين أداء موقعك وتحقيق نتائج أفضل في محركات البحث. نتمنى لجميع زوار موقع "ارباحلكس" النجاح والتوفيق في تحسين مواقعهم وتحقيق أهدافهم الرقمية.

اقرأ ايضا: دليل التسويق عبر وسائل التواصل الاجتماعي الشامل

اقرأ ايضا: ما هو التسويق عبر البريد الإلكتروني؟ أنواعه وأمثلة وكيفية القيام بذلك ( دليل شامل 2024)

اقرأ ايضا: ما هو تسويق المحتوى؟ ولماذا هو مهم؟ (دليل شامل لعام 2024)