كيفية إضافة مشغل صوت Mp3 مع قائمة تشغيل في بلوجر

في هذا المقال سنشرح  ما هو ملف robots.txt وما أهميته؟ وكيفية إعداد ملف Robots.Txt بالطريقة الصحيحة ومعرفة سبب منع صفحات معينة من البحث.

ما هو ملف robots.txt؟

باختصار ملف "Robots.Txt" هو ما يخبر عناكب محركات البحث بالصفحات التي يجب الوصول إليها وفهرستها على موقع الويب الخاص بك والصفحات التي لا يجب الوصول إليها.

على سبيل المثال، إذا حددت في ملف robots.txt أنك لا تريد أن تتمكن محركات البحث من الوصول إلى صفحة معينة، فلن تتمكن هذه الصفحة من الظهور في نتائج البحث.

يعد منع عناكب محركات البحث من الوصول إلى صفحات معينة على موقعك باستخدام ملف robots.txt أمرًا ضروريًا لخصوصية موقعك وتحسين محركات البحث.

كيف يعمل ملف robots.txt؟

ترسل محركات البحث برامج صغيرة تسمى "العناكب" أو "الروبوتات" للبحث في موقعك وإعادة المعلومات إلى محركات البحث بحيث يمكن فهرسة صفحات موقعك في نتائج البحث والعثور عليها بواسطة مستخدمي الويب.

يوجه ملف Robots.txt الخاص بك هذه البرامج إلى عدم البحث في صفحات موقعك التي تحددها باستخدام أمر "عدم السماح".

ما أهميته ملف Robots.txt ولماذا يجب حظر بعض الصفحات؟

ملف robots مهم لأى موقع ويب لتحسين محركات البحث لفهرسة صفحات الويب وطرحها للباحثين وأيضاً تُعد أهميته الرئيسية في حظر بعض الصفحات وفهرسة البعض الآخر، وهناك عدة أسباب لحظر صفحة باستخدام ملف Robots.txt:

1. إذا كان نسخة مكررة من صفحة أخرى، فأنت لا تريد أن تقوم الروبوتات بفهرستها لأن ذلك قد ينتج عنه محتوى مكرر يمكن أن يضر بـ SEO الخاص بك.
2. إذا كان لديك صفحة على موقعك لا تريد أن يتمكن المستخدمون من الوصول إليها ما لم يتخذوا إجراءً محددًا.
3. صفحات الأرشيف، أو صفحات بها معلومات محددة لا تريد ظهورها بمحركات البحث والعثور عليها.

في كل هذه الحالات، ستحتاج إلى تضمين أمر في ملف robots.txt يخبر عناكب محركات البحث بعدم الوصول إلى تلك الصفحات، وعدم فهرستها في نتائج البحث، وعدم إرسال زوار إليها. 

كيفية إنشاء ملف Robots.Txt

من خلال إعداد حساب مجاني لأدوات مشرفي المواقع من Google، يمكنك بسهولة إنشاء ملف robots.txt عن طريق تحديد خيار "وصول الزاحف" ضمن خيار "تكوين الموقع" في شريط القائمة. بمجرد وصولك إلى هناك، يمكنك تحديد "انشاء ملف robots.txt" وإعداد ملف robots.txt مخصص.

User-agent: Mediapartners-Google 
Disallow: 

User-agent: *
Disallow: /search
Allow: /

sitemap: https://www.example.com/sitemap.xml

- تحميل ملف robots.txt وورد بريس

User-agent:  *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

User-agent: Mediapartners-Google*
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

Sitemap: https://www.example.com/sitemap.xml

قم بتغير عنوان الموقع المظلل باللون ألأحمر بعنوان موقعك.

طريقة إعداد ملف robots.txt

بمجرد حصولك على ملف Robots.txt، يمكنك تحميله على المدونة. قم بتسجيل الدخول إلى لوحة تحكم بلوجر ثم الإعدادات:

1. انقر فوق عنصر قائمة الإعدادات على الشريط الجانبي.
2. قم بالتمرير في صفحتك إلى قسم "برامج الزحف والفهرسة".
3. تحقق من تفعيل ملف مخصص يجب أن يكون زر التبديل مفعل باللون الأخضر كما بالصورة التالية.
4. أضغط علي "ملف robots.txt مخصّص" سيظهر لك مربع حوار قم بإضافة ملف robots.txt داخل المربع.
5. بعد الانتهاء من إضافة ملف robots.txt اضغط على "حفظ".

  

اختبار ملف Robots.txt

بعد تركيب ملف robots.txt، يجب التأكد من أنه خالي من الأخطاء والتحذيرات ويعمل بشكل صحيح على موقع الويب الخاصة بك

انقر على هذا الرابط اختبار ملف Robots.Txt

• عند الدخول لاختبار الملف يجب التسجيل بنفس الحساب الخاص بالمدونة أو الموقع.
• يجب أن يظهر اختبار ملف robots.txt كما بالصورة التالية (0 من الأخطاء 0 من التحذيرات).

أذا ظهر لك أي شيء بخلاف اللي في الصورة وأعطاك الاختبار أخطاء أو تحذيرات فاعلم أنك قمت بعمل شيء خطأ، تأكد من أنك قمت بوضع ملف robots.txt بالطريقة الصحيحة ولا تقم بتغير أي شيء بالملف ولا تعطي مسافات بين الكلام بخلاف الموجود واذا ظلت المشكلة قائمة راسلني وسنقوم بحل المشكلة بإذن الله.

بعد إضافة الملف يجب ضبط علامات الرؤوس بالطريقة الصحيحة، وبعد ذلك التوجه إلى مشرفي المواقع جوجل كونسول لإضافة ملف Sitemap.xml.

تعديل المقال