في بعض الأحيان ، يتعين عليك استبعاد محتوى أو ملفات WordPress محددة حتى لا تتم فهرستها في نتائج بحث Google. الفهرس ، أو "الفهرسة" قبل ظهور Google ومحركات البحث الأخرى ، كانت كلمة مرتبطة في المقام الأول بالكتب. عادة ما توجد في الجزء الخلفي من معظم الكتب ، ولهذا السبب يعرّفها قاموس كامبريدج في هذا السياق على أنه:
الفهرس: قائمة أبجدية ، مثل تلك المطبوعة على الجزء الخلفي من الكتاب ، والتي تعرض الصفحة التي يوجد بها الموضوع ، والاسم ، وما إلى ذلك.
سريعًا إلى عام 1995 ، خلال طفرة الإنترنت ، لدينا خدمات مثل محرك بحث Yahoo ، وفي عام 1997 ، غير بحث Google بشكل كبير طريقة بحثنا عن المعلومات والوصول إليها على الإنترنت.
وفقًا لمسح أجري في يناير 2018 ، هناك 1،805،260،010 (أكثر من 1.8 مليار) موقع على الإنترنت ، والعديد من هذه المواقع لا يستقبل زوارًا.
ما هي فهرسة جوجل؟
هناك محركات بحث مختلفة بتنسيق فهرسة مختلف ، ولكن محركات البحث الشائعة تشمل Google و Bing وللأشخاص ذوي العقلية الخصوصية duckduckgo.
تشير فهرسة Google بشكل عام إلى عملية إضافة صفحات ويب جديدة ، بما في ذلك المحتوى الرقمي مثل المستندات ومقاطع الفيديو والصور ، وتخزينها في قاعدة بياناتك. بمعنى آخر ، لكي يظهر محتوى موقعك في نتائج بحث Google ، يجب تخزينها أولاً في فهرس Google.
يمكن لـ Google فهرسة جميع هذه الصفحات الرقمية والمحتوى باستخدام العناكب أو برامج الزحف أو برامج الروبوت التي تزحف بشكل متكرر إلى مواقع الويب المختلفة على الإنترنت. تتبع هذه الروبوتات والمتتبعات تعليمات مالكي مواقع الويب حول ما يجب تتبعه وما يجب تجاهله أثناء الزحف.
لماذا يجب فهرسة مواقع الويب؟
في هذا العصر الرقمي ، يكاد يكون من المستحيل التنقل عبر مليارات المواقع الإلكترونية التي تعثر على موضوع ومحتوى معين. سيكون الأمر أسهل كثيرًا إذا كانت هناك أداة توضح لنا المواقع الجديرة بالثقة ، وما هو المحتوى المفيد والملائم لنا. هذا هو سبب وجود Google وترتيب مواقع الويب في نتائج البحث.
تصبح الفهرسة جزءًا لا غنى عنه في كيفية عمل محركات البحث بشكل عام و Google بشكل خاص. يساعد في تحديد الكلمات والتعابير التي تصف الصفحة بشكل أفضل ، وتساهم بشكل عام في ترتيب الصفحة وموقع الويب. للظهور في الصفحة الأولى من Google ، يجب فهرسة موقع الويب الخاص بك ، بما في ذلك صفحات الويب والملفات الرقمية مثل مقاطع الفيديو والصور والمستندات.
الفهرسة هي خطوة أولية لمواقع الويب للحصول على مرتبة جيدة في محركات البحث بشكل عام وفي Google بشكل خاص. باستخدام الكلمات الرئيسية ، يمكن رؤية المواقع واكتشافها بشكل أفضل بعد فهرستها وتصنيفها بواسطة محركات البحث. وهذا يفتح الأبواب لمزيد من الزوار والمشتركين والعملاء المحتملين لموقعك الإلكتروني وعملك.
أفضل مكان لإخفاء الجسم هو في الصفحة الثانية من Google.
على الرغم من أن وجود الكثير من الصفحات المفهرسة لا يجعل مواقعك مرتبة أعلى تلقائيًا ، إذا كان المحتوى الموجود على تلك الصفحات عالي الجودة أيضًا ، يمكنك الحصول على دفعة من حيث تحسين محركات البحث.
لماذا وكيف تمنع محرك البحث من فهرسة المحتوى
على الرغم من أن الفهرسة رائعة لمالكي مواقع الويب والأعمال ، إلا أن هناك صفحات قد لا ترغب في ظهورها في نتائج البحث. يمكنك أيضًا المخاطرة بكشف الملفات والمحتويات السرية عبر الإنترنت. بدون كلمات المرور أو المصادقة ، يكون المحتوى الخاص عرضة لخطر التعرض والوصول غير المصرح به إذا أطلقت برامج الروبوت العنان للمجلدات والملفات على موقع الويب الخاص بك.
في أوائل العقد الأول من القرن الحادي والعشرين ، استخدم المخترقون بحث Google لعرض معلومات بطاقة الائتمان من مواقع الويب ذات استعلامات البحث البسيطة. استخدم العديد من المتسللين هذا العيب الأمني لسرقة معلومات البطاقة من مواقع التجارة الإلكترونية.
حدث خطأ أمني آخر حدث العام الماضي على box.com ، وهو نظام تخزين سحابي شائع. تم الكشف عن الثغرة الأمنية من قبل ماركوس نييس ، مدير الاستخبارات حول التهديدات في Swisscom. وأفاد أن المآثر البسيطة لمحركات البحث ، بما في ذلك Google و Bing ، يمكن أن تكشف الملفات والمعلومات الحساسة من العديد من الشركات والأفراد.
تحدث مثل هذه الحالات عبر الإنترنت ويمكن أن تتسبب في خسارة المبيعات والدخل لأصحاب الأعمال. بالنسبة للمواقع الإلكترونية الخاصة بالشركات والتجارة الإلكترونية والعضوية ، من الأهمية بمكان منع فهرسة البحث للمحتوى السري والملفات الخاصة أولاً ، ومن ثم ربما وضعها خلف نظام مصادقة مستخدم لائق.
دعنا نلقي نظرة على كيفية التحكم في المحتوى والملفات التي يمكن لـ Google ومحركات البحث الأخرى الزحف إليها وفهرستها.
1. استخدام ملف Robots.txt للصور
Robots.txt هو ملف موجود في جذر موقعك يعطي Google ، و Bing ، وإرشادات الروبوتات الأخرى لمحركات البحث حول ما يجب تتبعه وما لا يتم تتبعه. بينما يُستخدم ملف robots.txt بشكل عام للتحكم في حركة الزحف وزواحف الويب (الجوّال مقابل سطح المكتب) ، يمكن استخدامه أيضًا لمنع ظهور الصور في نتائج بحث Google.
سيبدو ملف robots.txt من مواقع WordPress العادية كما يلي:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
يبدأ ملف robots.txt القياسي بإرشادات لوكيل المستخدم ورمز العلامة النجمية. العلامة النجمية هي تعليمات لجميع برامج الروبوت التي تأتي إلى موقع الويب لاتباع جميع التعليمات الواردة أدناه.
احفظ البوتات بعيدًا عن ملفات رقمية محددة باستخدام Robot.txt
يمكن أيضًا استخدام ملف Robots.txt لإيقاف زحف محرك البحث للملفات الرقمية مثل PDF أو JPEG أو MP4. لمنع تتبع البحث لملفات PDF و JPEG ، يجب إضافة هذا إلى ملف robots.txt:
ملفات PDF
User-agent: * Disallow: /pdfs/ # Block the /pdfs/directory. Disallow: *.pdf$ # Block pdf files from all bots. Albeit non-standard, it works for major search engines.
صور
User-agent: Googlebot-Image Disallow: /images/cats.jpg #Block cats.jpg image for Googlebot specifically.
في حالة رغبتك في حظر فهرسة جميع صور .GIF وعرضها في بحث صور Google مع السماح بتنسيقات صور أخرى مثل JPEG و PNG ، يجب عليك استخدام القواعد التالية:
User-agent: Googlebot-Image Disallow: /*.gif$
هام: ستستبعد المقتطفات المذكورة أعلاه ببساطة المحتوى الخاص بك من فهرسته من قبل مواقع الطرف الثالث مثل Google. لا يزال الوصول إليها ممكنًا إذا كان شخص ما يعرف مكان البحث. لجعل الملفات خاصة بحيث لا يمكن لأي شخص الوصول إليها ، ستحتاج إلى استخدام طريقة أخرى ، مثل المكونات الإضافية لتقييد المحتوى.
يمكن استخدام Googlebot-Image لحظر الصور وعدم ظهور امتداد صورة معين في بحث الصور من Google. في حالة رغبتك في استبعادهم من جميع عمليات بحث Google ، ص. بحث الويب والصور ، يوصى باستخدام وكيل مستخدم Googlebot بدلاً من ذلك.
يشمل وكلاء مستخدم Google الآخرون للعناصر المختلفة على موقع الويب Googlebot-Video لمقاطع الفيديو من التطبيق في قسم مقاطع فيديو Google على الويب. وبالمثل ، فإن استخدام وكيل مستخدم Googlebot سيحظر عرض جميع مقاطع الفيديو في مقاطع فيديو google أو بحث الويب أو بحث الويب للجوال.
يرجى ملاحظة أن استخدام ملف Robots.txt ليس طريقة مناسبة لحظر الملفات والمحتويات السرية أو السرية بسبب القيود التالية:
- يمكن أن يقوم ملف robots.txt بإرشاد برامج الزحف التي يتم الزحف إليها جيدًا فقط ؛ قد تتجاهل محركات البحث والروبوتات الأخرى غير المتوافقة تعليماتك ببساطة.
- لا يمنع ملف Robots.txt خادمك من إرسال تلك الصفحات والملفات إلى مستخدمين غير مصرح لهم عند الطلب.
- لا يزال بإمكان محركات البحث العثور على الصفحة والمحتوى الذي تحظره وفهرسته إذا كانت مرتبطة بمواقع ومصادر أخرى.
- ملف Robots.txt متاح لأي شخص يمكنه قراءة جميع التعليمات المقدمة والوصول إلى هذا المحتوى والملفات مباشرة
لمنع فهرسة البحث وحماية معلوماتك الخاصة بشكل أكثر فعالية ، استخدم الطرق التالية.
2. استخدام العلامات الوصفية غير المفهرسة للصفحات
يعد استخدام العلامات الوصفية غير الفهرسة طريقة مناسبة وأكثر فعالية لحظر فهرسة البحث للمحتوى السري على موقع الويب الخاص بك. على عكس ملف robots.txt ، يتم وضع علامة meta بدون فهرس في ملف
قسم من صفحة ويب بعلامة HTML بسيطة للغاية:
...
لن تظهر أي صفحة بها هذا التعليمات في الرأس في نتيجة بحث Google. يمكن أيضًا استخدام توجيهات أخرى مثل nofollow و notranslate لإخبار برامج زحف الويب بعدم الزحف إلى الروابط وتقديم ترجمة لتلك الصفحة على التوالي.
يمكنك توجيه العديد من المتتبعات باستخدام علامات تعريف متعددة في صفحة واحدة على النحو التالي:
...
هناك طريقتان لإضافة هذا الرمز إلى موقع الويب الخاص بك. خيارك الأول هو إنشاء سمة WordPress تابعة ، ثم في دالاتك .php يمكنك استخدام ربط الإجراء wp_head في WordPress لإدراج noindex أو أي علامة تعريف أخرى. فيما يلي مثال على كيفية عدم فهرسة صفحة تسجيل الدخول الخاصة بك.
add_action( 'wp_head', function() {
if ( is_page( 'login' ) ) {
echo '';
}
} );
الخيار الثاني هو استخدام المكوّن الإضافي لتحسين محركات البحث للتحكم في رؤية الصفحة. على سبيل المثال ، باستخدام Yoast SEO ، يمكنك الانتقال إلى قسم الإعدادات المتقدمة في الصفحة واختيار "لا" للخيارات التي تسمح لمحرك البحث بعرض الصفحة:
3. استخدام رأس HTTP X-Robots-Tag للملفات الأخرى
يمنحك X-Robots-Tag مزيدًا من المرونة لمنع فهرسة البحث للمحتوى والملفات. على وجه الخصوص ، عند مقارنته بعلامة meta بدون فهرس ، يمكن استخدامه كاستجابة رأس HTTP لأي عنوان URL محدد. على سبيل المثال ، يمكنك استخدام علامة X-Robots لملفات الصور والفيديو والمستندات حيث لا يمكن استخدام العلامات الوصفية لبرامج الروبوت.
يمكنك قراءة دليل Google الكامل للعلامات الوصفية للروبوتات ، ولكن هذه هي الطريقة التي يمكنك من خلالها أن تطلب من برامج الزحف عدم متابعة صورة JPEG وفهرستها باستخدام علامة X-Robots في استجابة HTTP الخاصة بهم:
HTTP/1.1 200 OK Content-type: image/jpeg Date: Sat, 27 Nov 2018 01:02:09 GMT (…) X-Robots-Tag: noindex, nofollow (…)
أي توجيه يمكن استخدامه مع العلامة الوصفية لبرامج الروبوت ينطبق أيضًا على علامة X-Robots-Tag. وبالمثل ، يمكنك أيضًا توجيه مختلف روبوتات محرك البحث:
HTTP/1.1 200 OK Date: Tue, 21 Sep 2018 21:09:19 GMT (…) X-Robots-Tag: googlebot: nofollow X-Robots-Tag: bingbot: noindex X-Robots-Tag: otherbot: noindex, nofollow (…)
من المهم ملاحظة أن روبوتات محرك البحث تكتشف العلامات الوصفية لبرامج الروبوت ورؤوس علامات HTTP X-Robots-Tag أثناء عملية الزحف. لذلك إذا كنت تريد أن تتبع هذه الروبوتات تعليماتك بعدم متابعة أو فهرسة أي محتوى ومستندات سرية ، فلا يجب التوقف عن الزحف إلى عناوين URL لهذه الصفحات والملفات.
إذا لم يكن من الممكن تتبعهم باستخدام ملف robots.txt ، فلن تتم قراءة تعليمات الفهرسة الخاصة بهم وبالتالي سيتم تجاهلها. ونتيجة لذلك ، في حالة ارتباط مواقع ويب أخرى بالمحتوى والمستندات الخاصة بك ، فسيستمر Google ومحركات البحث الأخرى في فهرستها.
4. استخدام قواعد .htaccess لخوادم Apache
يمكنك أيضًا إضافة رأس HTTP X-Robots-Tag إلى ملف .htaccess الخاص بك لمنع برامج الزحف من فهرسة الصفحات والمحتوى الرقمي من موقعك على الويب المستضاف على خادم Apache. على عكس العلامات الوصفية غير الفهرسية ، يمكن تطبيق قواعد htaccess على موقع ويب بأكمله أو مجلد معين. يوفر دعم التعبير العادي لها مرونة أكبر حتى تتمكن من استهداف أنواع ملفات متعددة في وقت واحد.
لمنع Googlebot و Bing و Baidu من الزحف إلى موقع ويب أو دليل خاص ، استخدم القواعد التالية:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) (NC)
RewriteRule .* - (R=403,L)
لمنع فهرسة البحث لجميع ملفات .txt و .jpg و. jpeg و. pdf عبر موقعك على الويب ، أضف المقتطف التالي:
Header set X-Robots-Tag "noindex, nofollow"
5. استخدام مصادقة الصفحة مع اسم المستخدم وكلمة المرور
ستمنع الطرق المذكورة أعلاه المحتوى الخاص والمستندات من الظهور في نتائج بحث Google. ومع ذلك ، يمكن لأي مستخدم لديه الرابط الوصول إلى محتواه والوصول إلى ملفاته مباشرة. للأمان ، يوصى بشدة بتكوين المصادقة المناسبة مع اسم المستخدم وكلمة المرور بالإضافة إلى إذن الوصول إلى الدور.
على سبيل المثال ، يجب أن تمر الصفحات التي تتضمن ملفات تعريف الموظفين الشخصية والمستندات السرية التي لا يجب على المستخدمين المجهولين الوصول إليها عبر بوابة المصادقة. لذلك حتى عندما يتمكن المستخدمون بطريقة أو بأخرى من العثور على الصفحات ، فسيُطلب منهم بيانات الاعتماد قبل أن يتمكنوا من رؤية المحتوى.
للقيام بذلك مع WordPress ، ما عليك سوى تكوين رؤية مشاركة محمية بكلمة مرور. بهذه الطريقة ، يمكنك تحديد كلمة المرور المطلوبة لعرض محتوى تلك الصفحة. هذا سهل جدا لكل منشور / صفحة. لمزيد من الخصوصية الكاملة للموقع ، حاول إضافة أحد مكونات عضوية WordPress الإضافية إلى موقع الويب الخاص بك.
يرجى ملاحظة أن الصفحات المخفية أو المحمية بكلمة مرور من محركات البحث والزوار لا تحمي بالضرورة المستندات ومقاطع الفيديو والصور المرفقة بالمحتوى الخاص بك. للحصول على حماية حقيقية لتحميلات ملف WordPress الخاص بك ، يوصى بشدة بخدمة متميزة مثل منع الوصول المباشر الذهبي.
الخلاصة
في السباق ليكون في الصفحة الأولى من Google ، قد يتجاهل أصحاب الأعمال ما قد تراه محركات البحث. سواء كنت تحظر برامج الروبوت من ملف معين ، أو تخفي صفحة تسجيل دخول مخصصة ، أو أدلة المستخدم الخاصة التي تحمي كلمة المرور … فهناك الكثير من الصفحات التي يجب وضعها في الاعتبار غير الفهرسة عندما يتعلق الأمر بمحركات البحث.
هل لديك أسئلة حول استبعاد المحتوى من نتائج البحث؟ أو منع فهرسة ملفات معينة بواسطة bing؟ اترك التعليق أدناه!
