Это только я или слова «мета-роботы» и «robots.txt» звучат так, как сказал Шварценеггер в «Терминаторе 2»?
Это одна из причин, почему я начал работать в SEO: это казалось футуристическим, но в то же время чрезвычайно технологичным для моих навыков в то время.
Надеемся, что эта статья делает настройку ваших метатегов роботов и файлов robots.txt менее утомительной. Давайте начнем.
Мета Роботы Теги против robots.txt
Прежде чем углубляться в основы мета-тэгов robots и файлов robots.txt, важно знать, что нет одной стороны, которую лучше использовать в SEO.
Файлы Robots.txt сообщают сканерам обо всем сайте.
В то время как метатеги-теги входят в ядро конкретной страницы.
Я предпочитаю использовать мета-тэги robots для многих вещей, которые другие профессионалы в области SEO могут просто использовать для простоты файла robots.txt.
Там нет правильного или неправильного ответа. Это личное предпочтение, основанное на вашем опыте.
Что такое Robots.txt?
Файл robots.txt сообщает сканерам, что сканировать.
Это часть протокола исключения роботов (REP).
Googlebot является примером трекера.
Google внедряет Googlebot для сканирования веб-сайтов и записи информации на этом сайте, чтобы понять, как ранжировать сайт в результатах поиска Google.
Вы можете найти файл robots.txt для любого сайта, добавив /robots.txt после веб-адреса следующим образом:
www.mywebsite.com/robots.txt
Вот как выглядит новый основной файл robots.txt:
Звездочка * после user-agent сообщает сканерам, что файл robots.txt предназначен для всех ботов, которые заходят на сайт.
Косая черта / после «Disallow» говорит роботу не заходить ни на одну страницу сайта.
Вот пример файла Moz robots.txt.
Вы можете видеть, что они сообщают сканерам, какие страницы сканировать с помощью пользовательских агентов и политик. Я углублюсь в это немного позже.
Почему Robots.txt важен?
Я не могу сказать, сколько клиентов пришло ко мне после перехода на другой сайт или запуска нового сайта, и они спрашивают меня: почему мой сайт не занимает место после нескольких месяцев работы?
Я бы сказал, что 60% причин в том, что файл robots.txt не был обновлен правильно.
То есть ваш файл robots.txt по-прежнему выглядит так:
Это заблокирует все веб-сканеры, которые посещают ваш сайт.
Другая причина важности файла robots.txt заключается в том, что в Google есть такая вещь, как бюджет обхода.
Google объявляет:
«Робот Google разработан, чтобы быть хорошим гражданином Интернета. Отслеживание является вашим главным приоритетом, при этом следя за тем, чтобы оно не ухудшало впечатления пользователей, посещающих сайт. Мы называем это «пределом частоты сканирования», который ограничивает максимальную частоту восстановления для данного сайта.
Проще говоря, это число одновременных параллельных соединений, которые робот Googlebot может использовать для сканирования сайта, а также время ожидания между поисками ".
Поэтому, если у вас большой сайт с некачественными страницами, которые вы не хотите, чтобы Google сканировал, вы можете указать Google «запретить его» в файле robots.txt.
Это освободило бы ваш бюджет сканирования, чтобы сканировать только те высококачественные страницы, за которые вы хотите, чтобы Google оценил вас.
Для файлов robots.txt нет жестких и быстрых правил … пока.
Google объявил о предложении в июле 2019 года начать реализацию определенных стандартов, но сейчас я следую рекомендациям, которые я сделал в последние годы.
Основы Robots.txt
Как использовать Robots.txt
Использование robots.txt жизненно важно для успеха SEO.
Но не понимание того, как это работает, может заставить вас почесать голову, почему вы не в рейтинге.
Поисковые системы сканируют и индексируют ваш сайт на основе того, что вы им сообщаете в файле robots.txt, используя директивы и выражения.
Вот общие правила robots.txt, которые вы должны знать:
Пользовательский агент: * – Это первая строка в вашем файле robots.txt, объясняющая сканерам правила того, что вы хотите, чтобы они сканировали на вашем сайте. Звездочка информирует всех пауков.
Агент пользователя: Googlebot – Это только указывает на то, что вы хотите, чтобы Google Spider отслеживать.
Не разрешать: / – Это говорит всем сканерам не сканировать весь их сайт.
отклонять: – Это говорит всем сканерам сканировать весь ваш сайт.
Не разрешать: / постановка / – Это говорит всем сканерам игнорировать ваш промежуточный сайт.
Не разрешать: / ebooks / * .pdf – Это говорит сканерам игнорировать все ваши форматы PDF, которые могут вызвать проблемы с дублированным содержимым.
Агент пользователя: Googlebot
Не разрешать: / images / – Это только говорит роботу Googlebot игнорировать все изображения на вашем сайте.
* * – Это похоже на подстановочный знак, представляющий любую последовательность символов.
PS – Это используется, чтобы соответствовать концу URL.
Чтобы создать файл robots.txt, используйте Yoast для WordPress. Он уже интегрируется с другими функциями SEO на моих сайтах.
Но прежде чем вы начнете создавать файл robots.txt, вот несколько основных моментов, о которых следует помнить:
