В недавние часы работы JavaScript в офисе SEO Мартин Сплитт из Google ответил на вопрос о блокировке внешних ресурсов JS и CSS. Вопрос был в том, приведет ли блокировка ресурсов к потере рейтинга сайта.
Тем не менее, была проблема в вопросе, который был задан …
Блокированный JavaScript и CSS могут повлиять на рейтинг
Блокировка файлов JavaScript и CSS может вызвать проблемы классификации в определенных ситуациях. Одна из причин заключается в том, что Google нужны некоторые из этих файлов для отображения веб-сайта и определения его совместимости с мобильными устройствами.
Официальная страница разработчиков Google гласит:
«Для оптимального рендеринга и индексирования всегда разрешайте роботу Googlebot обращаться к файлам JavaScript, CSS и изображениям, используемым на вашем сайте, чтобы робот Googlebot мог просматривать ваш сайт как обычный пользователь.
Если файл robots.txt на вашем сайте не позволяет отслеживать эти ресурсы, это напрямую влияет на то, насколько хорошо наши алгоритмы обрабатывают и индексируют их содержимое. Это может привести к неоптимальным рейтингам ».
Блокировка внешних JavaScript и CSS
У человека, задающего вопрос, есть веская причина беспокоиться о том, как Google может отреагировать на блокировку внешних ресурсов.
Вопрос:
«Если вы используете robots.txt для блокировки JS или CSS во внешних JS-файлах / CSS-файлах в другом домене или если другой домен блокирует их, пользователь увидит вещи, отличные от Googlebot, верно?
Будет ли Google с подозрением относиться к этому типу страниц и уменьшать их?
Мартин Сплитт из Google уверенно ответил:
«Нет, мы не собираемся ничего скачивать. Это не сокрытие. Сокрытие очень конкретно означает обман пользователя.
То, что мы не видим контент, не обязательно означает, что вы вводите пользователя в заблуждение ".
Скрытие – это уловка, которую спамеры используют для отображения набора контента в Google, чтобы обманным путем заставить Google классифицировать его и отображать совершенно другую веб-страницу для пользователей, такую как вирус или веб-страница, наполненная спамом.
Маскировка также является способом запрета Google сканировать URL-адреса, которые издатели не хотят видеть в Google, например партнерские ссылки.
Ответ Мартина исходит из того, будет ли блокирование внешних ресурсов рассматриваться как сокрытие, а его ответ – нет.
Как заблокировать внешние ресурсы может быть проблематично
Далее Мартин описывает, как блокировка внешних ресурсов может стать проблемой:
«Это все еще потенциально проблематично, если ваш контент появляется только тогда, когда мы можем получить эти ресурсы, и мы не видим контент в визуализированном HTML, потому что он заблокирован файлом robots.txt.
Поэтому мы не можем индексировать это. Если контент отсутствует, мы не можем его проиндексировать. "
Инструменты тестирования Google покажут проблемы
Затем Мартин показывает, как редактор может диагностировать, является ли блокировка ресурсов проблематичной.
«Поэтому, безусловно, стоит попробовать наши инструменты тестирования, чтобы увидеть, действительно ли контент, который вы хотите видеть на странице, действительно виден на странице, даже если некоторые ресурсы JavaScript или CSS могут быть роботизированными».
Но, вообще говоря, роботизация ресурсов JavaScript или CSS сама по себе не является проблемой. Это может быть проблемой, если мы не можем видеть контент, но это нормально с точки зрения сокрытия, это не сокрытие ».
Он также уточнил:
«Если JavaScript загружает контент, и мы не можем загрузить этот JavaScript, потому что он роботизированный, мы его не увидим, и это потенциально проблематично». Но если это обновление, такое как окно чата или виджет комментариев … тогда это не проблема ».
Редактор задал вопрос с подвохом
Это интересный ответ, что нормально блокировать внешние ресурсы, связанные с окном чата или виджетом комментариев. Блокировка этих ресурсов может быть полезна, например, если это помогает ускорить рендеринг сайта для Google, но …
Но есть небольшая морщина в заданном вопросе: Вы не можете заблокировать внешние ресурсы (в другом домене), используя robots.txt.
Оригинальный вопрос состоял из двух частей.
Это первая проблемная часть:
«Если вы используете robots.txt для блокировки JS или CSS во внешних JS-файлах / CSS-файлах в другом домене …»
Эту часть вопроса невозможно достичь с помощью Robots.txt.
На странице разработчиков Google упоминается эта тема о файле robots.txt:
«Это действительно для всех файлов во всех подкаталогах на одном хосте, протоколе и номере порта».
Что упущено в этом вопросе, так это то, что файл robots.txt использует только относительные URL-адреса, а не абсолютные (кроме расположения карты сайта).
Относительный URL-адрес означает, что URL-адрес является «относительным» к странице со ссылкой.
В файле HTACCESS все URL выглядят так:
/file-1/example
И вот как выглядит абсолютный URL:
https://www.example.com
Поэтому, если вы не можете использовать абсолютный URL в файле robots.txt, вы не можете заблокировать внешний ресурс с помощью файла robots.txt.
Вторая часть вопроса технически правильна:
«… или если другой домен блокирует их, то пользователь увидит вещи, отличные от робота Google, верно? Google не будет доверять этому типу страниц и понизит их рейтинг?
Внешние ресурсы часто блокируются другими сайтами. Таким образом, вопрос и ответ имеют больше смысла в этом направлении.
Мартин Сплитт сказал, что блокирование этих внешних ресурсов не скрывает. Это утверждение верно, если вы не используете Robots.txt.
Наверное, это то, о чем говорил Мартин, но …
Но вопрос был конкретно о robots.txt.
В реальном мире, если вы хотите заблокировать внешние ресурсы с помощью файла robots.txt, многие прибегают к маскировке.
У сокрытия плохая репутация и веская причина. Но правда в том, что не все сокрытие плохо. Например, в Yoast есть, например, учебник по маскировке партнерской ссылки.
Некоторые формы маскировки могут блокировать ресурсы, которые не имеют ничего общего с тем, как отображается страница, и в соответствии с рекомендациями Google.
