Аналитический спам был одной из самых важных тем для анализа в 2015 году (пик летом 2015 года). Похоже, что тема вновь обрела некоторую популярность в ноябре, и похоже, что проблема спам-трафика еще не окончена.
Google Trend for Analytics Spam
Google создал страницу поддержки спама, так что это означает, что они видят проблему и могут найти решение. Адам Сингер из Google Analytics подтвердил, что Google попытается решить проблему, однако дата выхода пока неизвестна.
Мы проанализировали 292 аккаунта Google Analytics, у которых не было настроек фильтрации спама и которые посещали не менее 25 рефералов в день. Общий спам-трафик рефералов составлял примерно 11%, и примерно 57% всех веб-сайтов имели спам-трафик как минимум из одного из 500 доменов спама.
Источник изображения
Я не буду вдаваться в подробности о видах спама, так как это обсуждалось много раз. Тем не менее, вы должны проверить презентацию Скотта Хендисона в PubCon о Google Spamalytics.
Поддерживайте новый трафик в чистоте с помощью автоматизированных инструментов
Большинство решений, которые помогут вам защитить статистику Google Analytics от спама, требуют некоторой (ручной) фильтрации спам-доменов, а также более общей фильтрации в Google Analytics.
В настоящее время существует около 550 доменов, вызывающих проблему спама (последний список доменов спама можно найти на GitHub, который является открытым исходным кодом).
Из-за большого количества спам-доменов ручная фильтрация была медленной, а поскольку новые спам-домены появляются каждый месяц, это трудно отследить.
Чтобы не отставать от роста спама, были созданы инструменты. В настоящее время на рынке есть несколько инструментов, большинство из которых являются бесплатными.
Ниже я обобщу несколько инструментов. * Примечание. Большинство инструментов ограничены квотами Google, поэтому, если один инструмент выдает ошибку квоты, попробуйте другой или подождите 24 часа.
Аналитическая справка / фантомный спам-блокиратор
Этот блокировщик спама всегда актуален. На момент написания он содержал более 550 доменов из черного списка.
Плюсы:
- Простой интерфейс с возможностью поиска (отлично, если у вас много просмотров)
- Вы можете легко обновить несколько учетных записей, свойств и просмотров
- Отменить добавленные фильтры при необходимости
- Всегда в курсе благодаря помощи вашего сообщества (более 550 доменов в черном списке, 39 фильтров)
- Лимиты квот были увеличены до 10 000 запросов в день.
Минусы:
- Вы должны обновлять фильтры каждый раз, когда публикуются новые домены.
Аналитический инструментарий
Analytics Toolkit – это не бесплатный инструмент (15 долларов в месяц), но низкая цена стоит головной боли, которую он снимает. Этот спам-инструмент является частью более широкого спектра инструментов анализа, предоставляемых аналитическим инструментарием.
информация:
Плюсы:
- Фильтры автоматически обновляются при запуске новых доменов
- Примените фильтры ко всем учетным записям, свойствам и представлениям.
- Интерфейс в один клик
- Квоты не являются проблемой, потому что фильтры применяются в фоновом режиме.
Минусы:
- Требуется регистрация
- Количество отфильтрованных доменов не публикуется (добавлено 5 фильтров)
Установщик спам-фильтра
Установщик спам-фильтра Simoa Hava (бесплатный и с открытым исходным кодом) является одним из первых инструментов автоматической фильтрации спама. Весь инструмент с открытым исходным кодом, и любой желающий может скачать и реализовать его. Таким образом, вы будете лучше контролировать пределы квоты.
информация:
Плюсы:
- Открытый исходный код, вы можете реализовать инструмент самостоятельно
- Несколько свойств и видов могут быть выбраны
Минусы:
- Может применяться только к одной учетной записи одновременно
- Лимит квоты 2000 записей в день
- Количество отфильтрованных доменов полуобновляется (более 400 доменов, 26 фильтров)
Блокировщик спам рефералов
Referrer Spam Blocker – это бесплатный инструмент Stijlbreuk. Он определенно имеет один из самых привлекательных пользовательских интерфейсов среди доступных инструментов.
информация:
Плюсы:
- Несколько свойств и видов могут быть выбраны
- Лимиты квот увеличены до 5000 запросов в день
Минусы:
- Количество отфильтрованных доменов полуобновляется (более 203 доменов, 17 фильтров).
Как работают инструменты и какие фильтры используются
Большинство вышеперечисленных инструментов добавляют один или несколько следующих фильтров. Посмотрим, как они работают.
Исключить пустое имя хоста
Большинство спам-ботов-призраков не отправляют поле имени хоста, когда отправляют поддельные данные для анализа.
Этот фильтр удалит все запросы с пустым именем хоста.
Исключить пустое разрешение экрана
Большинство фантомных спам-ботов не отправляют разрешение экрана при отправке ложных данных для анализа.
Этот фильтр удалит все запросы с пустым разрешением экрана.
Включить только ваши собственные имена хостов
Большинство спам-ботов-призраков не настраивают имя хоста, но некоторые это делают. В большинстве случаев они устанавливают в качестве имени хоста домен спама, а не реальный домен сайта.
Этот фильтр фильтрует все запросы, для которых в качестве имени хоста установлено что-то иное, чем список предоставляемых нами имен хостов (например, ваше собственное доменное имя).
ВНИМАНИЕ: Поскольку это фильтр белого списка, то есть он фильтрует все, кроме списка имен, которые мы предоставляем. У него есть один недостаток: если вы меняете свой домен в будущем или используете несколько доменов с одной и той же учетной записью аналитики (как для каждого языка TLD или с несколькими поддоменами), вы можете отфильтровать хороший трафик. Поэтому будьте очень осторожны с этим фильтром, иначе он может не обнаружить большого количества реального трафика в вашей учетной записи аналитики.
Хотя это звучит великолепно, этот фильтр не является Святым Граалем, некоторые спам-боты фактически посещают ваш сайт, поэтому имя хоста будет установлено на правильное имя хоста и не будет отфильтровано.
Исключить домены из черного списка (фильтр источника кампании)
Если ни один из указанных выше фильтров не работает, вы должны вручную исключить каждый известный домен спама. В настоящее время в списке спама с открытым исходным кодом более 550 известных спам-доменов.
Большинство инструментов используют некоторый список доменов, которые добавляются автоматически.
Удалить спам из уже зараженного трафика
Используя методы, описанные выше, невозможно очистить уже загрязненные данные (в Google Analytics). Google Analytics поддерживает сегменты, которые позволяют вам отфильтровывать старые данные, но не обновлять их.
Используя следующий сегмент, вы можете скрыть все старые домены спама. Это полезно, если в прошлом у вас было много спама и вы его не фильтровали.
Просто импортируйте Analytics Spam Blocker (январь 2016 года, 550 доменов), и вы сможете выбрать сегмент в любом представлении. Пожалуйста, проверьте, как использовать руководство по сегментам Kissmetrics, если вы новичок в сегментах.
Другие решения (не рекомендуется)
Есть некоторые другие решения, которые могут частично работать. Большинство из них не рекомендуют их, поскольку они склонны ломать вещи больше, чем исправляют. На самом деле, большинство из них не будут работать лучше, чем предыдущие автоматизированные решения.
Добавляйте индивидуальные размеры для каждого посещения (не лучше предыдущих фильтров)
Добавление пользовательского измерения к каждому посещению позволит вам различать призрачный спам и фактические посещения. Это решение требует доступа к коду анализа на веб-сайте.
Исключить домены, использующие .htaccess (не рекомендуется)
Обход трафика на уровне веб-сервера не позаботится о фантомном спаме. Вы также должны использовать веб-сервер Apache (или другой совместимый веб-сервер) и иметь доступ к его настройкам. Обновление этих правил может обрушить весь сайт, поэтому будьте осторожны. Кроме того, проверка более 500 регулярных выражений при каждом посещении требует дополнительных ресурсов.
Добавить дополнительные параметры Триггер просмотра страницы (не рекомендуется)
Чтобы добавить дополнительный параметр в запрос просмотра страницы, вам потребуется доступ к вашему коду анализа на вашем веб-сайте. Играть с этим также не рекомендуется.
Создать новый идентификатор трекера (не рекомендуется)
Создание нового идентификатора отслеживания Google Analytics не очень хорошая идея, поскольку вы потеряете все свои предыдущие данные. Также спам-боты найдут вашу новую учетную запись и начнут добавлять спам.
Фильтровать IP-адреса (не рекомендуется)
Фильтрация IP-адресов не будет очень полезной, поскольку боты используют разные IP-адреса.
заключение
Аналитический спам-трафик все еще является проблемой, но здесь могут помочь автоматизированные решения. Они работают хорошо и просты в использовании. Есть также много вариантов.
Google также работает над решением, которое, мы надеемся, решит проблему раз и навсегда. Но сейчас запуска не видно.
Вы нашли новые спам-домены? Отправьте их в черный список сообщества на GitHub. Другие советы и рекомендации приветствуются в комментариях.
Об авторе: Деннис является основателем AdWords Robot, где разрабатываются программное обеспечение для аудита AdWords и инструменты автоматизации AdWords. Напишите о практических приложениях AdWords, аналитике, взлете роста, электронной коммерции и оптимизации конверсии. Он любит кодирование, сквош и фильмы.
