Как автоматически создавать качественные заголовки и метаописания

В эти сложные времена как никогда важно выполнять более эффективную работу за меньшее время и с меньшими ресурсами.

Скучной и медленной SEO-задачей, которой часто пренебрегают, является написание убедительных заголовков и метаописаний в масштабе.

В частности, когда на сайте тысячи или миллионы страниц.

Трудно заставить себя, когда вы не знаете, будет ли награда того стоить.

В этой колонке вы узнаете, как использовать последние достижения в области понимания и генерации естественного языка для автоматического создания качественных заголовков и метаописаний.

Мы получим доступ к этой захватывающей производственной мощности с помощью Google Sheets. Мы научимся реализовывать функциональность с минимальным кодом Python и JavaScript.

Вот наш технический план:

• Мы внедрим и оценим несколько последних моделей текстовых сводок следующего поколения в Google Colab
• Мы будем обслуживать одну из моделей из функции Google Cloud, которую можно легко вызвать из Apps Script и Google Sheets.
• Мы будем соскребать содержимое страницы непосредственно с Google Sheets и обобщать его с помощью нашей пользовательской функции.
• Мы будем реализовывать наши сгенерированные заголовки и метаописания в качестве экспериментов в Cloudflare с использованием RankSense
• Мы создадим еще одну функцию Google Cloud для активации автоматической индексации в Bing.

Представляем обнимающие лица трансформеры

Hugging Face Transformers – популярная библиотека среди исследователей и специалистов по искусственному интеллекту.

Предоставляет унифицированный и простой в использовании интерфейс для последних исследований естественного языка.

Не имеет значения, было ли исследование написано с использованием Tensorflow (фреймворк глубокого обучения Google) или Pytorch (фреймворк Facebook). Оба являются наиболее широко принятыми.

Хотя библиотека преобразователя предлагает более простой код, она не так проста для конечных пользователей, как Людвиг (я рассматривал Людвига в предыдущих статьях глубокого изучения).

Это недавно изменилось с введением трансформаторных труб.

Конвейеры инкапсулируют многие распространенные случаи использования обработки естественного языка с использованием минимального кода.

Они также обеспечивают большую гибкость в использовании базовой модели.

Мы будем оценивать различные современные текстовые варианты с использованием трансформаторных труб.

Мы заимствуем некоторый код из примеров в этом блокноте.

FacebookBART

Объявляя БАРТ, Facebook Исследователь Майк Льюис поделился некоторыми действительно впечатляющими абстрактными резюме своей статьи.

Я обнаружил, что результаты резюме удивительно хороши: кажется, что BART может комбинировать информацию из всего документа с предшествующими знаниями для создания очень абстрактных резюме. Некоторые типичные примеры ниже: pic.twitter.com/EENDPgTqrl

– Майк Льюис (@ml_perception) 31 октября 2019 г.

Теперь давайте посмотрим, как легко воспроизвести результаты вашей работы с использованием трансформаторной трубы.

Сначала давайте установим библиотеку в новый блокнот Google Colab.

Обязательно выберите время выполнения графического процессора.

!pip install transformers

Далее давайте добавим этот конвейерный код.

from transformers import pipeline

# use bart in pytorch
bart_summarizer = pipeline("summarization")

Это образец текста, который мы будем обобщать.

TEXT_TO_SUMMARIZE = """ 
New York (CNN)When Liana Barrientos was 23 years old, she got married in Westchester County, New York. 
A year later, she got married again in Westchester County, but to a different man and without divorcing her first husband. 
Only 18 days after that marriage, she got hitched yet again. Then, Barrientos declared "I do" five more times, sometimes only within two weeks of each other. 
In 2010, she married once more, this time in the Bronx. In an application for a marriage license, she stated it was her "first and only" marriage. 
Barrientos, now 39, is facing two criminal counts of "offering a false instrument for filing in the first degree," referring to her false statements on the 
2010 marriage license application, according to court documents. 
Prosecutors said the marriages were part of an immigration scam. 
On Friday, she pleaded not guilty at State Supreme Court in the Bronx, according to her attorney, Christopher Wright, who declined to comment further. 
After leaving court, Barrientos was arrested and charged with theft of service and criminal trespass for allegedly sneaking into the New York subway through an emergency exit, said Detective 
Annette Markowski, a police spokeswoman. In total, Barrientos has been married 10 times, with nine of her marriages occurring between 1999 and 2002. 
All occurred either in Westchester County, Long Island, New Jersey or the Bronx. She is believed to still be married to four men, and at one time, she was married to eight men at once, prosecutors say. 
Prosecutors said the immigration scam involved some of her husbands, who filed for permanent residence status shortly after the marriages. 
Any divorces happened only after such filings were approved. It was unclear whether any of the men will be prosecuted. 
The case was referred to the Bronx District Attorney's Office by Immigration and Customs Enforcement and the Department of Homeland Security's 
Investigation Division. Seven of the men are from so-called "red-flagged" countries, including Egypt, Turkey, Georgia, Pakistan and Mali. 
Her eighth husband, Rashid Rajput, was deported in 2006 to his native Pakistan after an investigation by the Joint Terrorism Task Force. 
If convicted, Barrientos faces up to four years in prison. Her next court appearance is scheduled for May 18.
"""

Вот сводный код и итоговая сводка:

summary = bart_summarizer(TEXT_TO_SUMMARIZE, min_length=50, max_length=250)

print(summary) #Output: ({'summary_text': 'Liana Barrientos has been married 10 times, sometimes within two weeks of each other. Prosecutors say the marriages were part of an immigration scam. She is believed to still be married to four men, and at one time, she was married to eight at once.'})

Я указал, что сгенерированное резюме должно быть не менее 50 символов и не более 250.

Это очень полезно для контроля типа генерации: заголовки или метаописания.

Теперь посмотрим на качество сгенерированного дайджеста, и мы написали всего несколько строк кода Python.

Супер круто!

'Liana Barrientos has been married 10 times, sometimes within two weeks of each other. Prosecutors say the marriages were part of an immigration scam. She is believed to still be married to four men, and at one time, she was married to eight at once.'

print(len(summary(0)("summary_text")))
#Output: 249

Google T5

Другой передовой моделью является Трансформатор преобразования текста в текст, или T5.

Впечатляющим достижением модели является то, что ее производительность приблизилась к базовому уровню человеческого уровня в таблице лидеров SuperGLUE.

Языковая модель Google T5 (Text-to-Text Transfer Transformer) установила новый рекорд и очень близка людям в Benchmark SuperGLUE.https: //t.co/kBOqWxFmEK

Документ: https://t.co/mI6BqAgj0e
Код: https://t.co/01qZWrxbqS pic.twitter.com/8SRJmoiaw6

– тун (@yoquankara) 25 октября 2019 г.

Это замечательно, потому что задачи НЛП в SuperGLUE разработаны, чтобы быть легкими для людей, но трудными для машин.

Google недавно выпустила краткий обзор со всеми деталями модели для людей, менее склонных узнавать об этом в исследовательской работе.

Их основная идея состояла в том, чтобы протестировать все популярные идеи НЛП на новом массиве обучающих данных, который они называют C4 (Colossal Clean Crawled Corpus).

Я знаю, что исследователи ИИ любят весело называть свои изобретения.

Давайте обобщим тот же текст, используя другой канал преобразования, но на этот раз используя T5 в качестве базовой модели.

t5_summarizer = pipeline("summarization", model="t5-base", tokenizer="t5-base")

summary = t5_summarizer(TEXT_TO_SUMMARIZE, min_length=50, max_length=250)

Вот краткий текст.

({'summary_text': 'in total, barrientos has been married 10 times, with nine of her marriages occurring between 1999 and 2002 . she is believed to still be married to four men, and at one time, she was married to eight men at once .'})

Это резюме также очень высокого качества.

Но я решил протестировать более крупную модель T5, которая также доступна в виде трубы, чтобы увидеть, может ли качество улучшиться.

t5_summarizer_larger = pipeline("summarization", model="t5-large", tokenizer="t5-large")

Я не был разочарован вообще.

Действительно потрясающее резюме!

({'summary_text': 'Liana barrientos has been married 10 times . nine of her marriages occurred between 1999 and 2002 . she is believed to still be married to four men, and at one time, she was married to eight men at once .'})

Введение в облачные функции

Теперь, когда у нас есть код, который может эффективно суммировать содержимое страницы, нам нужен простой способ представить его как API.

В моей предыдущей статье я использовал Людвига для этого, но поскольку мы здесь не используем Людвига, мы собираемся использовать другой подход: облачные функции.

Облачные функции и эквивалентные «серверные» технологии, возможно, являются самым простым способом получения серверного кода для производственного использования.

Они называются безсерверными, потому что вам не нужно выделять веб-серверы или виртуальные машины у хостинг-провайдеров.

Как мы увидим, они значительно упрощают процесс внедрения.

Развертывание функции Hello World Cloud

Нам не нужно выходить из Google Colab, чтобы реализовать нашу первую функцию тестирования в облаке.

Сначала войдите в свою учетную запись Google Compute.

!gcloud auth login --no-launch-browser

Затем настройте проект по умолчанию.

!gcloud config set project project-name

Далее мы запишем нашу тестовую функцию в файл с именем %% writefile main.py, чтобы создать файл Python, который вы можете использовать для реализации функции.

Когда я просмотрел журналы, чтобы выяснить, почему не удавались вызовы API, я увидел, что требование к памяти было большой проблемой.

Но, к счастью, с помощью этой команды вы можете легко переопределить ограничение по умолчанию в 250 МБ и время ожидания выполнения.

!gcloud functions deploy ner_get --memory 2GiB --timeout 540 --runtime python37 --trigger-http --allow-unauthenticated

В основном, я указываю максимальное время выполнения памяти 2 ГБ и 9 минут, чтобы разрешить начальную загрузку модели, которая может быть гигабайтами передачи.

Один прием, который я использую для ускорения последующих вызовов той же облачной функции, заключается в кэшировании загруженной модели в памяти с использованием глобальной переменной и проверке ее существования перед повторным созданием конвейера.

После тестирования функций BART и T5 была установлена ​​небольшая модель T5, которая хорошо соответствует требованиям к облачным функциям и времени ожидания для облачных функций.

Вот код для этой функции.

%%writefile main.py

from transformers import pipeline

nlp_t5 = None

def t5_get(request):

  global nlp_t5

  #run once
  if nlp_t5 is None:
    nlp_t5 = pipeline('summarization', model="t5-small", tokenizer="t5-small")

  TEXT_TO_SUMMARIZE = """ 
  New York (CNN)When Liana Barrientos was 23 years old, she got married in Westchester County, New York... 
  """


  result = nlp_t5(TEXT_TO_SUMMARIZE)

  return result(0)("summary_text")

И вот код для его реализации.

!gcloud functions deploy t5_get --memory 2GiB --timeout 540 --runtime python37 --trigger-http --allow-unauthenticated

Одна проблема с этой функцией заключается в том, что текст для суммирования закодирован.

Но мы можем легко исправить это с помощью следующих изменений.

%%writefile main.py

from transformers import pipeline

nlp_t5 = None

def t5_post(request):

  global nlp_t5

  #run once

  if nlp_t5 is None:

    #small model to avoid memory issue

    nlp_t5 = pipeline('summarization', model="t5-small", tokenizer="t5-small")

  #Get text to summarize from POST request

  content_type = request.headers('content-type')

  if content_type == 'application/x-www-form-urlencoded':




      text = request.form.get('text')

      result = nlp_t5(text)

      return result(0)("summary_text")

  else:

      raise ValueError("Unknown content type: {}".format(content_type))

  return "Failure"

Я просто проверяю, что тип содержимого имеет кодировку url, и я читаю файл параметров main.py и использую команду развертывания, как и раньше.

Проверьте наши фрагменты, созданные в Cloudflare

Наконец, если ваш сайт использует Cloudflare CDN, вы можете использовать приложение RankSense для запуска этих изменений в качестве эксперимента перед их внедрением на сайте.

Просто скопируйте столбцы URL и текстовой сводки на новый лист Google и импортируйте его в инструмент.

При публикации эксперимента вы можете запланировать изменение и указать URL-адрес веб-крючка.

URL-адрес webhook позволяет приложениям и службам взаимодействовать друг с другом в автоматизированных рабочих процессах.

Скопируйте и вставьте URL функции облачного индексирования Bing. RankSense автоматически позвонит вам через 15 минут после того, как изменения будут переданы в Cloudflare.

Ресурсы, чтобы узнать больше

Вот ссылки на некоторые ресурсы, которые были действительно полезны во время исследования этой части.

Все скриншоты, сделанные автором, апрель 2020