Einer der Gründe, warum KI-basierte Chatbots in den letzten Monaten die Welt im Sturm erobert haben, liegt darin, dass sie Texte für eine Vielzahl von Zwecken generieren oder verfeinern können, sei es für die Erstellung einer Werbekampagne oder das Verfassen eines Lebenslaufs.
Diese Chatbots basieren auf LLM-Algorithmen (Large Language Model), die menschliche Intelligenz nachahmen und Textinhalte sowie Audio, Video, Bilder und Computercode erstellen können. LLMs sind eine Art künstlicher Intelligenz, die auf einer großen Anzahl von Artikeln, Büchern oder internetbasierten Ressourcen und anderen Eingaben trainiert wird, um menschenähnliche Reaktionen auf Eingaben in natürlicher Sprache zu erzeugen.
Immer mehr Technologieunternehmen haben LLM-basierte generative KI-Tools für den kommerziellen Einsatz eingeführt, um Anwendungsaufgaben zu automatisieren. Beispielsweise hat Microsoft letzte Woche einen Chatbot basierend auf ChatGPT von OpenAI für eine begrenzte Anzahl von Benutzern eingeführt; Es ist in Microsoft 365 integriert und kann CRM- und ERP-Anwendungsfunktionen automatisieren.
Beispielsweise kann der neue Microsoft 365 Copilot in Word verwendet werden, um einen ersten Entwurf eines Dokuments zu erstellen, was möglicherweise stundenlanges Schreiben, Suchen und Bearbeiten erspart. Zwangsversteigerung kündigte außerdem Pläne zur Einführung eines GPT-basierten Chatbots an zur Verwendung mit Ihrer CRM-Plattform.
Die meisten LLMs, wie etwa GPT-4 von OpenAI, sind als Content- oder Next-Word-Prediction-Engines vorab trainiert; So nutzen sie die meisten Unternehmen, sozusagen „out of the box“. Und während LLM-basierte Chatbots ihren Teil an Fehlern verursacht haben, funktionieren vorab trainierte LLMs relativ gut darin, genaue und überzeugende Inhalte bereitzustellen, die zumindest als Ausgangspunkt verwendet werden können.
Viele Branchen benötigen jedoch stärker angepasste LLM-Algorithmen, die ihren Fachjargon verstehen und benutzerspezifische Inhalte produzieren. LLMs für die Gesundheitsbranche müssen beispielsweise möglicherweise elektronische Gesundheitsakten (EHR) verarbeiten und interpretieren, Behandlungen vorschlagen oder eine Zusammenfassung der Gesundheitsversorgung von Patienten auf der Grundlage medizinischer Notizen oder Sprachaufzeichnungen erstellen. Ein LLM, der auf die Finanzdienstleistungsbranche abgestimmt ist, kann Gewinngespräche zusammenfassen, Besprechungsprotokolle erstellen und Betrugsanalysen durchführen, um Verbraucher zu schützen.
In vielen Branchen kann es von größter Bedeutung sein, ein hohes Maß an Reaktionsgenauigkeit sicherzustellen.
Auf die meisten LLMs kann über eine Anwendungsprogrammierschnittstelle (API) zugegriffen werden, die es dem Benutzer ermöglicht, Parameter zu erstellen oder die Reaktion des LLM anzupassen. Eine an einen Chatbot gesendete Frage oder Anfrage wird aufgerufen ein Symbol, in dem der Benutzer eine Antwort anfordert. Eingabeaufforderungen können Fragen in natürlicher Sprache, Codeausschnitte oder Befehle sein. Damit das LMM seine Aufgabe jedoch korrekt ausführen kann, müssen die Eingabeaufforderungen präzise sein.
Und aus diesem Bedürfnis ist eine neue Fähigkeit entstanden: Rapid Engineering.
Schnelles Engineering erklärt
Unter Prompt Engineering versteht man den Prozess der Entwicklung und Optimierung von Texteingabeaufforderungen für große Sprachmodelle, um die gewünschten Ergebnisse zu erzielen. „[It] „hilft LLMs bei der schnellen Iteration bei der Produktexploration und beim Prototyping, indem das LLM schnell und einfach so angepasst wird, dass es sich besser an die Aufgabendefinition anpasst“, sagte Marshall Choy, Senior Vice President of Products bei SambaNova-Systemeein Startup aus dem Silicon Valley, das Halbleiter für künstliche Intelligenz (KI) herstellt.
Laut Eno Reyes, einem Machine-Learning-Ingenieur bei Hugging Face, einer Community-gesteuerten Plattform, die LLM erstellt und hostet, ist Rapid Engineering für Benutzer vielleicht genauso wichtig, aber es ist auf dem besten Weg, eine wichtige Fähigkeit für Geschäfts- und IT-Experten zu werden.
„„Viele Leute, die ich aus der Software-, IT- und Beratungsbranche kenne, nutzen Rapid Engineering ständig für ihre persönliche Arbeit“, sagte Reyes in einer E-Mail-Antwort an . „Da LLMs zunehmend in verschiedene Branchen integriert werden, ist ihr Potenzial zur Produktivitätssteigerung immens.“
Durch den effektiven Einsatz von Rapid Engineering können Geschäftsanwender LLMs optimieren, um ihre spezifischen Aufgaben effizienter und genauer auszuführen, vom Kundenservice über die Inhaltserstellung bis hin zur Datenanalyse, sagte Reyes.
Das derzeit bekannteste LLM, GPT-3 von OpenAI, ist die Basis für den beliebten ChatGPT-Chatbot. Das GPT-3 LLM arbeitet mit einem 175 Milliarden Parametermodell, das mit kurzen schriftlichen Eingabeaufforderungen Text und Computercode generieren kann. Die neueste Version von OpenAI, GPT-4, verfügt schätzungsweise über bis zu 280 Milliarden Parameter, was die Wahrscheinlichkeit erhöht, genaue Antworten zu liefern.
Neben GPT LLM von OpenAI umfassen beliebte generative KI-Plattformen offene Modelle wie BLOOM des umarmenden Gesichts Und XLM-RoBERTa, Nvidia NeMO LLM, XLNet, Haften Und GLM-130B.
Da Rapid Engineering eine junge und aufstrebende Disziplin ist, verlassen sich Unternehmen auf Broschüren und Kurzanleitungen, um optimale Reaktionen ihrer KI-Anwendungen sicherzustellen. Es entstehen sogar Märkte für Anzeigen, wie z Die 100 besten ChatGPT-Eingabeaufforderungen.
„Die Leute verkaufen sogar schnelle Vorschläge“, sagte Arun Chandrasekaran, ein angesehener Vice President Analyst bei Gartner Research, und fügte hinzu, dass die jüngste Flut an Aufmerksamkeit für generative KI die Notwendigkeit einer besseren schnellen Entwicklung deutlich gemacht habe.
„Es ist eine relativ neue Domäne“, sagte er. „Generative KI-Anwendungen stützen sich oft auf riesige selbstüberwachte KI-Modelle und daher sind mehr Wissen, Tests und zusätzlicher Aufwand erforderlich, um optimale Antworten daraus zu erhalten. „Ich bin zuversichtlich, dass wir mit zunehmender Reife bessere Anleitungen und Best Practices von KI-Modellbauern zu effektiven Möglichkeiten erhalten werden, das Beste aus KI-Modellen und -Anwendungen herauszuholen.“
Ein guter Einstieg bedeutet einen guten Ausstieg
Die maschinelle Lernkomponente von LLM lernt automatisch aus Eingabedaten. Zusätzlich zu den Daten, die ursprünglich zur Erstellung eines LLM wie GPT-4 verwendet wurden, hat OpenAI etwas namens „ Verstärkungslernen. Menschliches FeedbackDabei trainiert ein Mensch das Modell darin, menschenähnliche Antworten zu geben.
Beispielsweise stellt ein Benutzer dem LLM eine Frage und gibt dann die ideale Antwort ein. Der Benutzer stellt dem Modell dann erneut dieselbe Frage und das Modell bietet viele weitere unterschiedliche Antworten. Wenn es sich um eine faktenbasierte Frage handelt, besteht die Hoffnung, dass die Antwort dieselbe bleibt; Handelt es sich um eine offene Frage, besteht das Ziel darin, mehrere kreative, menschenähnliche Antworten hervorzubringen.
Wenn ein Benutzer beispielsweise ChatGPT bittet, ein Gedicht über eine Person zu erstellen, die an einem Strand in Hawaii sitzt, wird erwartet, dass jedes Mal ein anderes Gedicht generiert wird. „Was die menschlichen Trainer also tun, ist, die Antworten vom besten zum schlechtesten zu bewerten“, sagte Chandrasekaran. „Das ist ein Input für das Modell, um sicherzustellen, dass es eine bessere oder menschlichere Reaktion gibt, während gleichzeitig versucht wird, die schlechtesten Reaktionen zu minimieren. Aber wie formulieren Sie die Fragen? [has] einen großen Einfluss auf das Ergebnis, das man mit einem Modell erhält.“
Organisationen können ein GPT-Modell trainieren, indem sie unternehmensinterne benutzerdefinierte Datensätze aufnehmen. Sie können beispielsweise Unternehmensdaten nehmen, diese kennzeichnen und mit Anmerkungen versehen, um ihre Qualität zu erhöhen, und sie dann in das GPT-4-Modell aufnehmen. Dadurch wird das Modell so angepasst, dass es spezifische Fragen für diese Organisation beantworten kann.
Die Feinabstimmung kann auch branchenspezifisch erfolgen. Es entsteht bereits eine Heimindustrie von Start-ups, die GPT-4 nutzen und eine Fülle von Informationen aufnehmen, die speziell für vertikale Branchen wie Finanzdienstleistungen gelten.
„Sie können Informationen von Lexus-Nexus und Bloomberg aufnehmen, sie können Informationen von der SEC wie 8K- und 10K-Berichte aufnehmen.“ Aber der Punkt ist, dass das Modell eine Menge Sprache oder Informationen lernt, die sehr spezifisch für diesen Bereich sind“, sagte Chandrasekaran. „Eine Feinabstimmung kann also auf Branchenebene oder auf Organisationsebene erfolgen.“
Zum Beispiel, Harvey ist ein Startup, das mit OpenAI zusammengearbeitet hat, um einen sogenannten „Copiloten für Anwälte“ oder eine Version von ChatGPT für Juristen zu entwickeln. Anwälte können den benutzerdefinierten ChatGPT-Chatbot verwenden, um rechtliche Präzedenzfälle für bestimmte Richter zu ermitteln und sich auf ihren nächsten Fall vorzubereiten, sagte Chandrasekaran.
„Ich sehe den Wert von Verkaufsanweisungen nicht so sehr in der Sprache, sondern in Bildern“, sagte Chandrasekaran. „Es gibt alle Arten von Modellen im Bereich der generativen KI, einschließlich Text-zu-Bild-Modellen.“
Beispielsweise kann ein Benutzer ein generatives KI-Modell bitten, ein Bild eines Gitarristen zu erstellen, der den Mond spielt. „Ich denke, dass der Text-zu-Bild-Bereich in schnellen Märkten mehr Gewicht hat“, sagte Chandrasekaran.
Hugging Face als umfassendes Zentrum für LLM
Während Hugging Face einige seiner eigenen LLMs erstellt, darunter BLOOM, besteht die Hauptfunktion der Organisation darin, eine Drehscheibe für maschinelle Lernmodelle von Drittanbietern zu sein, wie es GitHub für Code tut; Hugging Face beherbergt derzeit über 100.000 Modelle für maschinelles Lernen, darunter eine Vielzahl von LLMs von Startups und großen Technologieunternehmen.
Da es sich bei neuen Modellen um Open-Source-Modelle handelt, sind sie im Allgemeinen zentral verfügbar und bieten so eine zentrale Anlaufstelle für neue Open-Source-LLMs.
Um ein LLM für ein bestimmtes Unternehmen oder eine bestimmte Branche mithilfe von Hugging Face zu optimieren, können Benutzer die Vorteile der Organisation nutzen.Transformer„„Datensatz“-APIs und -Bibliotheken. Im Finanzdienstleistungsbereich könnte ein Benutzer beispielsweise ein vorab trainiertes LLM importieren, z Flan-UL2Laden Sie einen Datensatz mit Finanznachrichtenartikeln und optimieren Sie das Modell mit dem „Transformers“-Trainer, um Zusammenfassungen dieser Artikel zu erstellen. Integrationen mit AWS, DeepspeedUnd Beschleunigen Sie die Schulung weiter zu rationalisieren und zu optimieren.
Laut Reyes kann der gesamte Prozess in weniger als 100 Codezeilen durchgeführt werden.
Eine weitere Möglichkeit, mit Rapid Engineering zu beginnen, ist die Hugging Face Inference API; ist laut Reyes ein einfacher HTTP-Anfrageendpunkt, der mehr als 80.000 Transformer-Modelle unterstützt. „Mit dieser API können Benutzer Textnachrichten senden und Antworten von Open-Source-Modellen auf unserer Plattform, einschließlich LLMs, erhalten“, sagte Reyes. „Wenn Sie es noch einfacher machen möchten, können Sie Text ohne Code senden, indem Sie das Inferenz-Widget in den LLM-Modellen verwenden Umarmender Gesichtswürfel.“
Wenig-Schuss- und No-Schuss-Lernen
Schnelles LLM-Engineering nimmt im Allgemeinen eine von zwei Formen an: Lernen oder Training mit wenigen und ohne Schüssen.
Beim Zero-Shot-Lernen wird eine einfache Anweisung eingegeben, beispielsweise eine Eingabeaufforderung, die eine erwartete Antwort vom LLM hervorruft. Es soll einem LLM beibringen, neue Aufgaben auszuführen, ohne für diese spezifischen Aufgaben gekennzeichnete Daten zu verwenden. Stellen Sie sich Zero Shot als verstärkendes Lernen vor.
Im Gegensatz dazu verwendet das Wenig-Schuss-Lernen eine kleine Menge an Informationen oder Beispieldaten, um das LLM für die gewünschten Antworten zu trainieren. Wenige Schüsse lernen Es besteht aus drei Hauptkomponenten:
- Aufgabenbeschreibung: Eine kurze Beschreibung dessen, was das Modell tun soll, zum Beispiel „Englisch ins Französische übersetzen“
- Beispiele: Einige Beispiele, die dem Modell zeigen, was es tun soll, zum Beispiel „Seeotter => Loutre de Mer“
- Sofort: Der Anfang eines neuen Beispiels, den das Modell durch Generieren des fehlenden Textes vervollständigen muss, z. B. „cheese =>“
Tatsächlich gibt es heute nur wenige Organisationen mit maßgeschneiderten Schulungsmodellen, die ihren Bedürfnissen entsprechen, da sich die meisten Modelle laut Chandrasekaran von Gartner noch in einem frühen Entwicklungsstadium befinden. Und während Low-Shot- und No-Shot-Lernen hilfreich sein kann, ist das Erlernen von Rapid Engineering als Fertigkeit sowohl für IT- als auch für Geschäftsanwender wichtig.
„Prompt-Engineering ist heutzutage eine wichtige Fähigkeit, da Grundlagenmodelle gut für Low-Shot- und Zero-Shot-Lernen geeignet sind, aber ihre Leistung wird in vielerlei Hinsicht von der Art und Weise beeinflusst, wie wir die Prompts aufbauen. Notizen methodisch“, sagte Chandrasekaran. „Je nach Anwendungsfall und Domäne werden diese Fähigkeiten sowohl für IT- als auch für Geschäftsanwender wichtig sein.“
Die meisten APIs ermöglichen es Benutzern, ihre eigenen Rapid-Engineering-Techniken anzuwenden. Jedes Mal, wenn ein Benutzer eine SMS an ein LLM sendet, besteht laut Reyes die Möglichkeit, die Eingabeaufforderungen zu verfeinern, um bestimmte Ergebnisse zu erzielen.
„Diese Flexibilität öffnet jedoch auch die Tür für böswillige Anwendungsfälle, wie zum Beispiel schnelle Injektion“, sagte Reyes. „Fälle wie [Microsoft’s] Bing Sydney hat gezeigt, wie Menschen Rapid Engineering für unbeabsichtigte Zwecke nutzen können. „Da es sich um ein wachsendes Forschungsgebiet handelt, wird es für die Zukunft von entscheidender Bedeutung sein, sich sowohl mit der schnellen Einschleusung in böswilligen Anwendungsfällen als auch mit dem ‚Red Teaming‘ für Penetrationstests auseinanderzusetzen, um den verantwortungsvollen und sicheren Einsatz von LLMs in verschiedenen Anwendungen sicherzustellen.“
