En av anledningarna till att AI-baserade chatbots har tagit v\u00e4rlden med storm de senaste m\u00e5naderna \u00e4r f\u00f6r att de kan generera eller f\u00f6rfina text f\u00f6r en m\u00e4ngd olika \u00e4ndam\u00e5l, oavsett om det \u00e4r att skapa en reklamkampanj eller att skriva ett CV.<\/p>\n
Dessa chatbots drivs av algoritmer f\u00f6r stora spr\u00e5kmodeller (LLM), som kan efterlikna m\u00e4nsklig intelligens och skapa textinneh\u00e5ll s\u00e5v\u00e4l som ljud, video, bilder och datorkod. LLM \u00e4r en typ av artificiell intelligens som tr\u00e4nas p\u00e5 ett stort antal artiklar, b\u00f6cker eller internetbaserade resurser och andra indata f\u00f6r att producera m\u00e4nskliga svar p\u00e5 naturliga spr\u00e5king\u00e5ngar.<\/p>\n
Ett v\u00e4xande antal teknikf\u00f6retag har introducerat LLM-baserade generativa AI-verktyg f\u00f6r kommersiellt bruk f\u00f6r att automatisera applikationsuppgifter. Till exempel lanserade Microsoft f\u00f6rra veckan en chatbot baserad p\u00e5 OpenAI:s ChatGPT till ett begr\u00e4nsat antal anv\u00e4ndare; Den \u00e4r integrerad i Microsoft 365 och kan automatisera CRM- och ERP-applikationsfunktioner.<\/p>\n Till exempel kan den nya Microsoft 365 Copilot anv\u00e4ndas i Word f\u00f6r att skapa ett f\u00f6rsta utkast till ett dokument, vilket kan spara timmar av skrivande, s\u00f6kning och redigering. S\u00e4ljstyrka meddelade ocks\u00e5 planer p\u00e5 att lansera en GPT-baserad chatbot<\/a> f\u00f6r anv\u00e4ndning med din CRM-plattform.<\/p>\n De flesta l\u00e4rjungar, som OpenAI:s GPT-4, \u00e4r f\u00f6rutbildade som f\u00f6ruts\u00e4gelsemotorer f\u00f6r inneh\u00e5ll eller n\u00e4sta ord; det \u00e4r s\u00e5 de flesta f\u00f6retag anv\u00e4nder dem, “out of the box” s\u00e5 att s\u00e4ga. Och medan LLM-baserade chatbots har producerat sin andel av fel, fungerar f\u00f6rutbildade LLM:er relativt bra p\u00e5 att tillhandah\u00e5lla korrekt och \u00f6vertygande inneh\u00e5ll som \u00e5tminstone kan anv\u00e4ndas som utg\u00e5ngspunkt.<\/p>\n M\u00e5nga industrier kr\u00e4ver dock mer anpassade LLM-algoritmer, de som f\u00f6rst\u00e5r deras jargong och producerar inneh\u00e5ll specifikt f\u00f6r deras anv\u00e4ndare. LLM:er f\u00f6r h\u00e4lso- och sjukv\u00e5rdsindustrin kan till exempel beh\u00f6va bearbeta och tolka elektroniska journaler (EPJ), f\u00f6resl\u00e5 behandlingar eller skapa en sammanfattning av patientv\u00e5rd baserat p\u00e5 medicinska anteckningar eller r\u00f6stinspelningar. En LLM anpassad till finansbranschen kan sammanfatta inkomstsamtal, skapa m\u00f6tesutskrifter och utf\u00f6ra bedr\u00e4gerianalyser f\u00f6r att skydda konsumenterna.<\/p>\n I flera branscher kan det vara avg\u00f6rande att s\u00e4kerst\u00e4lla en h\u00f6g grad av svarsnoggrannhet.<\/p>\n De flesta LLM:er kan n\u00e5s via ett applikationsprogrammeringsgr\u00e4nssnitt (API) som l\u00e5ter anv\u00e4ndaren skapa parametrar eller justeringar av hur LLM svarar. En fr\u00e5ga eller f\u00f6rfr\u00e5gan som skickas till en chatbot anropas en symbol<\/a>, d\u00e4r anv\u00e4ndaren beg\u00e4r ett svar. Uppmaningar kan vara naturliga spr\u00e5kfr\u00e5gor, kodavsnitt eller kommandon, men f\u00f6r att LMM ska kunna g\u00f6ra sitt jobb korrekt m\u00e5ste uppmaningarna vara exakta.<\/p>\n Och det behovet har gett upphov till en ny f\u00e4rdighet: snabb ingenj\u00f6rskonst.<\/p>\n Snabbteknik \u00e4r processen att utveckla och optimera textuppmaningar f\u00f6r stora spr\u00e5kmodeller f\u00f6r att uppn\u00e5 \u00f6nskade resultat. “[It] “hj\u00e4lper LLM:er f\u00f6r snabb iteration i produktutforskning och prototyper genom att skr\u00e4ddarsy LLM f\u00f6r att b\u00e4ttre anpassa sig till uppgiftsdefinitionen snabbt och enkelt”, s\u00e4ger Marshall Choy, senior vice president of products at SambaNova System<\/a>en Silicon Valley-startup som tillverkar halvledare f\u00f6r artificiell intelligens (AI).<\/p>\n Kanske lika viktigt f\u00f6r anv\u00e4ndarna, snabb ingenj\u00f6rskonst \u00e4r redo att bli en viktig f\u00e4rdighet f\u00f6r aff\u00e4rs- och IT-proffs, enligt Eno Reyes, en maskininl\u00e4rningsingenj\u00f6r med Hugging Face, en gemenskapsdriven plattform som skapar och \u00e4r v\u00e4rd f\u00f6r LLM.<\/p>\n “<\/strong>M\u00e5nga m\u00e4nniskor jag k\u00e4nner inom mjukvara, IT och konsulttj\u00e4nster anv\u00e4nder snabb teknik hela tiden f\u00f6r sitt personliga arbete\u201d, sa Reyes i ett e-postsvar till . “N\u00e4r LLM blir alltmer integrerad i olika branscher \u00e4r deras potential att f\u00f6rb\u00e4ttra produktiviteten enorm.”<\/p>\n Genom att effektivt anv\u00e4nda snabb konstruktion kan f\u00f6retagsanv\u00e4ndare optimera LLM:er f\u00f6r att utf\u00f6ra sina specifika uppgifter mer effektivt och exakt, allt fr\u00e5n kundtj\u00e4nst till inneh\u00e5llsgenerering till dataanalys, sa Reyes.<\/p>\n Den mest k\u00e4nda LLM f\u00f6r tillf\u00e4llet, OpenAI:s GPT-3, \u00e4r grunden f\u00f6r den popul\u00e4ra ChatGPT chatboten. GPT-3 LLM arbetar p\u00e5 en 175 miljarder parametermodell som kan generera text och datorkod med korta skriftliga uppmaningar. Den senaste versionen av OpenAI, GPT-4, ber\u00e4knas ha upp till 280 miljarder parametrar, vilket g\u00f6r det mycket mer sannolikt att ge korrekta svar.<\/p>\n Tillsammans med OpenAI:s GPT LLM inkluderar popul\u00e4ra generativa AI-plattformar \u00f6ppna modeller som t.ex BLOOM av det kramande ansiktet<\/a> och XLM-RoBERTa<\/a>, Nvidia NeMO LLM<\/a>, XLNet<\/a>, ansluta sig<\/a> och GLM-130B<\/a>.<\/p>\n Eftersom snabb ingenj\u00f6rskonst \u00e4r en begynnande och framv\u00e4xande disciplin, litar f\u00f6retag p\u00e5 broschyrer och snabbguider som ett s\u00e4tt att s\u00e4kerst\u00e4lla optimala svar fr\u00e5n sina AI-applikationer. Marknader f\u00f6r annonser v\u00e4xer till och med fram, som t.ex Topp 100 ChatGPT-uppmaningar<\/a>.<\/p>\n “M\u00e4nniskor s\u00e4ljer till och med snabba f\u00f6rslag”, s\u00e4ger Arun Chandrasekaran, en framst\u00e5ende vicepresident-analytiker p\u00e5 Gartner Research, och tillade att den senaste tidens \u00f6versv\u00e4mning av uppm\u00e4rksamhet kring generativ AI har belyst behovet av b\u00e4ttre snabbteknik.<\/p>\n “Det \u00e4r en relativt ny dom\u00e4n,” sa han. “Generativa AI-applikationer f\u00f6rlitar sig ofta p\u00e5 gigantiska sj\u00e4lv\u00f6vervakade AI-modeller och d\u00e4rf\u00f6r kr\u00e4vs mer kunskap, testning och ytterligare anstr\u00e4ngning f\u00f6r att f\u00e5 optimala svar fr\u00e5n dem. “Jag \u00e4r \u00f6vertygad om att med \u00f6kande mognad kan vi se b\u00e4ttre v\u00e4gledning och b\u00e4sta praxis fr\u00e5n AI-modellbyggare om effektiva s\u00e4tt att f\u00e5 ut det mesta av AI-modeller och applikationer.”<\/p>\n Maskininl\u00e4rningskomponenten i LLM l\u00e4r sig automatiskt fr\u00e5n indata. Ut\u00f6ver de data som ursprungligen anv\u00e4ndes f\u00f6r att skapa en LLM, som GPT-4, skapade OpenAI n\u00e5got som heter F\u00f6rst\u00e4rkningsinl\u00e4rning M\u00e4nsklig feedback<\/a>d\u00e4r en m\u00e4nniska tr\u00e4nar modellen f\u00f6r hur man ger m\u00e4nniskoliknande svar.<\/p>\n Till exempel kommer en anv\u00e4ndare att st\u00e4lla en fr\u00e5ga till LLM och sedan skriva det ideala svaret. Anv\u00e4ndaren kommer sedan att st\u00e4lla samma fr\u00e5ga till modellen igen, och modellen kommer att erbjuda m\u00e5nga andra olika svar. Om detta \u00e4r en faktabaserad fr\u00e5ga \u00e4r f\u00f6rhoppningen att svaret f\u00f6rblir detsamma; om det \u00e4r en \u00f6ppen fr\u00e5ga \u00e4r m\u00e5let att producera flera kreativa m\u00e4nskliga svar.<\/p>\n Till exempel, om en anv\u00e4ndare ber ChatGPT att generera en dikt om en person som sitter p\u00e5 en strand p\u00e5 Hawaii, f\u00f6rv\u00e4ntas den generera en annan dikt varje g\u00e5ng. “S\u00e5 vad de m\u00e4nskliga tr\u00e4narna g\u00f6r \u00e4r att de betygs\u00e4tter svaren fr\u00e5n b\u00e4st till s\u00e4mst,” sa Chandrasekaran. “Det \u00e4r en input till modellen f\u00f6r att se till att den ger ett b\u00e4ttre eller mer m\u00e4nskligt svar, samtidigt som man f\u00f6rs\u00f6ker minimera de s\u00e4msta svaren. Men hur ramar man in fr\u00e5gorna? [has] ett stort inflytande p\u00e5 resultatet du f\u00e5r av en modell.\u201d<\/p>\n Organisationer kan tr\u00e4na en GPT-modell genom att mata in anpassade datam\u00e4ngder som \u00e4r interna f\u00f6r det f\u00f6retaget. Till exempel kan de ta f\u00f6retagsdata och etikett och annotera det f\u00f6r att \u00f6ka dess kvalitet och sedan mata in det i GPT-4-modellen. Det justerar modellen s\u00e5 att den kan svara p\u00e5 fr\u00e5gor som \u00e4r specifika f\u00f6r den organisationen.<\/p>\n Finjustering kan ocks\u00e5 vara branschspecifik. Det finns redan en stugindustri som v\u00e4xer fram av startups som tar GPT-4 och f\u00e5r i sig en m\u00e4ngd information som \u00e4r specifik f\u00f6r vertikala branscher, s\u00e5som finansiella tj\u00e4nster.<\/p>\n “De kan f\u00e5 in information fr\u00e5n Lexus-Nexus och Bloomberg, de kan f\u00e5 in information fr\u00e5n SEC som 8K- och 10K-rapporter. Men po\u00e4ngen \u00e4r att modellen l\u00e4r sig mycket spr\u00e5k eller information som \u00e4r mycket specifik f\u00f6r den dom\u00e4nen, s\u00e4ger Chandrasekaran. “S\u00e5 finjusteringar kan ske p\u00e5 branschniv\u00e5 eller p\u00e5 organisationsniv\u00e5.”<\/p>\n Till exempel, Harvey<\/a> \u00e4r en startup som samarbetade med OpenAI f\u00f6r att skapa vad den kallar en “copilot f\u00f6r advokater” eller en version av ChatGPT f\u00f6r jurister. Advokater kan anv\u00e4nda den anpassade ChatGPT-chatboten f\u00f6r att uppt\u00e4cka eventuella r\u00e4ttsliga f\u00f6retr\u00e4de f\u00f6r vissa domare f\u00f6r att f\u00f6rbereda sitt n\u00e4sta fall, sa Chandrasekaran.<\/p>\n “Jag ser v\u00e4rdet i att s\u00e4lja v\u00e4gbeskrivningar inte s\u00e5 mycket genom spr\u00e5k utan genom bilder,” sade Chandrasekaran. “Det finns alla typer av modeller i det generativa AI-utrymmet, inklusive text-till-bild-modeller.”<\/p>\n Till exempel kan en anv\u00e4ndare be en generativ AI-modell att producera en bild av en gitarrist som spelar m\u00e5nen. “Jag tror att text-till-bild-dom\u00e4nen har mer tonvikt p\u00e5 snabba marknader,” sa Chandrasekaran.<\/p>\n Medan Hugging Face skapar n\u00e5gra av sina egna LLM, inklusive BLOOM, \u00e4r organisationens prim\u00e4ra funktion att vara ett nav f\u00f6r maskininl\u00e4rningsmodeller fr\u00e5n tredje part, som GitHub g\u00f6r f\u00f6r kod; Hugging Face \u00e4r f\u00f6r n\u00e4rvarande v\u00e4rd f\u00f6r \u00f6ver 100 000 modeller f\u00f6r maskininl\u00e4rning, inklusive en m\u00e4ngd olika LLM:er fr\u00e5n nystartade f\u00f6retag och stora teknikf\u00f6retag.<\/p>\n Eftersom nya modeller \u00e4r \u00f6ppen k\u00e4llkod, \u00e4r de allm\u00e4nt tillg\u00e4ngliga centralt, vilket skapar en enda destination f\u00f6r framv\u00e4xande \u00f6ppen k\u00e4llkod LLM.<\/p>\n F\u00f6r att finjustera en LLM f\u00f6r ett specifikt f\u00f6retag eller bransch med Hugging Face kan anv\u00e4ndare dra f\u00f6rdel av organisationen “Transformatorer<\/a>” “Dataupps\u00e4ttning” API:er och bibliotek. Till exempel, i finansiella tj\u00e4nster kan en anv\u00e4ndare importera en f\u00f6rutbildad LLM som t.ex Flan-UL2<\/a>, ladda en dataupps\u00e4ttning av finansiella nyhetsartiklar och anv\u00e4nd “transformers”-tr\u00e4naren f\u00f6r att st\u00e4lla in modellen f\u00f6r att generera sammanfattningar av dessa artiklar. Integrationer med AWS<\/a>, djup hastighet<\/a>och Snabba upp<\/a> effektivisera och optimera tr\u00e4ningen ytterligare.<\/p>\n Hela processen kan g\u00f6ras p\u00e5 mindre \u00e4n 100 rader kod, enligt Reyes.<\/p>\n Ett annat s\u00e4tt att komma ig\u00e5ng med snabb konstruktion \u00e4r Hugging Face Inference API; \u00e4r en enkel HTTP-beg\u00e4ranslutpunkt som st\u00f6der mer \u00e4n 80 000 transformatormodeller, enligt Reyes. “Detta API till\u00e5ter anv\u00e4ndare att skicka textmeddelanden och ta emot svar fr\u00e5n modeller med \u00f6ppen k\u00e4llkod p\u00e5 v\u00e5r plattform, inklusive LLMs,” sa Reyes. “Om du vill g\u00e5 \u00e4nnu enklare kan du skicka text utan kod med hj\u00e4lp av slutledningswidgeten i LLM-modellerna i Kramande ansiktskub<\/a>.\u201d<\/p>\n Snabb LLM-teknik tar i allm\u00e4nhet en av tv\u00e5 former: f\u00e5-shot och no-shot inl\u00e4rning eller tr\u00e4ning.<\/p>\n Zero-shot-inl\u00e4rning inneb\u00e4r att mata en enkel instruktion som en prompt som ger ett f\u00f6rv\u00e4ntat svar fr\u00e5n LLM. Den \u00e4r utformad f\u00f6r att l\u00e4ra en LLM att utf\u00f6ra nya uppgifter utan att anv\u00e4nda data m\u00e4rkta f\u00f6r dessa specifika uppgifter. T\u00e4nk p\u00e5 noll skott som f\u00f6rst\u00e4rkningsinl\u00e4rning.<\/p>\n D\u00e4remot anv\u00e4nder f\u00e5-shot-inl\u00e4rning en liten m\u00e4ngd information eller exempeldata f\u00f6r att tr\u00e4na LLM f\u00f6r de \u00f6nskade svaren. F\u00e5 skott l\u00e4rande<\/a> Den best\u00e5r av tre huvudkomponenter:<\/p>\n I verkligheten finns det f\u00e5 organisationer idag med skr\u00e4ddarsydda tr\u00e4ningsmodeller som passar deras behov eftersom de flesta modeller fortfarande \u00e4r i ett tidigt utvecklingsstadium, enligt Gartners Chandrasekaran. Och medan low-shot, no-shot-inl\u00e4rning kan hj\u00e4lpa, \u00e4r det viktigt att l\u00e4ra sig snabb teknik som en f\u00e4rdighet f\u00f6r b\u00e5de IT- och f\u00f6retagsanv\u00e4ndare.<\/p>\n “Snabb ingenj\u00f6rskonst \u00e4r en viktig f\u00e4rdighet att ha idag, eftersom grundmodeller \u00e4r bra f\u00f6r inl\u00e4rning i l\u00e5ga skott och nollskott, men deras prestanda p\u00e5verkas p\u00e5 m\u00e5nga s\u00e4tt av hur vi bygger anvisningarna. meddelanden metodiskt,” sade Chandrasekaran. “Beroende p\u00e5 anv\u00e4ndningsfall och dom\u00e4n kommer dessa f\u00e4rdigheter att vara viktiga f\u00f6r b\u00e5de IT- och aff\u00e4rsanv\u00e4ndare.”<\/p>\n De flesta API:er till\u00e5ter anv\u00e4ndare att till\u00e4mpa sina egna snabba tekniker. Varje g\u00e5ng en anv\u00e4ndare sms:ar ett LLM, finns det m\u00f6jlighet att f\u00f6rfina uppmaningarna f\u00f6r att uppn\u00e5 specifika resultat, enligt Reyes.<\/p>\n “Men den h\u00e4r flexibiliteten \u00f6ppnar ocks\u00e5 d\u00f6rren f\u00f6r skadliga anv\u00e4ndningsfall, s\u00e5som snabb injektion,” sa Reyes. “Fall som [Microsoft\u2019s] Bing Sydney<\/a> visade hur m\u00e4nniskor kan utnyttja snabb ingenj\u00f6rskonst f\u00f6r oavsiktliga \u00e4ndam\u00e5l. “Som ett v\u00e4xande studieomr\u00e5de kommer att ta itu med snabb injektion i b\u00e5de skadliga anv\u00e4ndningsfall och “red teaming” f\u00f6r penetrationstestning avg\u00f6rande f\u00f6r framtiden, vilket s\u00e4kerst\u00e4ller en ansvarsfull och s\u00e4ker anv\u00e4ndning av LLMs i olika applikationer.”<\/p>\n
\n<\/figure>\n<\/span>Snabb ingenj\u00f6rskonst f\u00f6rklarad<\/strong><\/span><\/h2>\n
<\/span>Bra insteg \u00e4r lika med bra utg\u00e5ng<\/strong><\/span><\/h2>\n
<\/span>Hugging Face som ett helt\u00e4ckande centrum f\u00f6r LLM<\/strong><\/span><\/h2>\n
<\/span>F\u00e5-shot och no-shot-inl\u00e4rning<\/span><\/h2>\n
\n