Medan Apples tillkännagivanden om hjälpmedel den här veckan är viktiga, är frågan som lämnas obesvarad hur mycket de förlitar sig på företagets kraftfulla Neural Engine.
Neural Engine består av en samling specialiserade datorkärnor som finns i Apple Silicon-chips. De är designade för att utföra maskin/AI-funktioner snabbt och med stor effektivitet eftersom handlingen sker på chippet.
Företaget har stora resurser avsatts till förbättringar av Neural Engine sedan den först dök upp 2017. Apple Wiki noterar att A16-chippet inuti iPhone 14 levererar 17 biljoner operationer per sekund, upp från 600 miljarder/s i 2017 års A11-processor.
Så hur använder Apple Neural Engine?
Hur Apple använder Neural Engine
- Tänk på FaceID, animerade Memojis eller sökning på enheten efter saker som hundbilder i Foton. Utvecklare använder Neural Engine när de skapar applikationer som stöder CoreML, som Becasso eller Style Art. Men Neural Engine kan mer. och det är vad Apple Accessibility Improvements Show.
- Tänk på detektionsläget i förstoringsglaset. I det läget kommer din iPhone att känna igen knappar på föremål i ditt hem, berätta vad knappens funktion är och hjälpa dig att styra din hand. Det är en kraftfull teknik som förlitar sig på kameran, LiDAR-skannern, maskininlärning och Neural Engine i processorn.
- Tänk på den nya personliga röstfunktionen som låter användare skapa en röst som låter som deras egen, som deras enhet sedan kan använda för att säga orden de skriver. Detta är användbart för människor som håller på att tappa röstenmen återigen förlitar den sig på talanalys på enheten och intelligenta förmågor begravda i Neural Engine.
Dessa är alla beräkningsintensiva uppgifter, båda förlitar sig på enhetsintelligens snarare än molnet, och är designade för att upprätthålla integritet och använda dedikerade AI-loopar inom varje Apple-enhet.
Neuralmotorn kan mycket mer
Jag tror inte att dessa uppgifter verkligen påverkar allt som Neural Engine kan göra. För trots löftet om den här typen av AI, har spelet att få det att köras inbyggt på edge-enheter redan börjat, och Apple har arbetat så hårt med att bygga sin Neural Engine att det skulle verka konstigt om det inte hade några kort. spela.
Oavsett vilket kommer och bör den ultimata ambitionen vara att leverera dessa teknologier utanför datacentret. En av många mindre delade sanningar runt omkring Generativ AI är hur mycket energi som behövs för att fungera. Alla företag som vill begränsa sina koldioxidutsläpp och uppfylla klimatmålen kommer att vilja köra dessa uppgifter på enheten, snarare än på en serverfarm. Och Apple har åtagit sig att uppfylla sin klimatmål. Det bästa sättet att uppnå dessa med liknande teknik är att utveckla AI på enheten, som har ett hem i Neural Engine.
Ja Detta Så här ser Apple på detdu är inte ensam. Google Palm 2 visar företagets intresse. Chiptillverkare som Qualcomm se kantbearbetning av sådana uppgifter som ett viktigt sätt att minska kostnader eller teknik. Det finns för närvarande många språkmodeller med öppen källkod som kan leverera generativa AI-funktioner; Stanford University har redan kunnat göra en körs på en Google Pixel-telefon (om än med ytterligare hallucinationer), så att köra dem på iPhone borde vara enkelt.
Irt borde vara ännu enklare på ett M2-chip, som de som redan används i Mac, iPad och (snart) Reality Pro.
Ett sätt att minska kostnaderna för denna typ av AI, samtidigt som man minskar storleken på språkmodellen och ökar noggrannheten genom att skydda mot “alternativa fakta” som skapas av AI, är att begränsa tekniken till utvalda domäner. Dessa kan vara inom nyckelapplikationer för kontorsproduktivitet, men också för tillgänglighetssyften, förbättrade användargränssnittskomponenter eller förbättrade sökupplevelser.
Det här verkar vara det tillvägagångssätt som vi ser i branschen, eftersom utvecklare som Zoom hittar sätt att integrera AI i befintliga produkter på värdefulla sätt, snarare än att använda en scatter-gun-strategi. Apples tillvägagångssätt visar också fokus på viktiga vertikaler.
När det gäller hur Apple har för avsikt att utveckla sin egen AI-teknik verkar det fruktansvärt hänsynslöst att ignorera data som det kan ha samlat in genom sitt sökarbete under det senaste decenniet. Har äpple robot Har det verkligen bara handlat om att göra affärer med Google? Kan den informationen bidra till utvecklingen av Apples egen LLM-modell?
På WWDC kan det vara intressant att se om ett av sätten man tänker använda AI kan vara att driva bildgenereringsmodellerna för sina AR-enheter. Är den formen av no-code/low-code AI-driven upplevelse en del av den superenkla utvecklingsmiljön som vi tidigare har hört om Apples planer?
I en idealisk värld skulle användare kunna utnyttja kraften i dessa nya AI-modeller privat, på sin enhet och med minimal kraft. Och eftersom det är just detta som Apple byggde den neurala motorn för, var kanske dumma Siri just den inför en större helhet — en förföljande häst med ett pokeransikte. Vi vet inte något av dessa svar än, men det kan vara något som alla vet när solen går ner i Kalifornien. speciellt Apple-utvecklarevenemang på Apple Park den 5 juni.
