äpple har började utvecklas dess sedan länge utvecklade stadsguider för augmented reality (AR), som använder din iPhones kamera och skärm för att visa dig vart du är på väg. Den visar också en del av framtiden Apple ser för aktiv användning av AR.
Genom spegelglaset ser vi tydligt
Den nya AR-guiden finns tillgänglig i London, Los Angeles, New York och San Francisco. Nu är jag inte helt övertygad om att de flesta människor är särskilt bekväma med att vifta med sina $1 000+ iPhones i luften medan de tar sig fram genom turistattraktioner. Även om jag är säker på att det finns några människor som verkligen hoppas på att göra det (och inte alla jobbar på Apple).
Men många kommer att försöka. Vad gör du?
Apple tillkännagav sin plan att introducera steg-för-steg gångvägledning i AR när de tillkännagav iOS 15 på WWDC i juni. Idén är kraftfull och den fungerar så här:
- Ta din iPhone.
- Rikta den mot byggnaderna runt omkring dig.
- iPhone kommer att analysera bilderna du tillhandahåller för att känna igen var du är.
- Kartor kommer då att generera en mycket exakt position för att ge sväng-för-sväng-anvisningar.
För att illustrera detta i Storbritannien, markerar Apple en bild som visar Bond Street-stationen med en stor pil som pekar höger längs Oxford Street. Orden under denna bild låter dig veta att Marble Arch-stationen ligger bara 700 meter bort.
Allt detta är användbart material. Liksom mycket av vad Apple gör, använder det en rad Apple mindre innovationer, särskilt (men inte helt) Neural Engine i Apple iPhone A-seriens processorer. För att känna igen vad kameran ser och ge korrekta instruktioner måste Neural Engine använda en mängd maskininlärningsverktyg utvecklade av Apple. Dessa inkluderar API:er för bildklassificering och justering, API:er för bandetektering och möjligen API:er för textigenkänning, -detektering och horisontdetektering. Det är den rena delen av bildanalys.
Detta kombineras med Apples platsdetektering på enheten, kartdata och (misstänker jag) dess befintliga databas med gatuscener för att ge användaren nästan perfekt vägbeskrivning till sin valda destination.
Det här är en bra illustration av den typ av saker du redan kan uppnå med maskininlärning på Apples plattformar: Cinematiskt läge och livetext är ytterligare två utmärkta exempel på senare tid. Naturligtvis är det inte svårt att föreställa sig att du riktar telefonen mot en gatuskylt när du använder AR-anvisningar på detta sätt för att få en omedelbar översättning av texten.
John Giannandrea, Apples senior vice president för maskininlärning, talade 2020 om dess betydelse när han sa: “Det finns massor av nya erfarenheter som drivs av maskininlärning. Och det här är saker som språköversättning, eller diktering på enheten, eller våra nya hälsofunktioner som sömn och handtvätt, och saker som vi har lanserat tidigare kring hjärthälsa och sådant här. “Jag tror att det finns färre och färre platser på iOS där vi inte använder maskininlärning.”
Apples utbud av kamerateknologier talar om detta. Det faktum att du kan redigera bilder i porträtt- eller filmläge även efter händelsen illustrerar också detta. Alla dessa tekniker kommer att samarbeta för att leverera de Apple Glass-upplevelser som vi förväntar oss att företaget ska börja lansera på marknaden nästa år.
Men det är bara toppen av vad som är möjligt, eftersom Apple fortsätter att utöka antalet tillgängliga API:er för maskininlärning som det erbjuder utvecklare. Befintliga API:er inkluderar följande, som alla kan utökas med CoreML-kompatibla AI-modeller:
- Bildklassificering, framträdande, anpassning och likhet API.
- Objektdetektion och spårning.
- Detektering av banor och konturer.
- Textidentifiering och igenkänning.
- Ansiktsavkänning, spårning, landmärken och fångstkvalitet.
- Människokroppsdetektering, kroppsställning och handställning.
- Djurigenkänning (katt och hund).
- Streckkod, rektangel, horisontdetektering.
- Optiskt flöde för att analysera rörelsen av objekt mellan videorutor.
- Personsegmentering.
- Dokumentdetektering.
- Sju naturliga språk API:er, inklusive sentimentanalys och språkidentifiering.
- Röstigenkänning och ljudklassificering.
Apple lägger till den här listan regelbundet, men det finns många verktyg som utvecklare redan kan använda för att förbättra appupplevelser. Detta kort samling av ansökningar visar några idéer. Delta Airlines, som nyligen distribuerade 12 000 iPhones till flygbesättningar, också skapa en AR-app för att hjälpa kabinpersonalen.
Steg för innovation
Vi tror alla att Apple kommer att presentera AR-glasögon av något slag nästa år.
När den gör det visar Apples nya kartfunktioner säkert en del av dess vision för dessa saker. Att det också ger företaget möjlighet att använda privat analys på enheten för att jämföra sina egna befintliga samlingar av bilder av geografiska platser med bilder som samlats in av användare kan bara hjälpa det att utveckla allt mer komplexa ML/bildinteraktioner.
Vi vet alla att ju större urvalsstorleken är, desto mer sannolikt är det att AI kommer att kunna leverera bra resultat, snarare än skräp. Om det är avsikten, så måste Apple verkligen hoppas kunna övertyga sina miljarder användare att använda vad de än introducerar för att förbättra noggrannheten hos de maskininlärningssystem som de använder i Maps. När allt kommer omkring gillar du att bygga ditt nästa steg på grunden av den förra.
vem vet vad det är går den vägen?
