Apfel hat begann sich zu entfalten Es sind die sich seit langem weiterentwickelnden Augmented-Reality-Stadtführer (AR), die Ihnen mithilfe der Kamera und des Bildschirms Ihres iPhones zeigen, wohin Sie gehen. Es zeigt auch einige der Zukunftsaussichten, die Apple für den aktiven Einsatz von AR sieht.
Durch den Spiegel sehen wir klar
Der neue AR-Guide ist in London, Los Angeles, New York und San Francisco erhältlich. Nun bin ich nicht ganz davon überzeugt, dass es den meisten Menschen besonders angenehm ist, ihr über 1.000 US-Dollar teures iPhone auf ihrem Weg durch Touristenattraktionen in der Luft zu schwenken. Obwohl ich mir sicher bin, dass es einige Leute gibt, die das wirklich hoffen (und auch nicht). Jeder arbeitet bei Apple).
Aber viele werden es versuchen. Was machst du?
Apple kündigte seinen Plan an, Schritt-für-Schritt-Gehhilfen in AR einzuführen, als es im Juni auf der WWDC iOS 15 ankündigte. Die Idee ist kraftvoll und funktioniert so:
- Schnappen Sie sich Ihr iPhone.
- Richten Sie es auf die Gebäude um Sie herum.
- Das iPhone analysiert die von Ihnen bereitgestellten Bilder, um zu erkennen, wo Sie sich befinden.
- Karten generieren dann eine hochpräzise Position, um detaillierte Wegbeschreibungen bereitzustellen.
Um dies in Großbritannien zu veranschaulichen, hebt Apple ein Bild hervor, das den Bahnhof Bond Street mit einem großen Pfeil zeigt, der nach rechts entlang der Oxford Street zeigt. Die Worte unter diesem Bild weisen Sie darauf hin, dass der Bahnhof Marble Arch nur 700 Meter entfernt ist.
Das ist alles nützliches Material. Wie vieles, was Apple tut, verwendet es eine Reihe von Apple kleinere Neuerungen, insbesondere (aber nicht ausschließlich) die Neural Engine in den Prozessoren der Apple iPhone A-Serie. Um zu erkennen, was die Kamera sieht und genaue Anweisungen bereitzustellen, muss die Neural Engine eine Vielzahl von von Apple entwickelten maschinellen Lerntools verwenden. Dazu gehören Bildklassifizierungs- und Ausrichtungs-APIs, Flugbahnerkennungs-APIs und möglicherweise Texterkennungs-, Erkennungs- und Horizonterkennungs-APIs. Das ist der reine Teil der Bildanalyse.
In Kombination mit Apples Standorterkennung auf dem Gerät, Kartendaten und (ich vermute) der vorhandenen Datenbank mit Straßenszenen bietet Apple dem Benutzer nahezu perfekte Wegbeschreibungen zu seinem gewählten Ziel.
Dies ist ein großartiges Beispiel dafür, was Sie mit maschinellem Lernen auf Apple-Plattformen bereits erreichen können: Kinomodus Und Live-Text sind zwei weitere hervorragende aktuelle Beispiele. Natürlich ist es nicht schwer, sich vorzustellen, dass Sie Ihr Telefon auf ein Straßenschild richten und gleichzeitig AR-Anweisungen auf diese Weise verwenden, um eine sofortige Übersetzung des Textes zu erhalten.
John Giannandrea, Apples Senior Vice President für maschinelles Lernen, sprach im Jahr 2020 von seiner Bedeutung, als er sagte: „Es gibt eine Menge neuer Erfahrungen, die durch maschinelles Lernen ermöglicht werden.“ Dabei handelt es sich um Dinge wie Sprachübersetzungen oder das Diktieren auf dem Gerät oder unsere neuen Gesundheitsfunktionen wie Schlafen und Händewaschen sowie Dinge, die wir in der Vergangenheit rund um die Herzgesundheit eingeführt haben, und solche Dinge. „Ich denke, es gibt auf iOS immer weniger Orte, an denen wir kein maschinelles Lernen einsetzen.“
Apples Angebot an Kameratechnologien spricht dafür. Dies verdeutlicht auch die Tatsache, dass Sie Bilder auch nach der Veranstaltung im Portrait- oder Cinematic-Modus bearbeiten können. Alle diese Technologien werden zusammenarbeiten, um die Apple Glass-Erlebnisse zu liefern, die das Unternehmen unserer Meinung nach im nächsten Jahr auf den Markt bringen wird.
Aber das ist nur die Spitze dessen, was möglich ist, da Apple die Anzahl der verfügbaren APIs für maschinelles Lernen, die es Entwicklern anbietet, weiter ausbaut. Zu den vorhandenen APIs gehören die folgenden, die alle durch CoreML-kompatible KI-Modelle erweitert werden können:
- API für Bildklassifizierung, Ausprägung, Ausrichtung und Ähnlichkeit.
- Objekterkennung und -verfolgung.
- Erkennung von Trajektorien und Konturen.
- Texterkennung und -erkennung.
- Gesichtserkennung, Tracking, Orientierungspunkte und Aufnahmequalität.
- Erkennung des menschlichen Körpers, Körperhaltung und Handhaltung.
- Tiererkennung (Katze und Hund).
- Barcode-, Rechteck- und Horizonterkennung.
- Optischer Fluss zur Analyse der Bewegung von Objekten zwischen Videobildern.
- Personensegmentierung.
- Dokumentenerkennung.
- Sieben APIs für natürliche Sprache, einschließlich Stimmungsanalyse und Sprachidentifizierung.
- Spracherkennung und Klangklassifizierung.
Apple ergänzt diese Liste regelmäßig, aber es gibt viele Tools, mit denen Entwickler bereits das App-Erlebnis verbessern können. Das Kurze Bewerbungssammlung zeigt einige Ideen. Auch Delta Airlines hat kürzlich 12.000 iPhones für Flugbesatzungen bereitgestellt Erstellen Sie eine AR-App, um das Kabinenpersonal zu unterstützen.
Schritte zur Innovation
Wir alle glauben, dass Apple präsentieren wird Nächstes Jahr eine Art AR-Brille.
Wenn dies der Fall ist, zeigen die neuen Kartenfunktionen von Apple sicherlich einen Teil seiner Vision für diese Dinge. Dass es dem Unternehmen auch die Möglichkeit gibt, private On-Device-Analysen zu nutzen, um seine eigenen bestehenden Sammlungen von Bildern von geografischen Standorten mit Bildern zu vergleichen, die von Benutzern gesammelt wurden, kann ihm nur dabei helfen, immer komplexere ML-/Bildinteraktionen zu entwickeln.
Wir alle wissen: Je größer die Stichprobe, desto wahrscheinlicher ist es, dass KI gute Ergebnisse und keinen Unsinn liefern kann. Wenn das die Absicht ist, dann muss Apple sicherlich hoffen, seine Milliarde Nutzer davon zu überzeugen, alles zu nutzen, was es einführt, um die Genauigkeit der maschinellen Lernsysteme zu verbessern, die es in Maps verwendet. Schließlich bauen Sie Ihre nächste Sprosse gerne auf dem Fundament der vorherigen auf.
wer weiß, was es ist diesen Weg gehen?
