Ein Forschungspapier, das Apple kürzlich auf der Forschungsseite Arxiv.org veröffentlicht hat, zeigt, dass Apple eine “sorgfältige Mischung” aus Bild-Beschriftung, verschachteltem Bild-Text und reinen Textdaten verwendet hat, um LLMs zu trainieren, berichtet Apple Insider.
Die wissenschaftliche Publikation ist – auf Deutsch übersetzt – überschrieben mit ”MM1: Methoden, Analyse und Einsichten aus der multimodalen LLM-Vorbildung”. Der gesamte Artikel lässt sich dort unter anderem als PDF herunterladen und einsehen. Der Mix aus visuellen und sprachlichen Daten ermögliche es den Modellen, Aufgaben wie die intelligente Beschriftung von Bildern oder die Ableitung natürlichsprachlicher Bedeutungen zu bewältigen.
Sorgfältiges Trainingsdesign wichtig für Erfolg
Unter anderem habe man mit der Forschung herausgefunden, dass die Wahl des Bildkodierers und die Auflösung der Bilder, die dieser verarbeitet, einen größeren Einfluss auf die Leistung hat als das Design der Verbindung zwischen Bild und Sprache. In einem Fall, bei dem ein ”Multimodal Large Language Model” (MM1-Modell) mit 30 Milliarden Parametern verwendet wurde, fanden sich starke kontextabhängige Lernfähigkeiten. Dies bedeutet, so die Forschenden, dass das System in der Lage sei, mehrstufige Schlussfolgerungen über mehrere Bilder mit nur wenigen Denkanstößen zu ziehen.
Apple iPhone 15 Pro
Test lesen Preis beim Test: $999
Anwender hoffen auf starke Fortschritte bei Siri
Damit scheint sich auch nach einem Artikel von Venturebeat einmal mehr zu bestätigen, dass Apple bei bahnbrechenden Technologien eher ein “Fast Follower” als ein “First Mover” ist, also lieber rasch eigene Ansätze entwickelt, um dann marktreife Produkte oder Anwendungen für den Anwender bereitzustellen, anstatt gleich bei den ersten zu sein.
Apple-Chef Tim Cook bestätigte kürzlich, dass das Unternehmen 1 Milliarde US-Dollar pro Jahr für die Integration von “AI”, also künstlicher Intelligenz in seine bestehenden Technologien ausgibt. Hierbei ist ganz klar, dass insbesondere der virtuelle Assistent und die Spracherkennung ”Siri” auf iPhone & Co. dringend eine spürbare Entwicklung braucht, um zu anderen Angeboten wie von Google, Alexa oder ChatGPT zumindest aufzuschließen oder sie sogar wieder zu übertreffen.
Erst letzte Woche wurde bekannt, dass Apple Anfang des Jahres das kanadische KI-Startup DarwinAI übernommen hatte, dessen Technologien dazu dienen könnten, generative KI effizienter zu gestalten. Apple legt seit jeher Wert auf Datenschutz und Privatsphäre, iPhone, iPad und Mac sollen in der Lage sein, aufwendige neuronale Prozesse direkt auf dem Gerät auszuführen und nicht in die Cloud zu verlagern.
Apple iPhone 15
Test lesen Preis beim Test: From $799
