Големите езикови модели като GPT-4 обикновено изискват много изчислителна мощност и памет, но изследователите на Apple AI казват, че са открили ефективен начин за внедряване на LLM на iPhone и други устройства на Apple със сравнително ограничена вътрешна памет.
Изследователите казват в A Изследователска работа Те намериха решението Големи езикови модели Това надвишава наличния капацитет на паметта на мобилни устройства, като iPhone. Това ще бъде възможно чрез съхраняване на параметрите на модела във флаш памет и изпращането им към DRAM, когато е необходимо.
За да увеличат максимално производителността, авторите се позовават на използването на „рециклиране“ чрез повторно използване на някои от данните, обработени от AI модела. Това би премахнало необходимостта от постоянно извличане на памет, което би направило процеса много по-гладък. В допълнение, изследователите казват, че чрез сглобяване на по-големи части от данни, данните могат да се четат по-бързо. Това също трябва да доведе до по-бърза обработка и отговори чрез AI модела.
Двата метода трябва да направят възможно стартирането на AI модели, които заемат до два пъти количеството налична памет и имат до 5 и 25 пъти по-бързи скорости на извод в сравнение с директното зареждане в CPU и GPU.
Направата на LLMs да работят по-ефективно на iPhone може да включва възможности за разширени команди на Siri, езиков превод в реално време и внедряване на AI функции във фотографията. Съобщава се, че Apple вече работи върху свой собствен основен езиков модел, който служителите наричат „AppleGPT“. Компанията също така иска да добави генериращ AI към Siri, Xcode и Keynote.
„Страстен мислител. Twitter maven. Склонен към пристъпи на апатия. Приветлив музикален експерт. Фен на алкохола на свободна практика. Фанатик на бирата.“