JAWA BARAT — Startup AI asal Amerika Serikat, PrismML, resmi merilis model bahasa besar (LLM) terbaru mereka yang diberi nama Bonsai 27B. Model ini diklaim sebagai yang pertama di kelas 27 miliar parameter yang mampu berjalan secara native di perangkat Apple, mulai dari iPhone, iPad, hingga Mac. Kabar ini sekaligus mengonfirmasi laporan The Information pekan lalu yang menyebutkan adanya pertemuan antara PrismML dengan Apple untuk membahas potensi penggunaan teknologi startup tersebut.
Keunggulan utama Bonsai 27B terletak pada kemampuannya berjalan sepenuhnya di perangkat (on-device). PrismML menggunakan arsitektur hybrid-attention yang dikombinasikan dengan kernel low-bit khusus. Hasilnya, model ini bisa beroperasi di memori terbatas ponsel tanpa mengorbankan terlalu banyak performa.
Dengan bobot hanya 4 GB, model ini masih menyisakan ruang untuk beban kerja tambahan seperti KV cache dan aktivasi. Pendekatan ini memungkinkan pengguna menjalankan AI generatif langsung di ponsel tanpa harus mengirim data ke server cloud, yang berarti lebih cepat dan lebih privat.
Bobot model Bonsai 27B sudah tersedia secara gratis untuk diunduh oleh publik sejak hari ini. PrismML juga menawarkan API developer preview gratis untuk waktu terbatas, sehingga pengembang bisa langsung menguji model tersebut. Belum ada informasi mengenai ketersediaan atau harga khusus untuk pasar Indonesia.
Selama ini, model AI besar seperti Llama 3 atau Mistral membutuhkan setidaknya 16-24 GB RAM untuk berjalan di perangkat, membuatnya mustahil dijalankan di ponsel. Bonsai 27B memecahkan batasan tersebut dengan teknik kompresi agresif. Meski demikian, performa aktual model ini dalam tugas-tugas kompleks seperti penalaran logika atau terjemahan masih perlu diuji lebih lanjut oleh komunitas pengembang.
CEO PrismML, Babak Hassibi, mengatakan kepada CNBC bahwa Apple dan beberapa perusahaan lain tengah mengevaluasi model startup tersebut. "Mereka benar-benar mengevaluasi teknologi kami saat ini," ujar Hassibi. Ia menambahkan bahwa diskusi tersebut masih sangat awal dan belum jelas akan mengarah ke mana, namun "perkembangannya berjalan dengan baik."
Hingga berita ini diturunkan, Apple belum memberikan tanggapan resmi atas permintaan konfirmasi. Sejumlah analis menilai langkah PrismML mengumumkan komunikasi dengan Apple secara terbuka bisa menjadi strategi untuk membangun eksposur di tengah persaingan ketat industri AI.
Bonsai 27B menjadi pilihan menarik bagi pengembang yang ingin menghadirkan asisten AI cerdas di aplikasi mobile tanpa ketergantungan cloud. Namun, pengguna awam mungkin masih harus menunggu hingga model ini diintegrasikan langsung ke dalam sistem operasi atau aplikasi populer seperti Siri atau ChatGPT.