HP tanpa Internet Tetap Bisa Menjalankan AI, Bagaimana Caranya?

Operasi AI banyak melibatkan perkalian matriks dan perhitungan numerik dalam jumlah sangat besar. Hardware khusus memungkinkan pekerjaan tersebut dilakukan dengan lebih efisien dibandingkan jika semuanya dibebankan kepada CPU.

Pada ekosistem Apple, misalnya, pemrosesan AI dapat memanfaatkan CPU, GPU, dan Neural Engine pada Apple silicon. Sementara itu, berbagai chipset Android juga menyediakan akselerator AI khusus.

Inilah salah satu alasan HP modern dapat menjalankan tugas AI yang beberapa tahun lalu mungkin membutuhkan komputer jauh lebih besar.

Model AI Diperkecil agar Muat di Smartphone

Masalah berikutnya adalah ukuran.

Model AI berkemampuan tinggi dapat mempunyai miliaran hingga ratusan miliar parameter. Menjalankan model sangat besar secara langsung pada smartphone akan membutuhkan kapasitas RAM, penyimpanan, daya, dan kemampuan komputasi yang sangat tinggi.

Karena itu, produsen menggunakan model yang dioptimalkan untuk perangkat.

Salah satu teknik penting adalah quantization atau kuantisasi.

Secara sederhana, teknik ini mengurangi tingkat presisi angka yang digunakan untuk menyimpan parameter model. Jika setiap parameter sebelumnya membutuhkan representasi angka berpresisi tinggi, model dapat dioptimalkan menggunakan representasi yang membutuhkan jumlah bit lebih sedikit.

Hasilnya, ukuran model dan kebutuhan memorinya dapat berkurang secara signifikan.

Apple pernah menjelaskan penggunaan berbagai teknik kompresi pada model on-device miliknya. Dalam pengembangan model generasi sebelumnya, misalnya, perusahaan menggunakan pendekatan kuantisasi serta adapter untuk menekan kebutuhan memori sekaligus mempertahankan kemampuan model.

Perkembangan teknik seperti ini membuat model dengan miliaran parameter semakin realistis dijalankan pada perangkat konsumen.

Apa yang Terjadi ketika Pengguna Memberikan Perintah?

Misalnya pengguna meminta HP merangkum sebuah catatan ketika perangkat sedang dalam mode pesawat.

Jika fitur tersebut menggunakan model AI lokal, proses sederhananya dapat digambarkan sebagai berikut.