Laptop AI Tetap Bisa Menjalankan AI tanpa Internet, Begini Cara Kerjanya?

Secara sederhana, quantization mengurangi tingkat presisi angka yang digunakan oleh model sehingga kebutuhan memori dan perhitungannya dapat ditekan.

Hasilnya, model menjadi lebih memungkinkan untuk dijalankan pada komputer konsumen.

Namun, ukuran model yang lebih kecil biasanya membawa konsekuensi tertentu. Kemampuan penalaran, keluasan pengetahuan, konteks, atau kualitas hasilnya dapat berbeda dibandingkan model cloud berukuran jauh lebih besar.

Tidak Semua Fitur AI Bisa Dipakai tanpa Internet

Istilah laptop AI tidak boleh diartikan bahwa seluruh fitur kecerdasan buatan otomatis dapat digunakan secara offline.

Hanya pekerjaan yang model dan komponen pemrosesannya tersedia secara lokal yang dapat dilakukan tanpa koneksi cloud.

Jika sebuah layanan membutuhkan pencarian web, informasi terbaru, database perusahaan, sinkronisasi akun, atau model besar yang hanya tersedia di pusat data, koneksi internet tetap diperlukan.

Inilah alasan sebuah laptop dapat menjalankan satu fitur AI saat offline tetapi fitur AI lainnya berhenti bekerja.

Sebagian aplikasi bahkan menggunakan pendekatan hybrid.

Pekerjaan ringan atau sensitif dapat dilakukan di laptop, sedangkan pekerjaan yang membutuhkan kemampuan komputasi lebih besar dikirim ke cloud.

Microsoft menyebut pendekatan ini sebagai pengalaman hybrid AI, dengan beban kerja dapat dibagi antara PC dan layanan cloud.

Laptop tanpa NPU Juga Bisa Menjalankan AI Lokal

Ada anggapan bahwa AI offline hanya dapat dijalankan pada laptop yang memiliki NPU. Anggapan tersebut tidak sepenuhnya tepat.

Komputer tanpa NPU tetap dapat menjalankan sejumlah model AI menggunakan CPU atau GPU.

GPU bahkan sudah digunakan untuk machine learning jauh sebelum istilah AI PC populer.