Windows Kini Memiliki Komponen AI di Dalam Sistem, Apa yang Dikerjakannya?

Windows Juga Bisa Menjalankan Model Bahasa Secara Lokal

Salah satu perubahan penting adalah kemampuan menjalankan model bahasa langsung pada komputer.

Microsoft menyediakan Foundry Local yang memungkinkan Large Language Model atau LLM dijalankan menggunakan perangkat keras komputer tanpa harus selalu mengirim proses komputasi ke server cloud.

Pendekatan ini disebut on-device AI atau local AI.

Secara teknis, model AI membutuhkan proses inferensi, yaitu proses ketika model yang telah dilatih menerima data baru dan menghasilkan keluaran berdasarkan pola yang telah dipelajarinya.

Jika inferensi dilakukan secara lokal, CPU, GPU atau NPU komputer dapat digunakan untuk menjalankan sebagian pekerjaan tersebut.

Microsoft menyebut Foundry Local menyediakan lebih dari 20 model bahasa dan model suara yang dapat digunakan pengembang. Windows ML, sementara itu, memberikan fleksibilitas lebih besar dengan memungkinkan model berformat ONNX dijalankan menggunakan akselerasi perangkat keras.

Mengapa NPU Mulai Penting?

Munculnya AI lokal juga menjadi alasan komputer modern mulai dilengkapi Neural Processing Unit atau NPU.

NPU merupakan prosesor yang dirancang untuk menangani operasi matematika yang banyak digunakan dalam machine learning. Berbeda dengan CPU yang bersifat serbaguna, NPU dapat menjalankan sejumlah beban AI dengan konsumsi energi yang lebih efisien.

Hal tersebut menjadi penting pada laptop karena pemrosesan AI yang terus-menerus menggunakan CPU atau GPU berpotensi meningkatkan konsumsi daya.

Pada Copilot+ PC, misalnya, sebagian kemampuan AI Windows dapat menggunakan NPU untuk menjalankan inferensi langsung di perangkat.

Namun, keberadaan NPU bukan berarti semua kemampuan AI Windows hanya dapat digunakan pada Copilot+ PC. Dokumentasi Microsoft menunjukkan beberapa teknologi dapat berjalan menggunakan GPU atau CPU tertentu, sementara Foundry Local dan Windows ML memiliki cakupan perangkat keras yang lebih luas.

AI Lokal Bisa Mengurangi Ketergantungan pada Cloud

Selama beberapa tahun terakhir, banyak layanan AI bekerja dengan cara mengirimkan permintaan pengguna ke pusat data.