AI Kini Bisa Melihat Layar HP dan Komputer, Haruskah Kita Khawatir?
AI kini tidak lagi hanya berfungsi sebagai chatbot yang menjawab pertanyaan pengguna. Perkembangan teknologi kecerdasan buatan membuat AI semakin
fin.co.id - AI kini tidak lagi hanya berfungsi sebagai chatbot yang menjawab pertanyaan pengguna. Perkembangan teknologi kecerdasan buatan membuat AI semakin mampu memahami apa yang sedang tampil di layar perangkat, kemudian menggunakan informasi tersebut untuk menjalankan tugas tertentu.
Kemampuan ini membuat AI terasa jauh lebih dekat dengan cara manusia berinteraksi dengan perangkat. AI dapat mengenali tombol, membaca teks, memahami menu, melihat halaman web, kemudian menentukan tindakan berikutnya.
Di satu sisi, teknologi ini dapat membuat penggunaan HP dan komputer jauh lebih praktis. Namun di sisi lain, muncul pertanyaan penting: seberapa aman jika AI diberi kemampuan untuk melihat apa yang ada di layar?
Baca Juga
AI Tidak Sekadar Membaca Layar
Kemampuan AI melihat layar merupakan bagian dari perkembangan yang dikenal sebagai computer use atau penggunaan komputer oleh AI.
Dalam sistem seperti ini, AI dapat menerima representasi visual dari tampilan komputer, memahami berbagai elemen yang ada di dalamnya, kemudian melakukan tindakan menggunakan mouse dan keyboard.
OpenAI melalui teknologi Computer-Using Agent telah mengembangkan kemampuan yang memungkinkan AI berinteraksi dengan antarmuka komputer. Sistem tersebut dapat memahami tampilan yang tersedia kemudian melakukan tindakan seperti klik, mengetik, menggulir dan berpindah halaman.
Google juga mengembangkan kemampuan serupa melalui model Gemini yang dirancang untuk memahami antarmuka pengguna dan melakukan tindakan berdasarkan perintah.
Perubahan ini cukup penting karena AI tidak lagi hanya memberikan instruksi kepada manusia.
Baca Juga
Dalam skenario tertentu, AI justru dapat menjalankan instruksi tersebut.
Bagaimana AI Bisa Melihat Layar?
AI sebenarnya tidak "melihat" layar seperti manusia menggunakan mata.
Sistem AI memperoleh representasi visual dari tampilan perangkat, misalnya melalui screenshot atau informasi antarmuka yang tersedia bagi sistem. Model kemudian menganalisis informasi tersebut untuk memahami berbagai elemen.
Misalnya, pengguna memberikan perintah:
