Para peneliti telah memperkenalkan teknologi pengenalan emosi real-time yang inovatif, memanfaatkan antarmuka mandiri yang dipersonalisasi untuk analisis emosi yang komprehensif. Teknologi ini, yang menjanjikan untuk perangkat wearable, menandakan lompatan menuju layanan personalisasi berbasis emosi dan peningkatan interaksi manusia-mesin. Kredit: UNIST
Profesor Jiyun Kim dan timnya di Departemen Ilmu dan Teknik Material di Institut Sains dan Teknologi Nasional Ulsan (UNIST) telah mengembangkan teknologi perintis yang mampu mengidentifikasi emosi manusia secara real time. Inovasi mutakhir ini dirancang untuk merevolusi berbagai industri, termasuk sistem wearable generasi mendatang yang memberikan layanan berdasarkan emosi.
Memahami dan mengekstraksi informasi emosional secara akurat telah lama menjadi tantangan karena sifat pengaruh manusia yang abstrak dan ambigu seperti emosi, suasana hati, dan perasaan. Untuk mengatasi hal ini, tim peneliti telah mengembangkan sistem pengenalan emosi manusia multi-modal yang menggabungkan data ekspresi verbal dan non-verbal untuk memanfaatkan informasi emosional yang komprehensif secara efisien.
Inovasi dalam Teknologi yang Dapat Dipakai
Inti dari sistem ini adalah sistem antarmuka wajah terintegrasi kulit (PSiFI) yang dipersonalisasi, yang bertenaga mandiri, mudah digunakan, dapat diregangkan, dan transparan. Ini dilengkapi sensor regangan dan getaran triboelektrik dua arah yang pertama di jenisnya yang memungkinkan penginderaan dan integrasi data ekspresi verbal dan non-verbal secara simultan. Sistem ini sepenuhnya terintegrasi dengan sirkuit pemrosesan data untuk transfer data nirkabel, memungkinkan pengenalan emosi secara real-time.
Memanfaatkan pembelajaran mesin algoritma, teknologi yang dikembangkan menunjukkan tugas pengenalan emosi manusia yang akurat dan real-time, bahkan ketika individu mengenakan masker. Sistem ini juga telah berhasil diterapkan pada aplikasi pramutamu digital dalam lingkungan virtual reality (VR).
Ilustrasi skema gambaran umum sistem dengan antarmuka wajah terintegrasi kulit yang dipersonalisasi (PSiFI). Kredit: UNIST
Teknologi ini didasarkan pada fenomena “pengisian gesekan,” di mana benda-benda terpisah menjadi muatan positif dan negatif saat terjadi gesekan. Khususnya, sistem ini dapat dihasilkan secara mandiri, tidak memerlukan sumber daya eksternal atau perangkat pengukuran yang rumit untuk pengenalan data.
Kustomisasi dan Pengenalan Real-Time
Profesor Kim berkomentar, “Berdasarkan teknologi ini, kami telah mengembangkan sistem antarmuka wajah terintegrasi kulit (PSiFI) yang dapat disesuaikan untuk individu.” Tim menggunakan teknik semi-curing untuk membuat konduktor transparan untuk elektroda pengisian gesekan. Selain itu, topeng yang dipersonalisasi dibuat menggunakan teknik pengambilan gambar multi-sudut, yang menggabungkan fleksibilitas, elastisitas, dan transparansi.
Tim peneliti berhasil mengintegrasikan deteksi deformasi otot wajah dan getaran pita suara, sehingga memungkinkan pengenalan emosi secara real-time. Kemampuan sistem ini ditunjukkan dalam aplikasi “digital concierge” realitas virtual, di mana layanan yang disesuaikan berdasarkan emosi pengguna disediakan.
Jin Pyo Lee, penulis pertama studi tersebut, menyatakan, “Dengan sistem yang dikembangkan ini, penerapan pengenalan emosi secara real-time dapat dilakukan hanya dengan beberapa langkah pembelajaran dan tanpa peralatan pengukuran yang rumit. Hal ini membuka kemungkinan munculnya perangkat pengenalan emosi portabel dan layanan platform digital berbasis emosi generasi berikutnya di masa depan.”
Dari kiri adalah Profesor Jiyun Kim dan Jin Pyo Lee di Departemen Ilmu dan Teknik Material di UNIST. Kredit: UNIST
Tim peneliti melakukan eksperimen pengenalan emosi secara real-time, mengumpulkan data multimodal seperti deformasi otot wajah dan suara. Sistem ini menunjukkan pengenalan emosional yang tinggi ketepatan dengan pelatihan minimal. Sifatnya yang nirkabel dan dapat disesuaikan memastikan daya tahan dan kenyamanan.
Selain itu, tim menerapkan sistem ini pada lingkungan VR dan menggunakannya sebagai “petugas digital” untuk berbagai pengaturan, termasuk rumah pintar, bioskop pribadi, dan kantor pintar. Kemampuan sistem untuk mengidentifikasi emosi individu dalam situasi berbeda memungkinkan pemberian rekomendasi yang dipersonalisasi untuk musik, film, dan buku.
Profesor Kim menekankan, “Untuk interaksi yang efektif antara manusia dan mesin, perangkat antarmuka manusia-mesin (HMI) harus mampu mengumpulkan beragam tipe data dan menangani informasi terintegrasi yang kompleks. Studi ini memberikan contoh potensi penggunaan emosi, yang merupakan bentuk informasi manusia yang kompleks, dalam sistem perangkat wearable generasi mendatang.”
Referensi: “Pengkodean informasi emosional multi-modal melalui antarmuka wajah nirkabel terintegrasi kulit yang dipersonalisasi” oleh Jin Pyo Lee, Hanhyeok Jang, Yeonwoo Jang, Hyeonseo Song, Suwoo Lee, Pooi See Lee dan Jiyun Kim, 15 Januari 2024, Komunikasi Alam.
DOI: 10.1038/s41467-023-44673-2
Penelitian tersebut dilakukan bekerja sama dengan Profesor Lee Pui See dari Nanyang Technical University di Singapura dan didukung oleh National Research Foundation of Korea (NRF) dan Korea Institute of Materials (KIMS) di bawah Kementerian Sains dan ICT.
