Pembelajaran mesin secara signifikan memajukan prostesis saraf dengan mengoptimalkan downsampling gambar, mereplikasi respons retina alami, dan membuka jalan baru untuk pengkodean sensorik dalam prostetik. Kredit: SciTechDaily.com
Peneliti EPFL telah mengembangkan a pembelajaran mesin pendekatan untuk mengompresi data gambar dengan lebih besar ketepatan dibandingkan metode komputasi tanpa pembelajaran, dengan penerapan implan retina dan prostesis sensorik lainnya.
Tantangan utama dalam mengembangkan prostesis saraf yang lebih baik adalah pengkodean sensorik: mengubah informasi yang ditangkap dari lingkungan oleh sensor menjadi sinyal saraf yang dapat diinterpretasikan oleh sistem saraf. Namun karena jumlah elektroda dalam prostesis terbatas, masukan dari lingkungan ini harus dikurangi dengan cara tertentu, sambil tetap menjaga kualitas data yang dikirimkan ke otak.
Kemajuan dalam Kompresi Data untuk Prostesis Retina
Demetri Psaltis (Lab Optik) dan Christophe Moser (Laboratorium Perangkat Fotonik Terapan) berkolaborasi dengan Diego Ghezzi dari Hôpital ophtalmique Jules-Gonin – Fondation Asile des Aveugles (sebelumnya Ketua Medtronic bidang Neuroengineering di EPFL) untuk menerapkan pembelajaran mesin pada masalah kompresi data gambar dengan berbagai dimensi, seperti warna, kontras, dll. Dalam kasus ini, tujuan kompresinya adalah downsampling, atau mengurangi jumlah piksel gambar yang akan dikirim melalui prostesis retina.
“Downsampling untuk implan retina saat ini dilakukan dengan rata-rata piksel, yang pada dasarnya dilakukan oleh perangkat lunak grafis saat Anda ingin mengurangi ukuran file. Namun pada akhirnya, ini adalah proses matematis; tidak ada pembelajaran yang terlibat,” jelas Ghezzi.
Perbandingan antara gambar asli (kiri); gambar yang diolah menggunakan komputasi nonpembelajaran (tengah); dan gambar diproses menggunakan kerangka model aktor. Kredit: © EPFL CC OLEH SA
Pendekatan Berbasis Pembelajaran untuk Downsampling Gambar
“Kami menemukan bahwa jika kami menerapkan pendekatan berbasis pembelajaran, kami mendapatkan hasil yang lebih baik dalam hal pengkodean sensorik yang dioptimalkan. Namun yang lebih mengejutkan adalah ketika kami menggunakan jaringan saraf yang tidak dibatasi, jaringan tersebut belajar meniru aspek pemrosesan retina dengan sendirinya.”
Secara khusus, pendekatan pembelajaran mesin para peneliti, yang disebut kerangka model aktor, sangat baik dalam menemukan “titik terbaik” untuk kontras gambar. Ghezzi menggunakan Photoshop sebagai contoh. “Jika Anda menggerakkan penggeser kontras terlalu jauh ke satu arah atau lainnya, gambar menjadi lebih sulit dilihat. Jaringan kami mengembangkan filter untuk mereproduksi beberapa karakteristik pemrosesan retina.”
Hasilnya baru-baru ini dipublikasikan di jurnal ilmiah Alam Merevolusi Rehabilitasi Penglihatan Melalui Komunikasi Kecerdasan Buatan.
Validasi Keduanya Dalam-Silico Dan Tetap hidup
Dalam kerangka model aktor, dua jaringan saraf bekerja secara saling melengkapi. Bagian model, atau model maju, bertindak sebagai kembaran digital retina: pertama-tama dilatih untuk menerima gambar beresolusi tinggi dan mengeluarkan kode saraf biner yang semirip mungkin dengan kode saraf yang dihasilkan oleh retina biologis. Jaringan aktor kemudian dilatih untuk melakukan downsample gambar beresolusi tinggi yang dapat memperoleh kode saraf dari model maju yang sedekat mungkin dengan yang dihasilkan oleh retina biologis sebagai respons terhadap gambar asli.
Dengan menggunakan kerangka kerja ini, para peneliti menguji gambar yang didownsampling pada retina digital twin dan retina mayat tikus yang telah dikeluarkan (dieksplorasi) dan ditempatkan dalam media kultur. Kedua eksperimen tersebut mengungkapkan bahwa pendekatan model aktor menghasilkan gambar yang memunculkan respons saraf yang lebih mirip dengan respons gambar asli dibandingkan gambar yang dihasilkan oleh pendekatan komputasi tanpa pembelajaran, seperti rata-rata piksel.
Terlepas dari tantangan metodologis dan etika dalam penggunaan retina tikus, Ghezzi mengatakan bahwa inilah yang terjadi ex vivo validasi model mereka yang menjadikan penelitian mereka inovasi sejati di lapangan.
“Kita tidak bisa hanya mempercayai digital, atau dalam-silico, model. Inilah alasan kami melakukan eksperimen ini – untuk memvalidasi pendekatan kami.”
Cakrawala Sensorik Lainnya
Karena tim memiliki pengalaman sebelumnya dalam mengerjakan prostesis retina, ini adalah penggunaan pertama mereka atas kerangka model aktor untuk pengkodean sensorik. Namun Ghezzi melihat potensi untuk memperluas penerapan kerangka tersebut di dalam dan di luar bidang restorasi penglihatan. Dia menambahkan bahwa penting untuk menentukan seberapa banyak model yang divalidasi menggunakan retina tikus dapat diterapkan pada manusia.
“Langkah selanjutnya yang jelas adalah melihat bagaimana kita dapat mengompresi gambar secara lebih luas, melampaui pengurangan piksel, sehingga kerangka kerja dapat bermain dengan berbagai dimensi visual pada saat yang bersamaan. Kemungkinan lain adalah mengubah model retina ini menjadi keluaran dari wilayah lain di otak. Bahkan berpotensi dihubungkan dengan perangkat lain, seperti prostesis pendengaran atau anggota tubuh,” kata Ghezzi.
Referensi: “Kerangka model aktor untuk pengkodean sensorik visual” oleh Franklin Leong, Babak Rahmani, Demetri Psaltis, Christophe Moser dan Diego Ghezzi, 27 Januari 2024, Komunikasi Alam.
DOI: 10.1038/s41467-024-45105-5
