IMPLEMENTASI AI MULTIMODAL GEMINI SEBAGAI SISTEM PENGENALAN OBJEK REALTIME DENGAN UMPAN BALIK AUDIO UNTUK MEMBANTU TUNANETRA MENGENALI KEADAAN SEKITAR

Rio Farras Akbar, A. (2026) IMPLEMENTASI AI MULTIMODAL GEMINI SEBAGAI SISTEM PENGENALAN OBJEK REALTIME DENGAN UMPAN BALIK AUDIO UNTUK MEMBANTU TUNANETRA MENGENALI KEADAAN SEKITAR. Skripsi thesis, UNAMA.

	Text BAB I PDF.pdf Download (476kB)
	Text BAB II PDF.pdf Restricted to Registered users only Download (637kB)
	Text BAB III PDF.pdf Restricted to Registered users only Download (563kB)
	Text BAB IV PDF.pdf Restricted to Registered users only Download (663kB)
	Text BAB V PDF.pdf Download (774kB)
	Text BAB VI PDF.pdf Download (445kB)

Abstract

berbagai objek di lingkungan sekitar dengan rata-rata akurasi sebesar 86% dan rata-rata latensi respon sebesar 2,2 detik. Sistem juga mampu memberikan deskripsi suara yang informatif dan relevan terhadap kondisi lingkungan yang dihadapi pengguna. Dengan demikian, sistem yang dikembangkan dinilai mampu memenuhi tujuan penelitian sebagai alat bantu berbasis AI multimodal yang Penyandang tunanetra mengalami keterbatasan dalam mengenali dan memahami lingkungan sekitar secara visual, sehingga membutuhkan teknologi asistif yang mampu memberikan informasi lingkungan secara cepat, akurat, dan mudah dipahami. Alat bantu konvensional seperti tongkat putih memiliki keterbatasan dalam mendeteksi objek di luar jangkauan fisik dan memahami konteks situasi. Perkembangan kecerdasan buatan, khususnya AI multimodal, membuka peluang baru dalam pengembangan sistem asistif yang lebih cerdas dan kontekstual. Penelitian ini bertujuan untuk mengimplementasikan AI Multimodal Google Gemini dalam membangun sistem pengenalan objek real-time dengan umpan balik audio untuk membantu penyandang tunanetra mengenali kondisi lingkungan sekitar. Metode penelitian yang digunakan adalah metode eksperimen dengan pendekatan rekayasa perangkat lunak, yang meliputi tahap perancangan, implementasi, dan pengujian purwarupa sistem. Sistem bekerja dengan memanfaatkan kamera smartphone sebagai input visual, yang diproses menggunakan model AI Multimodal Gemini untuk menghasilkan deskripsi objek dan situasi lingkungan secara kontekstual. Hasil deskripsi kemudian dikonversi menjadi suara menggunakan teknologi Text-to-Speech (TTS) sehingga dapat diterima oleh pengguna secara real-time. Pengujian sistem difokuskan pada dua parameter utama, yaitu akurasi pendeteksian objek dan latensi waktu respon.Hasil pengujian menunjukkan bahwa sistem mampu mengenali dapat meningkatkan keamanan, kemandirian, dan kualitas hidup penyandang tunanetra dalam beraktivitas sehari-hari.

Actions (login required)

View Item