Mahasiswa Universitas Ma Chung buat "machine learning" bahasa isyarat

Malang (ANTARA) - Mahasiswa Program Studi Teknik Informatika Universitas Ma Chung Malang, Jawa Timur, Nico Alexander, mengembangkan machine learning atau pembelajaran mesin untuk mendeteksi dan mengklasifikasikan bahasa isyarat BISINDO.

Penelitian Nico berjudul “Penggunaan Machine Learning dalam Klasifikasi Bahasa Isyarat BISINDO menggunakan Kamera” ini, menjadi sorotan karena potensinya dalam membantu komunitas yang membutuhkan serta menginspirasi pengembangan teknologi masa depan.

“Proses penelitian yang saya lakukan tidak mudah. Dalam mengembangkan proyek ini dengan akurat, saya perlu membuat dataset yang akurat dengan melibatkan konsultasi bersama tokoh bahasa isyarat Kota Malang,” kata Nico dalam keterangan diterima di Malang, Jumat.

Dari konsultasi ini, ia kemudian mengajarkan gerakan bahasa isyarat kepada empat orang responden.

Baca juga: Mahasiswa Universitas Brawijaya Ciptakan Aplikasi "Difodeaf" Bahasa Isyarat

Ia mengaku memiliki motivasi yang kuat untuk menerapkan penelitiannya guna memberikan kontribusi nyata kepada masyarakat.

Dalam penelitian ini, ia didampingi dua dosen pembimbing, yakni Romy Budhi Widodo yang sebelumnya mengembangkan tetikus untuk difabel dan Windra Swastika, berkolaborasi dengan tokoh bahasa isyarat dari komunitas Gerkatin Kota Malang Sumiyati. Kolaborasi ini sebagai langkah awal dalam mengumpulkan dataset yang akurat.

Ia mengaku mengumpulkan data berupa foto tangan gerakan bahasa isyarat, lalu melakukan ekstraksi koordinat dari foto-foto tersebut. Dari koordinat itu dihasilkan 21 landmarks pada setiap tangan yang masing-masing memiliki tiga subkoordinat (x, y, z), yang menghasilkan 63 subkoordinat untuk setiap tangan atau 126 subkoordinat secara keseluruhan.

Setelah itu, subkoordinat ini digunakan sebagai data acuan untuk pembelajaran mesin. Hasil dari proses ini adalah data 77.000 kelas, kemudian difilter untuk menyesuaikan dengan 127 parameter di setiap baris data guna menjadi referensi pembelajaran kecerdasan buatan.

Total terdapat 77 kelas kata yang terdiri atas gerakan numerik, abjad 26 huruf, dan kata sehari-hari yang dihasilkan.

Salah satu tantangan utama yang dihadapi Nico, yakni mengevaluasi perbandingan antara beberapa model penggolong sekaligus mempertahankan kemampuan optimal dari masing-masing penggolong tanpa pengurangan ataupun penambahan.

Tantangan teknis lainnya, yakni jumlah data yang cukup banyak.

“Saya berhasil mengatasi masalah ini dengan membuat program khusus yang memungkinkan pengambilan foto dalam hitungan detik (dengan konsep FPS atau Frame Per Second),” katanya.

Nico mengaku sempat mengalami tantangan dalam gerakan bahasa isyarat yang mirip atau dinamis, namun berhasil diatasi dengan melakukan inisiatif untuk memodifikasi beberapa gerakan agar posisi tertentu dalam gerakan dinamis dapat terdeteksi dengan lebih baik.

Ia mengaku berhasil menyelesaikan sekitar 70-80 persen dari tahap prototipe ini.

Dengan upaya keras dan inovasi, proyek ini menjadi satu langkah penting dalam menghadirkan inovasi yang dapat membantu pemberdayaan masyarakat dengan disabilitas dan memperkaya komunitas bahasa isyarat.

Nico tergabung dalam kelompok studi Human-Machine Interaction, yang mempelajari lebih dalam mengenai komunikasi dan interaksi manusia dengan sebuah mesin melalui antarmuka pengguna.

Bidang ini menjadi suatu tren di dunia teknologi informasi karena melalui bidang ini, manusia bisa mengontrol mesin melalui perilaku natural dan intuitif.

"Kelompok studi ini memfokuskan diri pada kesejahteraan manusia, siapapun, termasuk penyandang disabilitas dan manual agar mereka dapat menjalankan fungsi kehidupan dengan baik walaupun memiliki keterbatasan,” kata Dekan Fakultas Teknologi dan Desain Universitas Ma Chung Malang Romy Budhi Widodo.

Ia menyatakan bahwa perguruan tinggi tersebut melalui tri dharma perguruan tinggi turut memberikan kontribusi bagi kepentingan masyarakat.

“Dengan demikian, kami mewujudkan semangat kami melalui tri dharma perguruan tinggi untuk memberikan kontribusi kepada masyarakat,” ucapnya.