Inspirasi
eKYC kini menjadi pintu masuk rekening bank, e-wallet, dan layanan publik digital. Semua panduan fotonya visual: bingkai, tulisan, warna. Penyandang tunanetra tidak dapat melihat bingkai itu, sehingga gagal berulang atau harus menyerahkan KTP dan wajahnya kepada orang lain.
Apa yang dilakukan SonarID
SonarID memandu pengguna memotret KTP dan swafoto tanpa melihat layar:
- Suara bahasa Indonesia memberi satu instruksi singkat pada satu waktu ("Geser ponsel ke kiri").
- Nada stereo menunjukkan arah, tinggi nada menunjukkan atas-bawah, dan laju ketukan menunjukkan jarak.
- Getar mengikuti arahan, dengan getar ganda saat posisi tepat.
- Foto KTP diambil otomatis sekitar 0,6 detik setelah KTP terlihat utuh dan cukup besar, tanpa harus pas di tengah.
- AI Quality Check memilih frame tertajam, meluruskan kartu, mengoreksi cahaya, lalu membaca NIK dengan OCR. Foto diterima bila NIK terbaca, dan isi NIK tidak pernah dibacakan.
- Swafoto dipandu MediaPipe Face Landmarker.
- Ada Mode Uji Non-Visual (layar gelap), tiga tingkat detail suara, senter otomatis di ruangan gelap, dan tawaran bantuan petugas setelah tiga kali gagal.
Cara menguji (untuk juri)
- Buka https://sonarid.my.id di Chrome Android, lalu ketuk "Uji suara dan getar".
- Buka https://sonarid.my.id/kartu-uji.html di laptop atau layar lain (kartu fiktif), atau gunakan KTP sendiri.
- Ketuk "Mulai Verifikasi" dan arahkan kamera belakang ke kartu dari jarak sekitar 15-20 cm. Foto diambil otomatis.
- Untuk membuktikan penggunaan tanpa melihat layar, aktifkan "Mode Uji Non-Visual" di beranda.
- Mode diagnosis (kotak deteksi dan angka analisis): https://sonarid.my.id/?debug=1 Di laptop, aplikasi memakai webcam dan instruksi berubah menjadi "Geser KTP".
Cara kami membangunnya
React + Vite sebagai PWA. Deteksi KTP ditulis sendiri oleh tim (ambang Otsu ganda, komponen terhubung, momen citra) agar ringan dan berjalan setiap frame. Instruksi distabilkan dengan median beberapa frame, histeresis, dan pemungutan suara instruksi. Untuk umpan balik kami memakai Web Speech, Web Audio (StereoPanner), dan Vibration API. MediaPipe Face Landmarker dipakai untuk wajah dan Tesseract.js untuk keterbacaan NIK. Semua analisis berjalan di perangkat, dan produk di-hosting di sonarid.my.id.
Tantangan
Webcam laptop berasio lebar membuat penilaian tidak sesuai dengan bingkai di layar. Kami juga menghadapi pantulan pada KTP berlaminasi, bayangan ponsel, pita kedip saat memotret layar, dan suara Android yang memakai kode bahasa "in-ID". Masing-masing kami atasi: analisis hanya pada area yang tampil di layar, penerimaan berbasis NIK, koreksi cahaya sebelum OCR, dan pemilihan suara Indonesia yang lebih luas.
Pencapaian
Alur eKYC lengkap berjalan live di ponsel. Pada pengujian tim dengan video kamera dan kartu uji, foto KTP diambil sekitar 0,6 detik setelah terlihat, termasuk pada kondisi miring, perspektif, bayangan, pantulan, dan kartu yang ditampilkan di layar laptop. Seluruh proses dapat diselesaikan dengan layar gelap.
Yang kami pelajari
Aksesibilitas berarti sistem yang menyesuaikan diri dengan pengguna, bukan pengguna yang harus memenuhi syarat sempurna. Instruksi yang singkat, konsisten, dan jujur lebih membantu daripada instruksi yang banyak.
Langkah berikutnya
Uji kegunaan bersama komunitas tunanetra, suara rekaman bawaan agar tidak bergantung TTS ponsel, dan SDK/API agar bank dan e-wallet dapat menyematkan SonarID.
Batasan
Belum diuji langsung oleh pengguna tunanetra (pengujian dilakukan oleh anggota tim dengan kartu uji fiktif). Getar tidak tersedia di iPhone. Halaman penyedia masih simulasi.
Built With
- javascript
- mediapipe
- pwa
- react
- tesseract.js
- vibration-api
- vite
- web-audio-api
- web-speech-api