Mục tiêu:     

Mục tiêu chung của đề tài này là nghiên cứu thiết kế và chế tạo găng tay cảm ứng “phiên dịch” ngôn ngữ ký hiệu thành tiếng nói cho người Việt nam có khuyết tật về giao tiếp và nghiên cứu xây dựng phần mềm “phiên dịch” tiếng nói thành ngôn ngữ ký hiệu trên điện thoại di động Android cho người Việt nam không có khuyết tật giao tiếp để hai bên có thể giao tiếp với nhau dễ dàng.

Để phiên dịch từ ngôn ngữ ký hiệu Việt nam thành tiếng nói tiếng Việt cần có hai modul quan trọng:

+ Modul nhận dạng ngôn ngữ ký hiệu Việt nam.

+ Modul tổng hợp tiếng nói tiếng Việt.

Tương tự, để phiên dịch tiếng nói tiếng Việt thành ngôn ngữ ký hiệu Việt nam cần có hai modul quan trọng:

+ Modul nhận dạng tiếng nói tiếng Việt

+ Modul mô phỏng biểu diễn ngôn ngữ ký hiệu.

Do vậy, để thực hiện mục tiêu chung của đề tài, các mục tiêu cụ thể liên quan đến 04 modul trên là:

Mục tiêu nghiên cứu cơ bản:

+ Đề xuất phương pháp nhận dạng ngôn ngữ ký hiệu Việt nam thời gian thực thông qua nhận dạng chuyển động liên tục của bàn tay bằng một găng tay cảm ứng tích hợp với một hệ thống nhúng, phát triển từ phương pháp hiệu quả đã được thương mại hóa thành công của J.L. Hernández-Rebollar (J.L. Hernández-Rebollar, 2011).

+ Đề xuất phương pháp tổng hợp tiếng nói tiếng Việt chất lượng cao phát triển từ mô hình lai ghép hiệu quả giữa tổng hợp thống kê HMM và tổng hợp ghép nối của T.N. Phung (T.N. Phung, 2013).

+ Đề xuất phương pháp nhận dạng tiếng nói tiếng Việt thời gian thực chất lượng cao phát triển từ phương pháp nhận dạng dùng học sâu (deep learning) kết hợp mô hình lai giữa HMM và mạng Neural hiệu quả của Q.B. Nguyen (Q.B. Nguyen, 2014).

+ Đề xuất phương pháp mô phỏng ngôn ngữ ký hiệu trên điện thoại di động Android.

Mục tiêu nghiên cứu ứng dụng:

+ Nghiên cứu, thiết kế và chế tạo găng tay cảm ứng có thể phiên dịch ngôn ngữ ký hiệu thành tiếng nói tiếng Việt.

+ Nghiên cứu xây dựng phần mềm trên điện thoại di động Android có thể phiên dịch tiếng nói tiếng Việt thành ngôn ngữ ký hiệu mô phỏng trên màn hình điện thoại.

Mục tiêu áp dụng thí điểm:

Sản phẩm của đề tài sẽ được áp dụng thí điểm tại CLB người câm điếc tỉnh Thái Nguyên. Thông qua đó có thể đánh giá, hiệu chỉnh, nâng cấp sản phẩm trước khi được thương mại hóa, phân phối tới cộng động người Việt nam có khuyết tật về giao tiếp (xấp xỉ 1 triệu người), để họ có thể giao tiếp với cộng đồng, tăng khả năng được học tập, được dạy nghề, và tăng cơ hội có việc làm giúp họ giảm nghèo.

Nội dung chính:

- Nghiên cứu về ngôn ngữ ký hiệu Việt nam.

- Nghiên cứu thiết kế và chế tạo găng tay cảm ứng giá rẻ có thể nhận dạng ngôn ngữ ký hiệu tiếng Việt thời gian thực hiệu quả thông qua nhận dạng chuyển động của bàn tay.

- Nghiên cứu đề xuất phương pháp tổng hợp tiếng nói tiếng Việt chất lượng cao lai giữa tổng hợp thống kê HMM và tổng hợp ghép nối.

- Nghiên cứu đề xuất phương pháp nhận dạng tiếng nói tiếng Việt thời gian thực chất lượng cao phát triển từ phương pháp nhận dạng dùng học sâu.

- Nghiên cứu xây dựng phần mềm nhận dạng tiếng nói tiếng Việt và mô phỏng ngôn ngữ ký hiệu Việt nam trên điện thoại di động Android.

- Áp dụng thử nghiệm tại CLB người câm điếc Thái Nguyên, điều tra, khảo sát và đánh giá hiệu quả sử dụng sản phẩm đề tài và các vấn đề cần khắc phục trước khi thương mại hóa tới cộng đồng người Việt nam có khuyết tật về giao tiếp

 Sản phẩm dự kiến:

Sản phẩm khoa học:

- Số bài báo khoa học quốc tế: 03      

- Số bài báo khoa học trong nước:  03                       

- Số lượng sách xuất bản: 01                                                    

Sản phẩm đào tạo:

- Số lượng tiến sĩ: 01 (một phần luận án của thành viên tham gia thực hiện đề tài)

- Số lượng thạc sĩ: 02

 Sản phẩm ứng dụng:

Hệ thống thiết bị hỗ trợ giao tiếp tiếng Việt cho người có khuyết tật về giao tiếp, bao gồm các modul như găng tay cảm ứng, hệ thống nhúng tích hợp với găng tay cảm ứng, và phần mềm trên điện thoại di động Android. Hệ thống có thể áp dụng cho gần 1 triệu người Việt nam có khuyết tật về giao tiếp và áp dụng cả cho người không có khuyết tật về giao tiếp khi cần nói chuyện với người khuyết tật

Tải file Nghiên cứu chế tạo hệ thống thiết bị găng tay cảm ứng biết nói và phần mềm biễu diễn ngôn ngữ ký hiệu trên điện thoại Android hỗ trợ giao tiếp hai chiều cho người Việt nam có khuyết tật về giao tiếp tại đây