Nghiên cứu, xây dựng thử nghiệm hệ thống nhận dạng cử chỉ tay người dựa trên nền tảng IoT

Gần đây với sự phát triển mạnh của lĩnh vực vi điện tử, các cảm biến được tích hợp ngày càng nhiều trong các thiết bị IoT và di động. Các cảm biến như cảm biến gia tốc, cảm biến con quay hồi chuyển cho phép chúng ta thu thập được nhiều thông tin hữu ích phục vụ cho việc dự đoán các cử chỉ tay động, đặc biệt liên quan đến hoạt động của cổ tay, cánh tay. Phần lớn thiết bị đeo tay hiện nay đều được trang bị với những khối đo lường này, ví dụ như đồng hồ thông minh hoặc các vòng đeo tay theo dõi sức khỏe. Bằng cách kết hợp những thiết bị đeo tay này trong ngữ cảnh một hệ thống IoT như nhà thông minh, chúng ta có thể xây dựng một hệ thống nhận dạng cử chỉ tay động phù hợp cho các bài toán khác nhau, ví dụ nâng cao trải nghiệm người dùng trong điều khiển nhà thông minh, hỗ trợ người khiếm thị trong giao tiếp, hoặc hỗ trợ trong tương tác người máy. Nhiều giải pháp được đưa ra với độ chính xác cao, ví dụ những nghiên cứu của Yang và đồng nghiệp, Monisha và đồng nghiệp, Lei và đồng nghiệp.

Do vậy, đề tài nghiên cứu do Cơ quan chủ trì Học viện công nghệ bưu chính viễn thông cùng phối hợp với Chủ nhiệm đề tài TS. Nguyễn Trọng Khánh thực hiện “Nghiên cứu, xây dựng thử nghiệm hệ thống nhận dạng cử chỉ tay người dựa trên nền tảng IoT” đề xuất xây dựng một hệ thống nhận dạng cử chỉ tay động liên quan đến hoạt động của cánh tay sử dụng các cảm biến được tích hợp sẵn trong thiết bị đeo (ví dụ như đồng hồ thông minh) phù hợp với cấu hình hạn chế của các nền tảng IoT như nhà thông minh. Mục tiêu của đề tài hướng tới là nhận dạng hoạt động của tay (ví dụ giơ tay lên, xuống, sang trái, phải...) thông qua dữ liệu được thu thập bởi các thiết bị đeo thông minh tại cổ tay.

Gần đây với sự phát triển mạnh của lĩnh vực vi điện tử, các cảm biến được tích hợp ngày càng nhiều trong các thiết bị IoT và di động nhỏ gọn. Các cảm biến như cảm biến gia tốc, cảm biến con quay hồi chuyển cho phép chúng ta thu thập được nhiều thông tin hữu ích phục vụ cho việc dự đoán các cử chỉ tay động, đặc biệt liên quan đến hoạt động của bàn tay, cánh tay. Phần lớn thiết bị đeo tay hiện nay đều được trang bị với những khối đo lường này, ví dụ như đồng hồ thông minh hoặc các vòng đeo tay theo dõi sức khỏe. Các thiết bị đeo đang càng được cải thiện để làm tăng sự thoải mái trong các hoạt động hàng ngày khác nhau của con người.

Mục tiêu chính của đề tài là nghiên cứu, xây dựng hệ thống nhận dạng cử chỉ tay động của người dựa trên nền tảng IoT. Cụ thể, đề tài hướng tới sử dụng dữ liệu được ghi bởi các thiết bị đeo cổ tay, như thiết bị đeo thể thao thông minh, đồng hồ thông minh để nhận dạng hoạt động của cánh tay, ví dụ như các hành động giơ tay lên, xuống, đưa sang trái, phải... Bên cạnh đó, đề tài cũng hướng tới áp dụng phương pháp đề xuất để xây dựng hệ thống thử nghiệm nhận dạng hoạt động cánh tay trên các nền tảng/thiết bị IoT giới hạn về hiệu năng phần cứng.

Bài toán nhận dạng cử chỉ tay đã được quan tâm và nghiên cứu từ những năm đầu của thế kỷ trước. Trước đây, các nghiên cứu thường tập trung vào việc nhận dạng cử chỉ tay tĩnh bằng phương pháp thị giác máy tính: nhận dạng hình dáng của ngón tay, bàn tay... Tuy nhiên, gần đây với sự phát triển mạnh của lĩnh vực vi điện tử, các cảm biến được tích hợp ngày càng nhiều trong các thiết bị IoT và di động. Các cảm biến như cảm biến gia tốc, cảm biến con quay hồi chuyển cho phép chúng ta thu thập được nhiều thông tin hữu ích liên quan đến hoạt động của cử chỉ tay như hướng, gia tốc, xoay... Do đó đề tài hướng tới nghiên cứu, xây dựng hệ thống nhận dạng cử chỉ tay động dựa trên các thiết bị IoT và di động trên. Các đóng góp chính của đề tài bao gồm:

• Nghiên cứu, khảo sát các phương pháp nhận dạng cử chỉ tay động bằng cách sử dụng các thông tin cảm biến từ thiết bị có thể đeo, từ đó đề xuất giải pháp nhận dạng cử chỉ tay động phù hợp. Giải pháp đề xuất sử dụng 2 cảm biến chính là cảm biến gia tốc và con quay hồi chuyển, 2 cảm biến thường được tích hợp trên các thiết bị đeo phổ biến. Giải pháp đề xuất bao gồm ba bước chính. Đầu tiên dữ liệu trong không gian 3 chiều, biến thiên theo thời gian của cử chỉ tay được thu thập. Dữ liệu này sau đó được tiền xử lý bằng cách lọc nhiễu và phân đoạn. Tiếp đến dữ liệu được đưa vào mạng học sâu để trích chọn đặc trưng và phân loại cử chỉ. Đề tài đã thử nghiệm với 2 mạng học sâu đang được đánh giá cao trong nhận dạng cử chỉ tay động là mạng BaseLineCNN và mạng DeepConvLSTM. Kết quả cuối cùng mạng DeepConvLSTM cho kết quả tốt hơn.

• So với các nghiên cứu trước đây, cùng sử dụng chung mạng DeepConvLSTM, đề tài có đóng góp trong việc giảm thiểu số cảm biến/thiết bị đeo mà người dùng phải đeo. Trong nghiên cứu đề xuất đầu tiên bởi Ordóñez và đồng nghiệp, tác giả dùng đến 15 cảm biến với 5 thiết bị đeo trong khi đề tài chỉ cần 1 thiết bị đeo với 2 cảm biến. Và độ chính xác nhận dạng cử chỉ tay động gần như tương đương (91.5% với giải pháp đề xuất bởi Ordóñez và 91.27% với giải pháp được đề tài đề xuất).

• Xây dựng tập dữ liệu về cử chỉ tay động từ 20 người, với 18000 cử chỉ được thu thập. Đây là một tập dữ liệu quan trọng, phục vụ cho việc nghiên cứu và xây dựng các hệ thống nhận dạng cử chỉ tay động từ thiết bị cảm biến thông thường.

• Xây dựng hệ thống thử nghiệm nhận dạng cử chỉ tay phù hợp với điều kiện thực tế. Hệ thống đề xuất bao gồm 3 tầng, tầng 1 là ứng dụng chạy 22 trên nền tảng đồng hồ thông minh phổ biến, Wear OS, cho phép thu thập dữ liệu từ 2 cảm biến gia tốc và con quay hồi chuyển. Tầng 2 cũng là một ứng dụng chạy trên nền tảng điện thoại thông minh phổ biến Android, được dùng để truyền dữ liệu lên tầng 3, hoặc nhận dạng cử chỉ tay động trong thời gian thực. Tầng 3 là tầng mở rộng được để xuất để sau này hệ thống có thể phát triển bằng cách tích hợp với các nền tảng thứ 3. Hiện tại tầng 3 chỉ dùng để hiện thỉ kết quả nhận dạng.

Có thể tìm đọc báo cáo kết quả nghiên cứu (mã số 16880/2019) tại Cục Thông tin KHCNQG.

Đ.T.V (NASATI)