การรู้จำท่าทางมือสำหรับตรวจจับความมีชีวิตของผู้ใช้แบบทันทีทันใดในแอปพลิเคชันโทรศัพท์เคลื่อนที่โดยใช้การเรียนรู้เชิงลึกHand Gesture Recognition for Real-time Liveness Detection in Mobile Phone Applications Using Deep Learning

Abstract

ระบบระบุตัวตนด้วยใบหน้าซึ่งเป็นที่นิยมใช้กันในปัจจุบันโดยเฉพาะในแอปพลิเคชันบนโทรศัพท์เคลื่อนที่สมาร์ทโฟนนั้น มีจุดอ่อนที่สามารถถูกโจมตีได้ด้วยวิธีการต่าง ๆ เช่น การใช้รูปภาพใบหน้าสองมิติหรือใช้แบบจำลองใบหน้าที่พิมพ์ด้วยเครื่องพิมพ์สามมิติมาแสดงที่หน้ากล้องเพื่อหลอกระบบว่าเป็นใบหน้าของบุคคลนั้น ๆ เพื่อป้องกันการถูกโจมตีในลักษณะดังกล่าวแอปพลิเคชันส่วนใหญ่จึงมักมีการตรวจสอบด้วยวิธีการอื่นเพิ่มเติม เพื่อให้แน่ใจว่าใบหน้าที่เห็นปรากฏอยู่หน้ากล้องนั้นเป็นใบหน้าของบุคคลจริงที่มีชีวิต หรือเป็นใบหน้าที่ไม่มีชีวิตของภาพถ่ายหรือรูปปั้น ซึ่งกระบวนการนี้เรียกว่า “การตรวจสอบความมีชีวิตของผู้ใช้งาน” งานวิจัยชิ้นนี้มีวัตถุประสงค์เพื่อ (1) ศึกษาความเป็นไปได้ของการนำท่าทางสัญลักษณ์มือมาใช้ในการตรวจสอบความมีชีวิตของผู้ใช้งาน (2) เพื่อเสริมความปลอดภัยให้กับระบบระบุตัวตนด้วยใบหน้าของแอปพลิเคชันในโทรศัพท์เคลื่อนที่สมาร์ทโฟน โดยนอกจากการทดลองและพัฒนาแบบจำลองการเรียนรู้เชิงลึกที่สามารถแยกแยะท่าทางสัญลักษณ์มือหกท่าได้แล้ว ผู้วิจัยยังได้ทำการพัฒนาระบบต้นแบบบนโทรศัพท์เคลื่อนที่สมาร์ทโฟนที่รวมเอาระบบตรวจจับใบหน้าเข้ากับการใช้ท่าทางของมือเพื่อตรวจสอบความมีชีวิตของผู้ใช้ ทั้งนี้ระบบต้นแบบดังกล่าวถูกนำไปทดลองใช้เพื่อศึกษาประสบการณ์การใช้งานจากผู้ใช้จำนวน 40 รายในช่วงอายุต่าง ๆ กัน

Recently vision-based face identification systems have become popular in mobile phone applications as they introduce easy and non-intrusive ways of human identification. Despite of their popularity, these systems can be easily tricked by 2D printed images or 3D printed models of faces. To prevent such attacks, most vision-based face identification systems enhance their security by involving additional liveness detection methods; this is for the purpose of checking whether the face as seen by camera is a face of living people or a face of non-living 2D images, 3D printed models or other statues. In this research, we conduct a feasibility study regarding usages of real-time hand gestures for liveness detection in smartphone-based face identification systems. Our work includes not only developing a robust in-depth learning model for real-time hand gesture recognition, but also creating a smartphone-based prototype application. This prototype application has been brought to test with 40 different smartphone users from various ranges of ages, allowing us to evaluate on-production technical efficiency, user satisfaction, and use acceptance.