การวิเคราะห์อารมณ์จากใบหน้ามนุษย์แบบเวลาจริงโดยใช้เทคนิคการเรียนรู้เชิงลึกบนอุปกรณ์สมองกลฝังตัวต้นทุนต่ำA Real-Time Analysis of Human Face Emotions Using Deep Learning Techniques on Low-Cost Embedded Devices

Abstract

อารมณ์เป็นการแสดงออกทางพื้นฐานอย่างหนึ่งของมนุษย์ ซึ่งมีการแสดงออกในหลากหลายรูปแบบ เช่น จากเสียง ใบหน้า หรือท่าทาง ในการพัฒนาระบบที่มีการปฏิสัมพันธ์กับมนุษย์นั้น การรับรู้ถึงอารมณ์ที่มนุษย์ตอบสนองกับระบบกลับมานั้น จึงเป็นเรื่องที่สำคัญเป็นอย่างยิ่ง บทความนี้นำเสนอการออกแบบและพัฒนาแบบจำลองการเรียนรู้เชิงลึก YOLOv4-tiny และ YOLOv5s เพื่อวิเคราะห์อารมณ์จากใบหน้ามนุษย์ โดยแบบจำลองทำงานบนอุปกรณ์สมองกลฝังตัวต้นทุนต่ำ Jetson Nano ที่ติดตั้งกล้องในตัว จากนั้นภาพเคลื่อนไหวที่รับเข้ามาจากกล้องจะถูกตรวจจับใบหน้าแบบเวลาจริง เพื่อตีกรอบรอบใบหน้าและแสดงผลการวิเคราะห์อารมณ์ของใบหน้านั้น ซึ่งแบบจำลองสามารถจำแนกอารมณ์ทั้งหมดออกเป็น 7 อารมณ์ ได้แก่ โกรธ รังเกียจ กลัว ดีใจ เสียใจ ตกใจ และเฉยๆ โดยใช้ชุดข้อมูลภาพ RAF-DB ในการฝึกฝนและทดสอบแบบจำลองผลจากการประเมินประสิทธิภาพด้านความถูกต้องของแบบจำลอง พบว่า โดยภาพรวมแบบจำลอง YOLOv5s ให้ผลการทำงานที่ดีกว่า YOLOv4-tiny โดยค่า F1 Score ของแบบจำลอง YOLOv5s ได้คะแนน 0.806 ในขณะที่แบบจำลอง YOLOv4-tiny ได้คะแนน 0.774 สำหรับประสิทธิภาพด้านความเร็วในการประมวลผลพบว่า แบบจำลอง YOLOv5 สามารถแสดงวิดีโอได้ประมาณ 11 FPS ในขณะที่ YOLOv4-tiny สามารถแสดงผลวิดีโอได้ประมาณ 10.5 FPS

Emotions are one of the most fundamental human expressions, which can be expressed in a variety of ways, such as by voice, face, or gestures. In the development of systems that interact with humans, it is extremely important to recognize how human emotions react to the system. This article presents the design and development of the YOLOv4-tiny and YOLOv5s deep learning models to analyze emotions from human faces. The model runs on a low-cost embedded device, the Jetson Nano, equipped with a built-in camera. The motion picture received from the camera is identified by detecting and framing faces, then displayed the emotional analysis of the faces in real-time. The model can categorize 7 emotions: anger, disgust, fear, happiness, sadness, surprise, and neutral. The RAF-DB image dataset was used to train and test the models. Upon the evaluation, we found that the YOLOv5s model performed better than the YOLOv4-tiny model in terms of accuracy, with an F1 score of 0.806 compared to 0.774 for the YOLOv4-tiny model. In terms of processing speed, the YOLOv5 model can display video at roughly 11 FPS, while the YOLOv4-tiny can display video at approximately 10.5 FPS.