การศึกษาวิธีการเปรียบเทียบวัตถุสามมิติบนภาพถ่ายด้วยแผนที่ UV ด้วยการใช้คุณลักษณะและเครือข่ายนิวรัลComparison Study of 3D Object Matching Techniques for UV Projection Mapping: Image Feature-based and Neural Network-based Approaches

Abstract

งานวิจัยนี้เป็นการออกแบบวิธีการเปรียบเทียบวัตถุสามมิติบนภาพถ่ายด้วยแผนที่ UV โดยการนำแผนที่ UV ในเฟรมที่ต้องการเปรียบเทียบมาเทียบกับแผนที่ UV ที่เป็นตัวอ้างอิงหรือแผนที่ UV ที่ได้จากเฟรมซึ่งมีการตรวจสอบว่าถูกต้องแล้วด้วยมนุษย์ ซึ่งในการเปรียบเทียบวิธีการดั้งเดิมได้ใช้การเปรียบเทียบแบบพิกเซลต่อพิกเซลและการเปรียบเทียบโดยใช้วิธีการจับคู่ลักษณะเด่น แล้วนำผลลัพธ์ที่ได้จากการเปรียบเทียบไปคำนวณหาความคลาดเคลื่อนของตำแหน่งวัตถุสามมิติ เป้าหมายคือการนำอัลกอริทึมสำหรับการเปรียบเทียบแผนที่ UV ไปต่อยอดกับการติดตามวัตถุสามมิติบนภาพถ่ายเพื่อลดเวลาที่ใช้และเพิ่มความแม่นยำในขั้นตอนการจับการเคลื่อนไหวของตำแหน่งภาพของการทำเทคนิคพิเศษทางภาพ ในงานวิจัยนี้ศึกษาวิธีการเปรียบเทียบแผนที่ UV ซึ่งแบ่งเป็น 2 ประเภทใหญ่ได้แก่การใช้คุณลักษณะทางภาพและการใช้เครือข่ายนิวรัล ได้ออกแบบการทดลองทั้งหมดเป็นจำนวน 5 แบบได้แก่ 1) การเปรียบเทียบแบบพิกเซลต่อพิกเซลด้วยการลบแบบปกติ (Subtract) 2) การเปรียบเทียบแบบพิกเซลต่อพิกเซลด้วยค่าสัมบูรณ์ของผลต่าง (Absdiff) 3) การเปรียบเทียบโดยใช้วิธีการจับคู่ลักษณะ เด่นด้วย SIFT 4) การเปรียบเทียบโดยใช้วิธีการจับคู่ลักษณะเด่นด้วย SIFT กับ Ratio test และ 5) การเปรียบเทียบโดยใช้วิธีการจับคู่ลักษณะเด่นด้วย SuperPoint กับ SuperGlue ซึ่งแต่ละวิธีให้ความแม่นยำในการเปรียบเทียบสำหรับการเปรียบเทียบทั้งแผนที่ UV เท่ากับ 50%, 100%, 33.33%, 16.67% และ 91.67% ตามลำดับ และการเปรียบเทียบเฉพาะด้านที่มีเหมือนกันเท่ากับ 67.5%, 100%, 25%, 8.33% และ 100% ตามลำดับ

This work describes a method for comparing 3D objects on an image with a UV map by comparing the UV map in the desired frame with the reference UV map or the frame-derived UV map verified to be valid by humans. For the comparison method, pixel-by-pixel comparison and feature-matching comparison were performed. Then the results obtained from the comparison were used to calculate the discrepancy of the position of 3D objects. The primary objective is to apply the UV map comparison algorithm to the 3D object matching on the image to reduce the time spent and increase the accuracy of the tracking step in Visual Effect (VFX). In this work, we studied two algorithm styles: Image feature-based and neural network-based approaches. Totally, five UV map comparison methods were observed: 1) pixel-by-pixel comparison with Normal Subtract, 2) pixel-by-pixel comparison with Absolute Value of Difference (Absdiff), 3) feature matching method with SIFT, 4) feature matching method with SIFT and 5) Ratio test, and comparison with feature matching method with SuperPoint and SuperGlue. Each of these methods yielded a comparison accuracy for a comparison of the entire UV map of 50%, 100%, 33.33%, 16.67%, and 91.67%, respectively. The specific side comparison yielded 67.5%, 100%, 25%, 8.33%, and 100%, respectively.