Apple โชว์ของ SHARP เปลี่ยนภาพนิ่งเป็น 3D สมจริงใน 1 วินาที

ปกติแล้วการทำโมเดล 3D จากภาพถ่าย (Photogrammetry) เรามักคุ้นเคยกับการที่ต้องถ่ายรูปวนรอบวัตถุเป็นสิบหรือเป็นร้อยรูปเพื่อให้ได้มิติที่ครบถ้วน แต่ล่าสุดทีมนักวิจัยของ Apple ได้ฉีกตำราเดิมทิ้งด้วยการเปิดตัวโมเดลใหม่ที่ชื่อว่า SHARP (Sharp Monocular View Synthesis) ที่เคลมว่าสามารถเสกภาพถ่าย 2D ธรรมดาเพียงใบเดียว ให้กลายเป็นฉาก 3D ที่สมจริงได้ในเวลาไม่ถึง 1 วินาที

เบื้องหลังความสามารถนี้คือการประยุกต์ใช้เทคนิคที่เรียกว่า 3D Gaussian Splatting (การใช้จุดแสงสีจำนวนมากมาประกอบกันเป็นภาพในพื้นที่สามมิติ) ซึ่งปกติวิธีนี้ต้องใช้ภาพต้นฉบับจำนวนมากเพื่อประมวลผล แต่ SHARP ถูกเทรนมาด้วยข้อมูลสังเคราะห์และข้อมูลจริงมหาศาลจน "เข้าใจ" แพทเทิร์นความลึกและรูปทรงของวัตถุ ทำให้มันสามารถคาดเดา (Predict) และสร้างมิติความลึกขึ้นมาได้เองจากการประมวลผลผ่าน Neural Network เพียงรอบเดียว (Single Feedforward Pass) บน GPU มาตรฐานทั่วไป

อย่างไรก็ตาม ของดีก็ต้องมีข้อแลกเปลี่ยน ตัวโมเดล SHARP นี้ออกแบบมาเพื่อเรนเดอร์มุมมองระยะใกล้ (Nearby Views) จากจุดที่ถ่ายภาพเป็นหลัก ไม่ใช่การเนรมิตฉากส่วนที่มองไม่เห็นขึ้นมาใหม่ทั้งหมด (เช่น ด้านหลังของกำแพงที่ถูกบังอยู่) เพื่อแลกกับความเร็วระดับปีศาจและความแม่นยำของสเกลภาพที่สมจริง ซึ่งผลลัพธ์ที่ได้จากการทดสอบระบุว่ามีค่าความผิดพลาดน้อยกว่าโมเดลคู่แข่งตัวท็อปอย่าง Gen3C ถึง 25-43% เลยทีเดียว

ที่น่าสนใจคือ Apple ไม่ได้เก็บของดีไว้ใช้คนเดียว แต่ปล่อยโค้ดลง GitHub ให้เหล่านักพัฒนาไปลองของกันแล้ว ซึ่งตอนนี้เริ่มมีคนเอาไปรันบนชิป M3 หรือเขียน Renderer ด้วย Three.js กันอย่างสนุกสนาน ใครที่เป็นสาย Dev หรือสนใจเรื่อง 3D Vision ลองไปเล่นกันดูได้ ไม่แน่ว่านี่อาจจะเป็นจิ๊กซอว์ชิ้นสำคัญสำหรับการสร้างคอนเทนต์แบบเร่งด่วนบน Vision Pro ในอนาคตก็ได้