Apple ซุ่มพัฒนา AI ใหม่ FS-DFM เขียนยาว ๆ เร็วขึ้น 128 เท่า

ในขณะที่ใคร ๆ ก็พูดถึงสงคราม AI, Apple ก็ไม่ได้นั่งเฉย ๆ ล่าสุดทีมนักวิจัยของ Apple ร่วมกับ Ohio State University ได้เปิดตัวงานวิจัยโมเดล AI ใหม่ชื่อ FS-DFM ที่เคลมว่าสามารถเขียนข้อความยาว ๆ ได้เร็วกว่าโมเดลอื่น ๆ ถึง 128 เท่า ซึ่งถือเป็นการขยับตัวที่น่าจับตาในวงการ

เพื่อให้เห็นภาพ ปกติแล้วโมเดลอย่าง ChatGPT จะทำงานแบบ Autoregressive คือค่อย ๆ สร้างข้อความทีละคำต่อกันไปเรื่อย ๆ ในขณะที่โมเดลอีกประเภทที่เรียกว่า Diffusion จะสร้างคำหลาย ๆ คำพร้อมกันแล้วค่อย ๆ ขัดเกลาในหลายขั้นตอน แต่ FS-DFM (Few-Step Discrete Flow-Matching) ที่ Apple พัฒนาขึ้นมานี้ ใช้แนวทางที่แตกต่างออกไป คือลดขั้นตอนการขัดเกลาที่ยืดยาวให้เหลือเพียงไม่กี่รอบเท่านั้น

ความเจ๋งของ FS-DFM คือสามารถสร้างข้อความที่สมบูรณ์ได้โดยใช้การปรับแก้แค่ 8 รอบ แต่กลับให้คุณภาพเทียบเท่ากับโมเดล Diffusion อื่น ๆ ที่ต้องใช้ขั้นตอนเป็นพัน ๆ รอบเลยทีเดียว เคล็ดลับอยู่ที่กระบวนการสอนแบบ 3 ขั้นตอน คือฝึกให้โมเดลรับมือกับการปรับแก้ในจำนวนรอบที่ต่างกัน, ใช้ 'โมเดลครู' คอยไกด์ให้การปรับแก้แต่ละครั้งแม่นยำขึ้น และปรับปรุงการทำงานในแต่ละรอบเพื่อให้ไปถึงผลลัพธ์สุดท้ายได้เร็วและเสถียรขึ้น

เมื่อนำไปเทียบกับโมเดล Diffusion ที่มีขนาดใหญ่กว่าอย่าง Dream (7 พันล้านพารามิเตอร์) และ LLaDA (8 พันล้านพารามิเตอร์) ผลปรากฏว่า FS-DFM ที่มีขนาดเล็กกว่า (1.7, 1.3 และ 0.17 พันล้านพารามิเตอร์) กลับทำคะแนนได้ดีกว่าอย่างสม่ำเสมอ ทั้งในด้าน Perplexity (ค่าที่วัดความลื่นไหลและความเป็นธรรมชาติของภาษา ยิ่งต่ำยิ่งดี) และ Entropy (ค่าที่วัดความมั่นใจในการเลือกคำ) ที่มีความเสถียรมากกว่า

ทางทีมวิจัยยังบอกด้วยว่าจะปล่อยโค้ดและโมเดลออกมาให้นักวิจัยคนอื่น ๆ ได้นำไปศึกษาและพัฒนาต่อยอดได้ด้วย งานนี้ดูเหมือนว่า Apple จะไม่ได้แค่นั่งดูคนอื่นแข่งกัน แต่กำลังซุ่มพัฒนาอาวุธลับของตัวเองอยู่เงียบ ๆ ก็เป็นได้