Switchyard กับเวลารอใน RAG

Router เพิ่มขั้นตัดสินใจให้ RAG

NVIDIA เปิดตัว Nemotron 3.5 Lightning และ NeMo Switchyard เมื่อ 11 สิงหาคม 2026 โดย Switchyard เป็น router สำหรับงานที่ใช้หลายโมเดล ตาม ประกาศทางการ การมีโมเดลเฉพาะทางเพิ่มขึ้นทำให้ทีมออกแบบระบบมีตัวเลือกมากขึ้น แต่ยังต้องพิสูจน์ว่าเส้นทางใหม่ช่วยงานของตนจริง

สำหรับ RAG Server คำถามสำคัญไม่ได้มีเพียง “โมเดลไหนสร้าง token เร็วกว่า” เพราะคำตอบต้องผ่านการเลือกแหล่งข้อมูล ค้นข้อความ และประกอบหลักฐาน หาก router เลือกโมเดลเร็วแต่ส่งคำถามไปยังเส้นทางที่ค้นเอกสารไม่ครบ ผู้ใช้ก็อาจได้คำตอบเร็วที่ตรวจสอบไม่ได้

แยกเวลาออกเป็นสี่ช่วง

ข้อวิเคราะห์ที่เราเสนอคือบันทึกเวลาเป็นช่วงที่มีเจ้าของชัดเจน อย่าวัดเฉพาะตั้งแต่โมเดลเริ่มทำงาน แล้วเรียกผลนั้นว่าเวลา RAG ทั้งระบบ ระหว่างทดสอบให้ใช้คำถามและเอกสารชุดเดียวกันสำหรับทุกเส้นทาง พร้อมเก็บรหัสคำขอเพื่อเชื่อมผลแต่ละช่วงเข้าด้วยกัน

ช่วงงาน	คำถามที่ต้องตอบ
เลือกเส้นทาง	Router ใช้เวลาเท่าไร และเลือกจากอะไร
ค้นเอกสาร	พบข้อความที่ตอบคำถามหรือมีแต่ข้อความคล้ายกัน
สร้างคำตอบ	เริ่มตอบเมื่อไร และจบงานเมื่อไร
ตรวจหลักฐาน	อ้างอิงตรงกับต้นฉบับและรุ่นเอกสารหรือไม่

ตารางนี้เป็นกรอบทดลองของทีมจัดซื้อ ไม่ใช่ผลประสิทธิภาพที่ NVIDIA รับรองสำหรับ RAG ขององค์กรไทย

ทดลองทางเลือกที่ผิดด้วย

แบ่งชุดคำถามตามฝ่ายงาน เช่น คู่มือปฏิบัติงาน เอกสารจัดซื้อ และนโยบายบริษัท เพิ่มคำถามกำกวมที่ต้องถามกลับ รวมถึงคำถามที่ไม่มีคำตอบในคลัง ความสามารถในการหยุดและบอกว่าหาข้อมูลไม่พบมีความสำคัญพอ ๆ กับความเร็วในการตอบคำถามง่าย

ทดสอบเส้นทางสำรองเมื่อโมเดลไม่พร้อมด้วย หาก router ลองโมเดลหนึ่งก่อนแล้วส่งต่อ การรอสองครั้งอาจทำให้เวลาจบงานสูงขึ้น บันทึกจำนวนครั้งที่ retry และสาเหตุ แยกความล้มเหลวของระบบค้นข้อมูลออกจากความล้มเหลวของโมเดล เพื่อให้แก้ตรงจุดและอธิบายผลกับเจ้าของงานได้

ตรวจรับผลเป็นงานที่เสร็จและตรวจสอบได้

วิดีโอ Why AI Agents Need More Than One Model ของ NVIDIA เผยแพร่ก่อนข่าวนี้ ใช้เป็นพื้นฐานเรื่องการแบ่งงานหลายโมเดล ไม่ใช่ benchmark ของ RAG Server หรือหลักฐานว่าคำถามภาษาไทยจะเร็วขึ้นตามตัวอย่าง

ก่อนเลือกฮาร์ดแวร์ให้ใช้ผลทดลองตัดสินว่าเวลาหมดไปกับค้นเอกสาร ประมวลผลโมเดล หรือการส่งต่อ ราคาซอฟต์แวร์ ความเข้ากันได้ และกำหนดติดตั้งในไทยต้องตรวจเป็นรายชุด ยังไม่มีผลวัดของ Mimir ในบทความนี้ ดู แนวทาง RAG Server เพื่อจัดรายการข้อมูล คำถาม และเกณฑ์รับมอบให้ครบก่อนขอข้อเสนอ