EPYC 9006 วางกำลัง LLM Server

ข่าว CPU ชี้ให้เห็นงานรอบโมเดล

AMD อธิบาย EPYC 9006 เมื่อ 23 กรกฎาคม 2026 ว่า CPU มีบทบาททั้งรัน agent ป้อนงานให้ accelerator และรองรับบริการองค์กร โดย SP7 มีได้ถึง 256 คอร์ ส่วน SP8 มีตัวเลือก 8 ถึง 128 คอร์ ตาม แหล่งข่าว AMD

สำหรับการออกแบบ LLM Server ประเด็นที่นำมาใช้ได้คือการแยกงานก่อนเลือกกำลังเครื่อง โมเดลอาจรันบน GPU แต่คำขอหนึ่งครั้งยังผ่านการอ่านเอกสาร แปลงข้อความ ตรวจสิทธิ์ และค้นข้อมูล หากขั้นใดรออยู่ การเพิ่มความแรงของโมเดลเพียงส่วนเดียวอาจไม่ได้ลดเวลาที่ผู้ใช้เห็น

วาดเส้นทางคำขอให้ครบก่อนคำนวณ RAM

เริ่มด้วยแผนภาพง่าย ๆ ตั้งแต่ผู้ใช้ส่งคำถามจนได้รับคำตอบ ระบุว่าแต่ละขั้นอยู่บนเครื่องไหนและใช้ข้อมูลชุดใด จากนั้นเก็บเวลาของแต่ละขั้นแยกกัน อย่าให้รายงานมีเพียงค่าเฉลี่ยรวม เพราะค่าเฉลี่ยอาจซ่อนช่วงที่ผู้ใช้บางคนต้องรอนานกว่าคนอื่น

ข้อวิเคราะห์ของเราคือควรเก็บรายการหน่วยความจำเป็นงบประมาณของระบบ ไม่ใช่ดูแค่ขนาดไฟล์โมเดล เก็บส่วนที่ใช้คงที่กับส่วนที่โตตามผู้ใช้แยกกัน แล้วทดลองเพิ่มงานทีละระดับจนเห็นจุดที่เวลารอเริ่มเปลี่ยน

ส่วนของระบบ	สิ่งที่ใช้วางความจุ
รับเอกสารและแปลงข้อความ	ขนาดไฟล์ รูปแบบไฟล์ และจำนวนงานนำเข้า
ดัชนีค้นหา	จำนวนเอกสาร ขนาดดัชนี และช่วงอัปเดต
บริบทของโมเดล	ความยาวคำถาม เอกสารแนบ และงานพร้อมกัน
บริการพื้นฐาน	ฐานข้อมูล แคช การบันทึกเหตุการณ์ และพื้นที่สำรอง

ค่าในแต่ละแถวต้องมาจากการทดลองของโครงการ บทความนี้ไม่ได้ให้สูตรรับรองว่าความจุ RAM ใดเหมาะกับทุกโมเดล

จัดกลุ่มงานเพื่อให้การทดสอบมีความหมาย

แยกงานตอบโต้ทันทีออกจากงานนำเข้าเอกสารที่รอได้ แล้วลองรันทั้งสองพร้อมกัน งานนำเข้าจำนวนมากอาจทำให้บริการค้นข้อมูลช้าลง แม้จำนวนคำถามของผู้ใช้จะเท่าเดิม การตรวจรับจึงควรมีทั้งวันที่โหลดเบาและช่วงที่ระบบกำลังทำงานเบื้องหลัง

บันทึกจำนวนผู้ใช้พร้อมกัน เวลาเริ่มตอบ เวลาจบคำตอบ และปริมาณ RAM ที่เหลือ หากผลช้า ให้ดูตำแหน่งที่รอจริงก่อนเพิ่มคอร์ ตรวจด้วยว่าซอฟต์แวร์ใช้ทรัพยากรได้ตามที่คาดหรือกำลังติดข้อจำกัดอื่น เช่น ดิสก์หรือการเรียกบริการภายนอก นี่เป็นแนวทางวิเคราะห์ ไม่ใช่ผล benchmark EPYC ของเรา

นำความต้องการไปคุยกับผู้ติดตั้ง

เวที Advancing AI 2026 ให้ภาพรวมสถาปัตยกรรมของ AMD แต่ไม่ได้แทนผลทดสอบเครื่องที่คุณจะรับมอบ ขอรายงานที่ระบุรุ่น CPU การตั้งค่าหน่วยความจำ runtime และวิธีสร้างโหลดไว้ด้วย เพื่อให้ทีมอื่นทดสอบซ้ำภายหลังได้

ข่าวนี้ยังไม่ยืนยันราคา สต็อกไทย หรือชุดซอฟต์แวร์ที่รองรับ EPYC 9006 หากต้องเตรียมข้อมูลให้ทีมออกแบบ LLM Server ให้รวบรวมตัวอย่างงาน ตารางเวลานำเข้า และขอบเขตผู้ใช้ก่อน รายการเหล่านี้ช่วยให้ข้อเสนอเรื่อง CPU และ RAM มีเหตุผลที่ตรวจสอบได้