DGX Spark รันโมเดลได้ใหญ่แค่ไหน

ตามที่ NVIDIA ระบุ หนึ่งเครื่องรองรับโมเดลประมาณ 200B parameters ที่ FP4 และสองเครื่องที่เชื่อมกันประมาณ 400B ในทางปฏิบัติ ขนาดที่ใช้ได้จริงขึ้นกับความยาว context และจำนวนผู้ใช้พร้อมกัน เราจึงคำนวณให้ก่อนจะบอกว่าเครื่องนี้พอหรือไม่

ใช้แทนเซิร์ฟเวอร์สำหรับทั้งบริษัทได้ไหม

โดยทั่วไปไม่ได้ DGX Spark ออกแบบมาสำหรับทีมเล็กและงานพัฒนา LPDDR5x มีแบนด์วิดท์ต่ำกว่า HBM บน GPU ระดับเซิร์ฟเวอร์ เมื่อผู้ใช้พร้อมกันเพิ่มขึ้น ความเร็วที่คนรู้สึกจึงลดลงเร็วกว่าเครื่องระดับเซิร์ฟเวอร์

ต่างจากเวิร์กสเตชันที่ใส่การ์ดเองอย่างไร

ต่างกันที่หน่วยความจำ เวิร์กสเตชันถูกจำกัดด้วย VRAM ของการ์ดที่ใส่ ส่วน DGX Spark ให้ unified memory 128 GB ที่ CPU และ GPU ใช้ร่วมกัน จึงโหลดโมเดลใหญ่กว่าได้ ข้อแลกเปลี่ยนคือแบนด์วิดท์ต่ำกว่า และขยายได้ทางเดียวคือเชื่อมเครื่องที่สอง

ซื้อผ่านเราต่างจากซื้อเองอย่างไร

เครื่องเปล่ายังไม่ใช่ระบบ AI เราติดตั้งระบบปฏิบัติการและ runtime เลือกและโหลดโมเดลที่เหมาะกับงานของคุณ ตั้งค่าชั้นซอฟต์แวร์ อบรมทีม และดูแลต่อหลังส่งมอบ ถ้าคุณมีทีมที่ทำทั้งหมดนี้ได้เอง การซื้อเฉพาะเครื่องก็เป็นทางเลือกที่สมเหตุสมผล

ทีม AI ขนาดเล็กและงานพัฒนา

DGX Spark สำหรับทีม AI ในไทย

DGX Spark คือเครื่อง AI ขนาดเดสก์ท็อปจาก NVIDIA ที่มี unified memory 128 GB เหมาะกับทีมเล็ก งานพัฒนา และการทดลองโมเดล เราออกแบบระบบรอบเครื่องนี้ ติดตั้ง และตั้งค่าให้ใช้งานได้จริง

GB10 Grace Blackwellunified memory 128 GBรูปทรงเดสก์ท็อปทีม 1 ถึง 4 คน

ขอคำแนะนำ AI Server

DGX Spark คืออะไร

เครื่อง AI ขนาดวางบนโต๊ะ ที่มีหน่วยความจำเท่าเซิร์ฟเวอร์ขนาดเล็ก

จุดเด่นคือ unified memory 128 GB ที่ CPU และ GPU ใช้ร่วมกัน ทำให้โหลดโมเดลที่ใหญ่กว่าที่การ์ดเดสก์ท็อปทั่วไปรับไหว โดยไม่ต้องมีแร็ค ไม่ต้องใช้ไฟสามเฟส และไม่ต้องมีห้องเซิร์ฟเวอร์

หน่วยประมวลผล

GB10 Grace Blackwell Superchip

CPU และ GPU อยู่บนชิปเดียวกัน ใช้หน่วยความจำก้อนเดียวร่วมกัน ข้อมูลจึงไม่ต้องคัดลอกไปมาระหว่างสองฝั่ง

หน่วยความจำ

128 GB unified LPDDR5x

CPU และ GPU ใช้ทั้ง 128 GB ร่วมกัน จึงโหลดโมเดลที่ใหญ่กว่าที่การ์ดเดสก์ท็อปทั่วไปรับไหวได้

ประสิทธิภาพตามที่ระบุ

สูงสุด 1 PFLOP ที่ FP4

ตามที่ NVIDIA ระบุ เป็นความสามารถสูงสุดของชิป ไม่ใช่ผลการวัดกับโมเดลของคุณ

พื้นที่จัดเก็บ

NVMe 4 TB

พอสำหรับหลายโมเดล ชุดข้อมูลขนาดกลาง และผลการทดลอง โดยไม่ต้องต่อ storage ภายนอก

เครือข่าย

ConnectX-7 200 GbE

ใช้เชื่อมสองเครื่องเข้าด้วยกัน เพื่อรวมหน่วยความจำสำหรับโมเดลที่ใหญ่เกินเครื่องเดียว

รูปทรงและระบบปฏิบัติการ

เดสก์ท็อป, NVIDIA DGX OS

วางบนโต๊ะ ใช้ไฟบ้านปกติ ไม่ต้องมีแร็คและไม่ต้องมีห้องเซิร์ฟเวอร์ ระบบปฏิบัติการคือ DGX OS ซึ่งพัฒนาบน Ubuntu

เหมาะกับงานแบบไหน

เครื่องนี้เหมาะกับงานบางแบบอย่างชัดเจน และไม่เหมาะกับงานอีกแบบอย่างชัดเจนเช่นกัน

เราบอกทั้งสองด้าน เพราะการซื้อ DGX Spark ไปทำงานที่ต้องใช้เครื่องระดับเซิร์ฟเวอร์ เท่ากับจ่ายสองรอบ

เหมาะกับ

ทีม AI ขนาดเล็ก 1 ถึง 4 คน ที่อยากมีเครื่องของตัวเอง แทนการรอคิว GPU ที่ใช้ร่วมกัน
งานพัฒนาและการทดลอง: ลองหลายโมเดล เทียบ prompt เทียบ quantization
การทำ fine-tuning โมเดลขนาดเล็กด้วยข้อมูลของบริษัท
การทำ inference ในเครื่อง สำหรับคนไม่กี่คนที่ทำงานกับข้อมูลอ่อนไหว
การทดสอบโมเดลขนาดใหญ่ ก่อนตัดสินใจลงทุนเครื่องระดับ production

ไม่เหมาะกับ

การให้บริการผู้ใช้พร้อมกันจำนวนมาก เพราะแบนด์วิดท์ของ LPDDR5x ต่ำกว่า HBM บน GPU ระดับเซิร์ฟเวอร์
งาน production ที่ต้องการระบบสำรอง เพราะเป็นเครื่องเดี่ยวที่ไม่มีอะไหล่สำรอง
งาน training ขนาดใหญ่ที่ต้องใช้หลาย GPU ต่อเนื่องหลายวัน
งานที่ต้องติดตั้งรวมในแร็ค ที่ใช้ไฟและระบบระบายความร้อนของ data center
การขยายทีละขั้น เพราะเพิ่มการ์ดไม่ได้ ทางขยายมีทางเดียวคือเชื่อมเครื่องที่สอง

เทียบกับขนาดเครื่องแบบอื่น

DGX Spark อยู่ตรงไหนเมื่อเทียบกับเซิร์ฟเวอร์ 1 และ 4 GPU

หน่วยความจำมากกว่าไม่ได้แปลว่ารองรับผู้ใช้ได้มากกว่า ชนิดของหน่วยความจำและแบนด์วิดท์ของมัน เป็นตัวกำหนดว่าเครื่องรองรับผู้ใช้พร้อมกันได้กี่คน

เปรียบเทียบ DGX Spark กับเซิร์ฟเวอร์ 1 GPU และเซิร์ฟเวอร์ 4 GPU
ระบบ	หน่วยความจำ	ชนิดหน่วยความจำ	รูปทรงและการติดตั้ง	ผู้ใช้พร้อมกัน	งานที่เหมาะ
DGX Spark	128 GB	unified LPDDR5x	เดสก์ท็อป, ไฟบ้านปกติ	1 ถึง 4	งานพัฒนา การทดลอง fine-tuning โมเดลเล็ก และ inference สำหรับหนึ่งทีม
Server 1 GPU	48 ถึง 96 GB	HBM หรือ GDDR บนการ์ด	แร็ค 2U ถึง 4U	10 ถึง 40	RAG server และเครื่อง private AI เครื่องแรกของบริษัทขนาดกลาง
Server 4 GPU	192 ถึง 384 GB	HBM หรือ GDDR บนการ์ด	แร็ค 4U ขึ้นไป ต้องมีห้องเซิร์ฟเวอร์	40 ถึง 150	หลายฝ่าย หลายโมเดลพร้อมกัน และ fine-tuning ขนาดกลาง

จำนวนผู้ใช้พร้อมกันเป็นแนวทางสำหรับเริ่มคุยกัน ไม่ใช่ผลการวัด benchmark ตัวเลขจริงขึ้นกับโมเดล ความยาว context และวิธีใช้งานระบบ

สิ่งที่เราทำให้

เราออกแบบระบบรอบเครื่องนี้ ติดตั้ง และตั้งค่าให้

DGX Spark เป็นผลิตภัณฑ์ของ NVIDIA งานของเราคือการทำให้เครื่องนั้นกลายเป็นระบบที่ทีมของคุณใช้ทำงานจริงได้ตั้งแต่สัปดาห์แรก

การจัดหาเครื่อง: สั่งผ่านช่องทางจัดจำหน่าย พร้อมใบเสนอราคาที่ระบุรุ่นและอุปกรณ์ประกอบทุกชิ้น
การติดตั้ง DGX OS และ runtime: ระบบปฏิบัติการ ไดรเวอร์ container runtime และ serving engine ตั้งค่าไว้พร้อมใช้งาน
การโหลดและทดสอบโมเดล: เราเลือกและโหลดโมเดลที่เหมาะกับงานของคุณ แล้วทดสอบด้วยคำถามและเอกสารจริง ไม่ใช่ตัวอย่างสำเร็จรูป
การตั้งค่าชั้นซอฟต์แวร์: ล็อกอิน สิทธิผู้ใช้ แอปหน้าบ้าน และการเลือกโมเดลตามกลุ่มผู้ใช้ ส่งมอบพร้อม Mimir Suites ทีมจึงเริ่มงานได้ทันที
การเชื่อมสองเครื่อง: ตั้งค่าเครือข่าย ConnectX-7 ระหว่างสองเครื่อง สำหรับโมเดลที่ใหญ่เกินหน่วยความจำของเครื่องเดียว
การอบรมทีม: เราสอนทีมของคุณให้โหลดโมเดลใหม่ ปรับการตั้งค่า และดูแลเครื่องได้เอง พร้อมเอกสารระบบภาษาไทย

คำถามที่พบบ่อย

คำถามที่มักเกิดขึ้นก่อนสั่ง DGX Spark

DGX Spark รันโมเดลได้ใหญ่แค่ไหน: ตามที่ NVIDIA ระบุ หนึ่งเครื่องรองรับโมเดลประมาณ 200B parameters ที่ FP4 และสองเครื่องที่เชื่อมกันประมาณ 400B ในทางปฏิบัติ ขนาดที่ใช้ได้จริงขึ้นกับความยาว context และจำนวนผู้ใช้พร้อมกัน เราจึงคำนวณให้ก่อนจะบอกว่าเครื่องนี้พอหรือไม่
ใช้แทนเซิร์ฟเวอร์สำหรับทั้งบริษัทได้ไหม: โดยทั่วไปไม่ได้ DGX Spark ออกแบบมาสำหรับทีมเล็กและงานพัฒนา LPDDR5x มีแบนด์วิดท์ต่ำกว่า HBM บน GPU ระดับเซิร์ฟเวอร์ เมื่อผู้ใช้พร้อมกันเพิ่มขึ้น ความเร็วที่คนรู้สึกจึงลดลงเร็วกว่าเครื่องระดับเซิร์ฟเวอร์
ต่างจากเวิร์กสเตชันที่ใส่การ์ดเองอย่างไร: ต่างกันที่หน่วยความจำ เวิร์กสเตชันถูกจำกัดด้วย VRAM ของการ์ดที่ใส่ ส่วน DGX Spark ให้ unified memory 128 GB ที่ CPU และ GPU ใช้ร่วมกัน จึงโหลดโมเดลใหญ่กว่าได้ ข้อแลกเปลี่ยนคือแบนด์วิดท์ต่ำกว่า และขยายได้ทางเดียวคือเชื่อมเครื่องที่สอง
ซื้อผ่านเราต่างจากซื้อเองอย่างไร: เครื่องเปล่ายังไม่ใช่ระบบ AI เราติดตั้งระบบปฏิบัติการและ runtime เลือกและโหลดโมเดลที่เหมาะกับงานของคุณ ตั้งค่าชั้นซอฟต์แวร์ อบรมทีม และดูแลต่อหลังส่งมอบ ถ้าคุณมีทีมที่ทำทั้งหมดนี้ได้เอง การซื้อเฉพาะเครื่องก็เป็นทางเลือกที่สมเหตุสมผล

ตัวเลขประสิทธิภาพและขนาดโมเดลในหน้านี้เป็นไปตามที่ NVIDIA ระบุ ไม่ใช่ผลที่เราวัดเอง

ต้องการ DGX Spark เครื่องเดียวสำหรับตัวเองหรือทีมเล็ก อ่านมุมมองเวิร์กสเตชันได้ที่ AI Workstation Thailand

ไม่แน่ใจว่า DGX Spark พอสำหรับงานของคุณหรือไม่

บอกเรามาว่าอยากรันโมเดลไหน มีคนใช้กี่คน และงานคืออะไร เราตอบกลับว่าเครื่องนี้พอ หรือควรขยับขึ้นไปเป็นเซิร์ฟเวอร์ พร้อมตัวเลขที่อยู่เบื้องหลังคำตอบ

ขอคำแนะนำ AI Server LINE @aiserverthailand

DGX Spark สำหรับทีม AI ในไทย

GB10 Grace Blackwellunified memory 128 GBรูปทรงเดสก์ท็อปทีม 1 ถึง 4 คน

เครื่อง AI ขนาดวางบนโต๊ะ ที่มีหน่วยความจำเท่าเซิร์ฟเวอร์ขนาดเล็ก

DGX Spark อยู่ตรงไหนเมื่อเทียบกับเซิร์ฟเวอร์ 1 และ 4 GPU

ระบบ

หน่วยความจำ

ชนิดหน่วยความจำ

รูปทรงและการติดตั้ง

ผู้ใช้พร้อมกัน

งานที่เหมาะ

DGX Spark

128 GB

unified LPDDR5x

เดสก์ท็อป, ไฟบ้านปกติ

1 ถึง 4

งานพัฒนา การทดลอง fine-tuning โมเดลเล็ก และ inference สำหรับหนึ่งทีม

Server 1 GPU

48 ถึง 96 GB

HBM หรือ GDDR บนการ์ด

แร็ค 2U ถึง 4U

10 ถึง 40

RAG server และเครื่อง private AI เครื่องแรกของบริษัทขนาดกลาง

Server 4 GPU

192 ถึง 384 GB

HBM หรือ GDDR บนการ์ด

แร็ค 4U ขึ้นไป ต้องมีห้องเซิร์ฟเวอร์

40 ถึง 150

หลายฝ่าย หลายโมเดลพร้อมกัน และ fine-tuning ขนาดกลาง

เราออกแบบระบบรอบเครื่องนี้ ติดตั้ง และตั้งค่าให้

ไม่แน่ใจว่า DGX Spark พอสำหรับงานของคุณหรือไม่