เริ่มใช้ในทีมเดียว
แชทจากเอกสาร, OCR และงานทดลองที่มีผู้ใช้พร้อมกันไม่มาก
ฮาร์ดแวร์ AI ที่กำหนดจากงานจริงของคุณ
GPU Server
GPU server คือเครื่องสำหรับรันงาน AI ที่เลือก GPU, CPU, RAM และพื้นที่เก็บข้อมูลจากโมเดล จำนวนผู้ใช้พร้อมกัน และข้อมูลที่ต้องประมวลผล เราเริ่มจากภาระงานก่อน แล้วออกแบบเครื่องที่ติดตั้งและดูแลได้ในสถานที่ของคุณ
on-premise1 ถึง 8 GPUออกแบบตาม workload
เริ่มจาก workload
สเปกเครื่องมีสามสิ่งที่ต้องรู้ก่อนเลือก GPU
การเลือกจากจำนวน GPU อย่างเดียวทำให้เครื่องเล็กเกินสำหรับผู้ใช้ หรือใหญ่เกินสำหรับงาน เราใช้คำตอบสามชุดนี้กำหนดขนาดที่เหมาะกับการใช้งานจริง
| สิ่งที่ต้องกำหนด | คำถาม | ผลต่อสเปก |
|---|---|---|
| โมเดลและ precision | จะรันโมเดลอะไร และใช้ INT4, INT8 หรือ FP16 | กำหนด VRAM ขั้นต่ำที่ต้องมีเพื่อเก็บ weights ของโมเดล |
| ผู้ใช้พร้อมกันและ context | มีคนส่งคำขอพร้อมกันกี่คน และเอกสารยาวแค่ไหน | กำหนด VRAM เพิ่มสำหรับ KV cache และความเร็วที่ผู้ใช้รอได้ |
| ข้อมูลและการจัดเก็บ | มีไฟล์กี่ชุด ต้องค้นย้อนหลังหรือประมวลผลภาพหรือไม่ | กำหนด CPU, RAM, NVMe และการสำรองข้อมูลของเครื่อง |
แนวทางขนาดเครื่อง
ขนาดของเครื่องตามรูปแบบงาน
ใช้หลายฝ่ายในองค์กร
LLM, RAG และ agent ที่ทีมหลายกลุ่มเรียกใช้ในวันทำงานเดียวกัน
งานหนักหรือโมเดลใหญ่
โมเดลขนาดใหญ่, vision, batch inference หรือผู้ใช้พร้อมกันจำนวนมาก
คำถามที่พบบ่อย
ก่อนเลือก GPU server
- เลือก GPU จากชื่อรุ่นได้เลยไหม
- ไม่ได้ ชื่อรุ่นบอกส่วนหนึ่งของสมรรถนะ แต่สเปกที่พอดีต้องเริ่มจากโมเดล precision จำนวนผู้ใช้พร้อมกัน และความยาว context ที่ทีมใช้งานจริง
- GPU server ต่างจาก LLM server อย่างไร
- GPU server เป็นหน้าการเลือกฮาร์ดแวร์สำหรับหลายรูปแบบงาน AI ส่วน LLM server อธิบายการกำหนดขนาดสำหรับโมเดลภาษาและผู้ใช้พร้อมกันโดยเฉพาะ
- ต้องเตรียมอะไรเพื่อขอสเปก
- บอกงานที่ต้องการทำ โมเดลหรือขนาดโมเดลถ้ารู้ จำนวนผู้ใช้พร้อมกัน ขนาดเอกสาร และข้อจำกัดของสถานที่ติดตั้ง แล้วเราจะใช้ข้อมูลนั้นออกแบบเครื่อง
บอกงาน AI ของคุณ แล้วเรากำหนดสเปก GPU server ให้
ส่งมาได้ว่าอยากรันโมเดลอะไร มีผู้ใช้พร้อมกันกี่คน และข้อมูลอยู่ในรูปแบบไหน เราจะตอบกลับพร้อมแนวทางขนาดเครื่องและสิ่งที่ต้องเตรียมก่อนติดตั้ง