ดีปซีคบริษัทจีนที่เชี่ยวชาญด้านปัญญาประดิษฐ์ได้ก้าวอีกขั้นในการพัฒนาเครื่องมือทางเทคโนโลยีเพื่อเพิ่มประสิทธิภาพการประมวลผลข้อมูลในปริมาณมาก ข้อเสนอใหม่ของเขาคือ ระบบแฟ้มไฟร์ฟลายเออร์ (3FS) ซึ่งเป็นระบบไฟล์คู่ขนานที่ออกแบบมาเพื่อปรับปรุงประสิทธิภาพในการฝึกอบรมและการอนุมานโมเดล AI
การจัดเก็บและการเข้าถึงข้อมูลถือเป็นประเด็นสำคัญในสภาพแวดล้อมปัญญาประดิษฐ์ โดยเฉพาะอย่างยิ่งเมื่อต้องจัดการกับชุดข้อมูลขนาดใหญ่และต้องการการถ่ายโอนข้อมูลอย่างรวดเร็ว ระบบดั้งเดิมไม่สามารถตอบสนองความต้องการปัจจุบันได้เสมอไป และในบริบทนี้ DeepSeek ได้พัฒนา 3FS ให้เป็นโซลูชันที่ปรับขนาดได้และมีประสิทธิภาพสูง.
คุณสมบัติหลักของระบบไฟล์ Fire-Flyer
3FS เป็นระบบไฟล์แบบกระจายที่ใช้ Linux ซึ่งได้รับการปรับให้เหมาะสมสำหรับการใช้งานในการประมวลผลประสิทธิภาพสูง (HPC) และสภาพแวดล้อมปัญญาประดิษฐ์ การออกแบบช่วยให้สามารถจัดการพื้นที่เก็บข้อมูลได้อย่างมีประสิทธิภาพ ลดเวลาแฝง และปรับปรุงการเข้าถึงข้อมูล
- การเพิ่มประสิทธิภาพสำหรับฮาร์ดแวร์สมัยใหม่:3FS ใช้ประโยชน์สูงสุดของประสิทธิภาพของ SSD และเครือข่าย RDMA ช่วยให้มีความเร็วในการอ่านสูงถึง 6.6 TiB/s ในการกำหนดค่าคลัสเตอร์ 180 โหนด
- สถาปัตยกรรมคู่ขนานการออกแบบแบบกระจายช่วยให้การขยายระบบเป็นไปได้สะดวกโดยไม่กระทบต่อเสถียรภาพหรือความเร็วในการเข้าถึง
- อ้างอิงจาก FUSE:สิ่งนี้จะช่วยให้ระบบทำงานในพื้นที่ของผู้ใช้โดยที่ไม่ต้องแก้ไขเคอร์เนล Linux ทำให้ใช้งานได้ง่ายขึ้นและเข้ากันได้กับระบบปฏิบัติการต่าง ๆ
- เน้นความเร็วในการอ่าน:ให้ความสำคัญกับการอ่านแบบสุ่มมากกว่าการแคช ซึ่งเป็นสิ่งสำคัญในโมเดล AI ที่ต้องเข้าถึงข้อมูลปริมาณมากทันที
ระบบได้รับการทดสอบในสภาพแวดล้อมจริง
DeepSeek ได้ใช้ 3FS บนเซิร์ฟเวอร์ของตัวเองมาตั้งแต่ปี 2019 ช่วยให้สามารถปรับปรุงประสิทธิภาพในสถานการณ์โลกแห่งความเป็นจริงได้ ในการทดสอบล่าสุดระบบได้บรรลุผล 3.66 TiB/นาทีในการประเมินประสิทธิภาพการเรียงลำดับข้อมูล และมากกว่า 40 GiB/s ต่อโหนดสำหรับงานค้นหา KVCache
นอกจากนี้ ระบบนี้ยังใช้ในคลัสเตอร์ Fire-Flyer 2 ของบริษัท โดยมีประสิทธิภาพเทียบเท่ากับเซิร์ฟเวอร์ระดับไฮเอนด์ เช่น NVIDIA DGX-A100 แต่มีต้นทุนต่ำกว่าอย่างเห็นได้ชัด ตามข้อมูลที่บริษัทนำเสนอ พวกเขาประสบความสำเร็จ ประสิทธิภาพ 80% ของ DGX-A100 ด้วยต้นทุน 50% และการใช้พลังงาน 60%.
การส่งเสริมระบบนิเวศโอเพนซอร์ส
สิ่งที่น่าทึ่งที่สุดประการหนึ่งของการเปิดตัวนี้คือ DeepSeek ได้ตัดสินใจเปิดตัวโค้ด 3FS ภายใต้ ใบอนุญาต MITโดยให้ชุมชนนักพัฒนาสามารถเข้าถึง แก้ไข และปรับใช้ระบบให้เหมาะกับความต้องการของตนเองได้ กลยุทธ์ความเปิดกว้างนี้เป็นส่วนหนึ่งของโครงการ Open Source Week ของบริษัท ซึ่งบริษัทได้เปิดตัวโครงการอื่นๆ ที่เกี่ยวข้องกับ AI
รหัสระบบไฟล์ Fire-Flyer คือ พร้อมใช้งานบน GitHubช่วยให้ผู้วิจัยและบริษัทต่างๆ นำไปใช้งานได้ง่ายขึ้น โดยมุ่งหวังที่จะเพิ่มประสิทธิภาพเวิร์กโฟลว์ในด้านปัญญาประดิษฐ์และการประมวลผลประสิทธิภาพสูง
การเกิดขึ้นของ 3FS บนระบบไฟล์แบบกระจายถือเป็นทางเลือกหนึ่งสำหรับโซลูชันที่มีอยู่ เช่น Ceph ซึ่งในการทดสอบประสิทธิภาพ พบว่ามีอัตราการอ่านข้อมูลเพียง 1.1 TiB/s ในการกำหนดค่าที่เล็กกว่า
การเปิดตัวครั้งนี้แสดงให้เห็นว่า DeepSeek มุ่งมั่นที่จะพัฒนานวัตกรรมเทคโนโลยีที่นำมาประยุกต์ใช้กับปัญญาประดิษฐ์ ด้วยการนำเสนอระบบจัดเก็บข้อมูลที่มีประสิทธิภาพและราคาไม่แพง บริษัทจึงเสริมความแข็งแกร่งให้กับตำแหน่งของตนในภาคส่วนนี้และจัดหาเครื่องมือที่สำคัญสำหรับการพัฒนาการเรียนรู้ของเครื่องจักรใหม่และรูปแบบการประมวลผลขั้นสูง