Cận cảnh 'siêu công trình' hạ tầng AI thế hệ mới với NVIDIA HGX B300

Hạ tầng AI mới của FPT AI Factory sử dụng NVIDIA HGX B300 với 8 card GPU NVIDIA Blackwell Ultra. Mỗi GPU sở hữu bộ nhớ 288 GB, mang lại tổng dung lượng lên tới 2.1 TB mỗi node, cho phép triển khai các mô hình hàng nghìn tỷ tham số, AI đa phương thức và các ứng dụng xử lý ngữ cảnh dài với hiệu quả cao hơn.

So với thế hệ NVIDIA Blackwell trước đó, NVIDIA HGX B300 mang lại hiệu năng cao hơn tới 1.5 lần, giúp tăng tốc cả huấn luyện lẫn suy luận AI. Nhờ đó, doanh nghiệp có thể rút ngắn thời gian triển khai mô hình, phục vụ nhiều người dùng hơn và tối ưu chi phí vận hành.

Nền tảng có thể giúp giảm tới 66% chi phí suy luận AI, giảm 49% chi phí huấn luyện và cải thiện gần 3 lần hiệu quả chi phí trên mỗi token. Bên cạnh hiệu năng, hệ thống cũng được xây dựng với tiêu chuẩn bảo mật doanh nghiệp, độ ổn định cao và đội ngũ kỹ sư hỗ trợ chuyên sâu.

Nền công nghiệp AI đang bước sang giai đoạn mới, khi trọng tâm không còn chỉ là huấn luyện mô hình mà chuyển mạnh sang suy luận AI (AI inference) - quá trình AI tạo phản hồi và xử lý yêu cầu của người dùng theo thời gian thực. Điều này kéo theo nhu cầu xử lý khối lượng token lớn với tốc độ nhanh, độ trễ thấp và chi phí tối ưu.

Trong bối cảnh đó, hạ tầng điện toán cần được cải tiến để đáp ứng 'nền kinh tế token', nơi hiệu suất AI được đo bằng tốc độ sinh token, thời gian phản hồi và chi phí trên mỗi token. Việc tích hợp NVIDIA HGX B300 giúp FPT AI Factory vận hành như một 'AI Token Factory', hỗ trợ các tổ chức nâng cao năng lực AI suy luận với hiệu suất cao và chi phí tối ưu.

FPT AI Factory là đơn vị đầu tiên tại Việt Nam đưa NVIDIA HGX B300 vào vận hành, cung cấp hạ tầng AI hiện đại theo chuẩn quốc tế, phục vụ nghiên cứu, phát triển và ứng dụng AI quy mô lớn. Trước đó, FPT AI Factory tiên phong cung cấp các dịch vụ GPU Cloud với NVIDIA HGX H100 và HGX H200, phục vụ hơn 18.000 nhà phát triển và kỹ sư AI từ các doanh nghiệp, tổ chức nghiên cứu và giáo dục trên toàn cầu.

* Tìm hiểu thêm tại factory.fpt.ai.

-Khánh Huyền

]]>