Nvidia HGX B300 thuộc thế hệ Blackwell Ultra mới của Nvidia,được thiết kế cho các tác vụ AI tạo sinh và xử lý dữ liệu quy mô lớn. Mỗi hệ thống gồm 8 GPU với tổng dung lượng bộ nhớ lên tới 2,1 TB mỗi node,cho phép triển khai các mô hình AI có quy mô lớn,ứng dụng đa phương thức và những bài toán yêu cầu xử lý lượng dữ liệu ngữ cảnh lớn.
Hạ tầng GPU Cloud thế hệ mới dành cho AI suy luận và tạo sinh quy mô lớn. Ảnh: FPT
Theo thông tin từ Nvidia,nền tảng mới mang lại hiệu năng cao hơn khoảng 1,5 lần so với thế hệ Nvidia Blackwell trước đó. Việc nâng cấp năng lực tính toán giúp doanh nghiệp rút ngắn thời gian huấn luyện mô hình,tăng khả năng phục vụ người dùng đồng thời và tối ưu chi phí vận hành hệ thống AI.
Bên cạnh yêu cầu về sức mạnh xử lý,bài toán chi phí đang trở thành mối quan tâm lớn của nhiều tổ chức khi AI bước vào giai đoạn ứng dụng rộng rãi. Nếu trước đây các doanh nghiệp tập trung vào việc xây dựng và huấn luyện mô hình,hiện nay trọng tâm dần chuyển sang vận hành các dịch vụ AI phục vụ người dùng theo thời gian thực.
Sự thay đổi này kéo theo nhu cầu xử lý khối lượng yêu cầu ngày càng lớn với tốc độ phản hồi nhanh và chi phí hợp lý. Trong bối cảnh đó,hiệu quả của hạ tầng tính toán không chỉ được đánh giá qua năng lực xử lý mà còn ở khả năng tối ưu chi phí vận hành cho mỗi lượt tương tác của người dùng với hệ thống AI.
Theo doanh nghiệp,công nghệ mới giúp cải thiện tới 2.95x hiệu quả chi phí trên mỗi token. Ảnh: FPT
Đại diện FPT cho biết,việc tích hợp Nvidia HGX B300 giúp nâng cao hiệu quả khai thác tài nguyên tính toán trên FPT AI Factory. Doanh nghiệp ước tính nền tảng mới có thể giảm tới 66% chi phí vận hành các tác vụ AI thời gian thực,giảm 49% chi phí huấn luyện mô hình và cải thiện gần ba lần hiệu quả chi phí xử lý so với thế hệ trước.
Ngoài hiệu năng,hạ tầng mới được xây dựng theo các tiêu chuẩn dành cho môi trường doanh nghiệp,hướng đến khả năng vận hành ổn định,bảo mật và hỗ trợ kỹ thuật chuyên sâu cho các tổ chức triển khai AI ở quy mô lớn.
Nhân viên FPT triển khai hạ tầng công nghệ mới. Ảnh: FPT
Việc đưa Nvidia HGX B300 vào khai thác cũng giúp FPT tiếp tục mở rộng hệ sinh thái AI Cloud tại Việt Nam. Đây là một trong những đơn vị đầu tiên trong nước triển khai nền tảng này nhằm phục vụ hoạt động nghiên cứu,phát triển và ứng dụng AI.
Trước đó,FPT AI Factory đã cung cấp các dịch vụ GPU Cloud dựa trên nền tảng Nvidia HGX H100 và H200. Hệ thống hiện phục vụ hơn 18.000 nhà phát triển từ các doanh nghiệp,tổ chức nghiên cứu và cơ sở giáo dục trên toàn cầu.
Trong bối cảnh AI ngày càng trở thành hạ tầng công nghệ cốt lõi của nhiều ngành nghề,việc bổ sung thế hệ GPU mới được kỳ vọng sẽ giúp doanh nghiệp trong nước tiếp cận các nguồn lực tính toán hiện đại hơn,từ đó đẩy nhanh quá trình phát triển và đưa các ứng dụng AI vào thực tiễn.
Song Anh
