Cụm GPU huấn luyện mô hình AI có thể tốn hàng triệu đô la tiền phần cứng, nhưng hiệu suất thực tế lại phụ thuộc phần lớn vào thứ ít được nhắc tới, đó là mạng kết nối giữa các GPU với nhau. Chỉ cần một liên kết bị nghẽn hoặc cấu hình sai, hàng loạt bộ xử lý có thể rơi vào trạng thái chờ, ngồi không trong khi đáng lẽ phải tính toán liên tục. Vấn đề nằm ở chỗ lỗi này rất khó phát hiện bằng mắt thường hay bằng các công cụ giám sát thông thường, vì hệ thống vẫn "chạy", chỉ là chạy chậm hơn nhiều so với khả năng thật của phần cứng.
IKAM triển khai giải pháp đo kiểm hạ tầng mạng cho trung tâm dữ liệu AI dựa trên nền tảng test của Keysight, phục vụ việc xác thực hiệu năng, phát hiện điểm nghẽn và kiểm tra tuân thủ chuẩn kết nối trước khi đưa hệ thống vào vận hành thực tế.
Huấn luyện một mô hình AI lớn không diễn ra trên một GPU đơn lẻ, mà trên hàng trăm đến hàng nghìn GPU phối hợp xử lý cùng lúc, liên tục trao đổi dữ liệu qua lại trong suốt quá trình huấn luyện. Tốc độ hoàn thành công việc phụ thuộc vào việc mạng kết nối các GPU có đủ băng thông, đủ độ trễ thấp, và đủ ổn định để không làm gián đoạn luồng dữ liệu hay không.
Mạng có vấn đề thường không thể hiện qua việc hệ thống dừng hẳn, mà qua thời gian hoàn thành một chu kỳ huấn luyện kéo dài hơn dự kiến, đôi khi tới 50% số bộ xử lý ở trạng thái nhàn rỗi chờ dữ liệu dù phần cứng vẫn hoạt động bình thường. Đây là dạng lỗi chỉ phát hiện được qua đo kiểm hiệu năng mạng có hệ thống, không phải qua quan sát trực quan.
Mạng doanh nghiệp truyền thống được thiết kế cho lưu lượng phân tán, nhiều kết nối nhỏ đến từ nhiều người dùng khác nhau. Mạng trong trung tâm dữ liệu AI lại vận hành theo kiểu hoàn toàn khác, một lượng nhỏ luồng dữ liệu cực lớn di chuyển đồng bộ giữa các GPU, thường dùng giao thức RDMA để truyền trực tiếp giữa bộ nhớ các máy mà không qua xử lý trung gian, nhằm giảm độ trễ tối đa.
Việc đo kiểm vì vậy cũng phải mô phỏng đúng kiểu lưu lượng này, không thể chỉ đo tốc độ truyền dữ liệu thông thường. Nền tảng đo kiểm chuyên dụng cho trung tâm dữ liệu AI mô phỏng các mẫu lưu lượng thực tế của khối lượng công việc AI, kiểm tra cách hệ thống xử lý tắc nghẽn, cân bằng tải và duy trì kết nối không mất gói khi nhiều luồng dữ liệu lớn chạy song song, giúp phát hiện điểm nghẽn trước khi đưa hệ thống vào vận hành thật, không phải sau khi cụm GPU đã đi vào huấn luyện thực tế.
Ngoài hiệu năng tổng thể của hệ thống mạng, từng thành phần kết nối vật lý cũng cần được xác nhận đạt chuẩn trước khi lắp ráp vào hệ thống. Các chuẩn kết nối tốc độ cao dùng trong hạ tầng AI hiện nay như PCIe thế hệ mới, CXL, hay các đường truyền Ethernet 800G tiến lên 1.6T, đều có yêu cầu kỹ thuật nghiêm ngặt về tính toàn vẹn tín hiệu.
Việc kiểm tra tuân thủ chuẩn này thường thực hiện bằng thiết bị đo tín hiệu tốc độ cao chuyên dụng, xác nhận cáp quang, cáp điện, hay bộ chuyển đổi tín hiệu có đáp ứng đúng thông số kỹ thuật của chuẩn kết nối hay không trước khi đưa vào hệ thống sản xuất. Với các nhà sản xuất thiết bị mạng hoặc đơn vị tích hợp hệ thống, bước kiểm tra này giúp tránh tình trạng lắp đặt xong mới phát hiện linh kiện không đạt chuẩn, phải tháo ra thay lại tốn kém thời gian và chi phí.
Đối tượng phù hợp nhất với giải pháp đo kiểm hạ tầng mạng AI là các nhà sản xuất thiết bị mạng, đơn vị vận hành trung tâm dữ liệu quy mô lớn, hoặc tổ chức đang xây dựng cụm GPU phục vụ huấn luyện mô hình AI, nơi hiệu năng mạng ảnh hưởng trực tiếp đến chi phí vận hành và thời gian hoàn thành công việc.
Với doanh nghiệp chỉ triển khai vài máy chủ AI quy mô nhỏ, phục vụ suy luận mô hình hơn là huấn luyện, nhu cầu đo kiểm ở mức độ này thường chưa cần thiết. Bài toán nghẽn mạng chỉ trở nên nghiêm trọng khi số lượng GPU phối hợp đủ lớn để việc đồng bộ dữ liệu giữa chúng trở thành yếu tố quyết định tốc độ xử lý.
Đo kiểm mạng AI có cần dừng hệ thống đang chạy để kiểm tra không? Không nhất thiết. Phần lớn việc đo kiểm hiệu năng và benchmark được thực hiện trong môi trường mô phỏng riêng hoặc trước khi đưa cụm GPU vào vận hành chính thức, giúp phát hiện vấn đề mà không cần gián đoạn hệ thống sản xuất đang chạy.
Có thể đo kiểm hiệu năng mạng AI mà không cần đầu tư dàn GPU thật không? Có. Các nền tảng đo kiểm chuyên dụng cho phép mô phỏng hành vi của GPU và card mạng RDMA bằng thiết bị tải chuyên dụng, giúp benchmark hiệu năng mạng mà không phải đầu tư toàn bộ hạ tầng tính toán thật.
Kiểm tra tuân thủ chuẩn kết nối tốc độ cao mất bao lâu? Tùy vào số lượng linh kiện và chuẩn cần kiểm tra, quy trình có thể từ vài giờ cho một lô nhỏ đến vài ngày cho kiểm tra toàn diện nhiều chuẩn kết nối khác nhau trên cùng một hệ thống.
