NCA-AIIO 5: Networking và hạ tầng data center AI
Loạt NCA-AIIO (9 phần): 1. Tổng quan & GPU cơ bản · 2. CUDA & lập trình song song · 3. Container & inference serving · 4. H100, H200 & DGX · 5. Networking data center · 6. GPUDirect & NCCL · 7. Blackwell & NVL72 · 8. HGX, DGX & SuperPOD · 9. Vận hành, điện & sizing
Phần 5/9 trong loạt NCA-AIIO: đọc sau Phần 4. Ra khỏi phạm vi một node: các GPU nói chuyện với nhau qua những lớp kết nối nào.
Cập nhật: 2026-10-23
Mục lục
- 1. Vì sao mạng của cụm AI khác mạng data center thường?
- 2. PCIe, NVLink và NVSwitch: ba lớp kết nối trong một node
- 3. NVLink qua các thế hệ
- 4. ConnectX: NIC tốc độ cao của NVIDIA
- 5. BlueField DPU
- 6. NVMe over Fabrics và tăng tốc lưu trữ
- 7. InfiniBand
- 8. RDMA, RoCE và GPUDirect RDMA
- 9. Ethernet cho AI: Spectrum-X làm gì khác Ethernet thường?
- 10. Switch và chuyện một cage thành hai port
- 11. Các mặt phẳng mạng của một cụm AI
- 12. NCCL và Magnum IO
- 13. VDI và NVIDIA vGPU
- 14. Các thuật ngữ hạ tầng rời rạc cần biết
- Nguồn tham khảo
1. Vì sao mạng của cụm AI khác mạng data center thường?
Đặt một cụm 1.024 GPU đang huấn luyện cùng một model cạnh một data center web thông thường, điểm khác biệt lộ ra ngay ở hình dạng lưu lượng.
Mạng doanh nghiệp hay mạng ISP chủ yếu chạy North/South: hàng triệu kết nối nhỏ, độc lập, đi từ người dùng bên ngoài vào server rồi quay ra. Mất một gói thì TCP truyền lại, người dùng không nhận ra. Có hàng vạn flow nên thuật toán cân bằng tải theo hash của ECMP rải đều rất tốt.
Cụm training thì ngược hẳn. Sau mỗi bước tính toán, toàn bộ GPU phải đồng bộ kết quả với nhau bằng phép all-reduce: cộng gradient của mọi GPU rồi phát lại cho mọi GPU. Hệ quả là:
- Số flow ít hẳn, chỉ có GPU nói chuyện với GPU, nhưng mỗi flow mang khối lượng dữ liệu rất lớn. ECMP hash tĩnh dễ dồn nhiều flow béo vào cùng một đường rồi bỏ trống các đường còn lại.
- Lưu lượng đi theo chiều East/West, đồng loạt, mọi GPU truyền cùng lúc.
- Cả cụm chạy nhanh bằng đúng GPU chậm nhất. Một gói rớt ở một chặng buộc phải truyền lại, và trong lúc chờ thì hàng nghìn GPU khác ngồi không.
Vì vậy mạng cụm AI được thiết kế theo hướng lossless, độ trễ thấp và đều đặn, thay vì tối đa hoá thông lượng thô theo kiểu best-effort của Internet. Toàn bộ các công nghệ trong bài này đều phục vụ mục tiêu đó.
💡 Hình dung như thế này: mạng Internet giống hệ thống bưu chính, mỗi lá thư đi đường riêng, tới muộn một chút cũng không sao, thất lạc thì gửi lại. Mạng cụm AI giống dàn nhạc giao hưởng, mọi nhạc công phải vào đúng nhịp cùng lúc; một người chậm nửa nhịp là cả dàn phải dừng chờ, nên thà đầu tư cho mọi người nghe rõ tiếng đếm nhịp còn hơn cho vài người chơi thật nhanh.
2. PCIe, NVLink và NVSwitch: ba lớp kết nối trong một node
PCIe là chuẩn bus để gắn thiết bị mở rộng vào bo mạch chủ, dùng chung cho card mạng, ổ NVMe, card đồ họa. PCIe Gen5 x16 cho khoảng 128 GB/s hai chiều, đủ cho hầu hết thiết bị nhưng quá hẹp khi tám GPU cần trao đổi hàng trăm GB mỗi giây với nhau.
NVLink là đường kết nối trực tiếp giữa GPU với GPU (và giữa GPU với CPU Grace), do NVIDIA thiết kế riêng để vượt trần băng thông của PCIe. Đây là một hệ thống dây dẫn vật lý hoàn toàn tách biệt với PCIe: trên baseboard HGX, các GPU SXM được hàn xuống bo mạch và nối với nhau qua các đường NVLink chạy trong lớp đồng của bo mạch, không đi qua khe PCIe nào. Node vẫn có PCIe, nhưng chỉ để CPU nói chuyện với GPU và để gắn NIC cùng ổ đĩa.
Riêng biến thể PCIe như H100 NVL thì khác: card cắm vào khe PCIe bình thường, còn NVLink chạy qua một cầu nối cắm trên đỉnh hai card.
NVSwitch là chip chuyển mạch chuyên dụng cho NVLink, đặt ngay trên baseboard. Không có NVSwitch thì mỗi GPU chỉ nối trực tiếp được với một số GPU lân cận, và muốn gửi dữ liệu tới GPU ở xa phải nhờ GPU trung gian chuyển tiếp. Có NVSwitch thì mọi GPU đều nối tới switch, nên GPU bất kỳ nói chuyện với GPU bất kỳ ở tốc độ NVLink đầy đủ. Đó là ý nghĩa của cụm từ all-to-all.
Một DGX H100 có 4 NVSwitch phục vụ 8 GPU. Phạm vi của NVLink và NVSwitch truyền thống nằm gọn trong một node; muốn đi ra ngoài node phải dùng InfiniBand hoặc Ethernet. Ranh giới này bị phá bỏ ở thế hệ rack-scale NVL72, chủ đề của phần sau trong loạt bài.
💡 Hình dung như thế này: PCIe giống con đường nội bộ trong khu dân cư, mọi nhà đều dùng chung nên giờ cao điểm thì tắc. NVLink giống một tuyến đường riêng chỉ nối các nhà máy với nhau, xe tải đi thẳng không vướng xe máy. NVSwitch là nút giao trung tâm của tuyến riêng đó, cho phép nhà máy nào cũng tới được nhà máy nào mà không phải chạy vòng qua sân của người khác.
3. NVLink qua các thế hệ
| Thế hệ | GPU tiêu biểu | Băng thông mỗi GPU (bidirectional) | Số link tối đa |
|---|---|---|---|
| NVLink 1 (2014) | Pascal P100 | khoảng 160 GB/s | 4 |
| NVLink 2 (2017) | Volta V100 | 300 GB/s | 6 |
| NVLink 3 | Ampere A100 | 600 GB/s | 12 |
| NVLink 4 | Hopper H100, H200 | 900 GB/s | 18 |
| NVLink 5 | Blackwell B200, B300 | 1.800 GB/s | 18 |
| NVLink 6 | Vera Rubin | 3,6 TB/s | 36 |
Cách con số 900 GB/s của H100 hình thành: 18 link × 50 GB/s mỗi link = 900 GB/s, tính theo chiều hai chiều cộng lại. Khi đề bài hỏi tốc độ một chiều thì chia đôi, ra 450 GB/s. Đây là chỗ rất dễ nhầm giữa băng thông mỗi link và băng thông mỗi GPU.
Công thức "số link nhân băng thông mỗi link" đúng cho mọi thế hệ, không riêng Hopper: thế hệ 2 có 6 link ở 50 GB/s nên V100 đạt 300 GB/s. Mỗi link thế hệ 2 chạy 25 GB/s mỗi chiều, nhanh hơn thế hệ 1 nhờ tốc độ tín hiệu tăng từ 20 lên 25 Gb/s, còn biến thể DGX Station chỉ nối 4 link nên dừng ở 200 GB/s.
Nhân tiếp lên cấp node: 8 GPU × 900 GB/s = 7.200 GB/s, tức 7,2 TB/s, đúng bằng con số tổng băng thông NVLink của một DGX H100.
Một lưu ý khi tra cứu: trang sản phẩm NVLink ghi thế hệ 6 ở mức 3.000 GB/s trong khi các bài kỹ thuật mới hơn ghi 3,6 TB/s, nên con số thế hệ 6 còn tuỳ nguồn.
4. ConnectX: NIC tốc độ cao của NVIDIA
ConnectX là dòng card mạng hiệu năng cao, vốn thuộc Mellanox trước khi NVIDIA mua lại công ty này năm 2020. Điểm đặc trưng là một card chạy được cả InfiniBand lẫn Ethernet, chọn chế độ bằng cấu hình firmware.
| Sản phẩm | Băng thông tổng | Host interface | Đi cùng |
|---|---|---|---|
| ConnectX-7 | 400 Gb/s | PCIe Gen5 | DGX H100, DGX H200 |
| ConnectX-8 SuperNIC | 800 Gb/s | PCIe Gen6, tới 48 lane | GB300 NVL72, hệ thống Blackwell |
| ConnectX-9 SuperNIC | 1,6 Tb/s mỗi GPU, tức 2 cổng 800 Gb/s | SerDes 200G PAM4 | Nền tảng Vera Rubin |
ConnectX-8 cấu hình được thành một cổng 800 Gb/s hoặc hai cổng 400 Gb/s. Trong GB300 NVL72, card này được hàn thẳng lên baseboard thay vì cắm rời, giữ tỉ lệ một NIC cho một GPU.
Chữ SuperNIC chỉ dòng NIC được tối ưu riêng cho lưu lượng East/West của cụm AI: hỗ trợ RDMA, GPUDirect, adaptive routing và các cơ chế chống nghẽn. Tên gọi này không nói gì về việc card có phần xử lý lập trình được hay không, nên khi đọc tài liệu phải xem mã SKU cụ thể chứ đừng suy từ tên.
Xu hướng dễ nhớ: mỗi thế hệ NIC gấp đôi băng thông thế hệ trước, bám theo đúng nhịp tăng của GPU.
5. BlueField DPU
DPU (Data Processing Unit) là thuật ngữ do NVIDIA đặt ra, chỉ một bộ xử lý lập trình được tích hợp sẵn với phần cứng mạng. Khác biệt so với NIC thường nằm ở chỗ DPU có CPU riêng, hệ điều hành riêng và chạy được phần mềm riêng, nên nó gánh hộ host các việc về mạng, lưu trữ và bảo mật.
BlueField-3 DPU cung cấp 400 Gb/s, host interface PCIe Gen5 32 lane, bên trong có tới 16 nhân Arm A78 (tên mã Hercules) cùng một Programmable Datapath Accelerator 16 nhân. Phần bảo mật tích hợp gồm distributed firewall, IDS/IPS, root of trust, micro-segmentation, chống DDoS và mã hoá dữ liệu đang truyền qua MACsec hoặc IPsec. Trong nhóm thuật ngữ bảo mật này, IPsec là từ hay xuất hiện nhất trong đề thi.
BlueField-4 DPU thuộc nền tảng Vera Rubin, đạt tới 800 Gb/s, ghép một CPU Grace 64 nhân với ConnectX-9 tích hợp, mang theo 128 GB bộ nhớ ở băng thông 250 GB/s.
Phân vai trong một node GPU theo kiến trúc tham chiếu của NVIDIA:
| Vị trí | Thiết bị | Hướng lưu lượng |
|---|---|---|
| 8 card, mỗi GPU một card | ConnectX hoặc BlueField SuperNIC | East/West, compute fabric giữa các GPU |
| 1 card mỗi server | BlueField DPU | North/South: storage, người dùng, hạ tầng |
Chi tiết lắp đặt đáng nhớ: card tiêu thụ trên 75 W phải có đầu cấp nguồn ATX 12V 8-pin riêng, vì khe PCIe không cấp đủ.
6. NVMe over Fabrics và tăng tốc lưu trữ
NVMe (Non-Volatile Memory Express) là giao thức lưu trữ cho ổ SSD nối thẳng vào CPU qua bus PCIe. Đây là bộ nhớ bền vững, giữ dữ liệu khi mất điện, khác với RAM.
NVMe over Fabrics (NVMe-oF) đưa các lệnh NVMe đi qua mạng thay vì qua bus nội bộ, cho phép server dùng ổ đĩa đặt ở máy khác như thể ổ đĩa cắm trong máy mình. Mạng vận chuyển có thể là Ethernet, Fibre Channel hoặc InfiniBand. Khi chạy trên một fabric RDMA, độ trễ gần với ổ cắm trong, vì lệnh đi thẳng vào bộ nhớ đích mà không qua tầng xử lý của CPU từ xa.
BlueField tăng tốc lưu trữ bằng cách gánh phần xử lý NVMe-oF, RDMA và các thao tác mạng lưu trữ từ CPU host sang các nhân Arm trên DPU. CPU host nhờ đó rảnh ra cho công việc chuẩn bị dữ liệu phục vụ GPU, trong khi truy cập lưu trữ vẫn giữ độ trễ thấp.
7. InfiniBand
InfiniBand là một chuẩn mạng riêng cho high performance computing, không phải biến thể của Ethernet. Nó định nghĩa trọn bộ từ cáp, đầu nối, tín hiệu cho tới giao thức, và có sẵn trong thiết kế hai thứ mà Ethernet phải thêm vào sau: kiểm soát luồng theo credit để không bao giờ rớt gói vì nghẽn, và RDMA ngay ở tầng truyền tải.
Tên các thế hệ không theo quy luật dễ đoán. Giai đoạn đầu đặt theo tốc độ tín hiệu (SDR, DDR, QDR), về sau chuyển sang HDR, NDR, XDR. Hai thế hệ cần thuộc cho kỳ thi:
| Thế hệ | Tốc độ mỗi cổng | Switch tiêu biểu | Đi cùng |
|---|---|---|---|
| HDR | 200 Gb/s | QM8700 | Đời A100 |
| NDR | 400 Gb/s | Quantum-2 QM9700 | DGX H100, H200, B200 |
| XDR | 800 Gb/s | Quantum-X800 Q3400 | DGX B300, GB300 NVL72 |
Về độ trễ ở mức adapter, ngay thế hệ SDR cũ nhất đã xuống dưới 5 microgiây, còn HDR và NDR nằm dưới 1 microgiây. Khi làm bài, ước lượng khoảng 1 tới 2 microgiây cho NDR là an toàn.
Một bẫy hay gặp liên quan tới cáp. Cùng một thế hệ NDR vẫn có nhiều mức tốc độ tuỳ số lane của cáp và transceiver: NDR200 chạy 200 Gb/s, NDR400 chạy 400 Gb/s. Phần cứng switch và NIC có đủ năng lực chạy 400 nhưng nếu lắp cáp NDR200 thì cả đường chỉ đạt một nửa. Dạng câu hỏi điển hình: "cụm DGX SuperPOD dùng ConnectX-7 nhưng cấu hình NDR200 thay vì NDR400, hiệu năng mạng ra sao". Đáp án là mất một nửa băng thông, và nguyên nhân nằm ở cáp chứ không ở GPU.
8. RDMA, RoCE và GPUDirect RDMA
RDMA (Remote Direct Memory Access) cho phép một máy ghi thẳng vào bộ nhớ của máy khác, bỏ qua CPU và bỏ qua tầng network stack của hệ điều hành ở cả hai đầu. Kết quả là độ trễ rất thấp và CPU gần như không bị chiếm dụng.
💡 Hình dung như thế này: gửi dữ liệu kiểu truyền thống giống việc giao hàng phải qua quầy lễ tân: nhân viên nhận, ghi sổ, rồi mới mang vào kho. Mỗi lần giao là một lần xếp hàng chờ lễ tân rảnh tay. RDMA giống việc bên gửi được cấp thẻ từ mở thẳng cửa kho và biết chính xác kệ nào cần đặt hàng lên, lễ tân không phải động tay, cũng không trở thành điểm nghẽn khi hàng về dồn dập.
RoCE (RDMA over Converged Ethernet) mang RDMA sang chạy trên Ethernet. Có hai phiên bản:
- RoCEv1 đóng gói ở tầng liên kết dữ liệu, nên không định tuyến được qua router, chỉ chạy trong cùng một broadcast domain.
- RoCEv2 đóng gói trong UDP/IP, nhờ đó định tuyến được qua mạng IP thông thường. Đây là phiên bản mọi triển khai hiện nay dùng.
RoCEv2 chạy được trên hạ tầng IP tiêu chuẩn, nhưng nếu mạng bên dưới không được cấu hình cho lossless thì độ trễ đội lên khoảng 20 tới 50 microgiây vì phải truyền lại gói. Đó là lý do mạng RoCE cho AI luôn đi kèm cơ chế chống rớt gói, chủ đề của mục tiếp theo.
GPUDirect RDMA là bước cuối của chuỗi tối ưu này: dữ liệu đi thẳng từ bộ nhớ GPU ở máy A sang bộ nhớ GPU ở máy B, không ghé qua RAM hệ thống của cả hai bên. Không có nó, mỗi lần truyền phải chép từ bộ nhớ GPU sang RAM, rồi RAM sang NIC, và lặp lại ngược chiều ở đầu kia. Phần tiếp theo của loạt bài mổ xẻ kỹ họ công nghệ GPUDirect.
Công thức đáng thuộc: InfiniBand NDR cộng GPUDirect RDMA cho độ trễ thấp trong giao tiếp GPU-to-GPU, cả trong cùng server lẫn giữa các server.
9. Ethernet cho AI: Spectrum-X làm gì khác Ethernet thường?
Nhiều tổ chức muốn dùng Ethernet cho cụm AI vì đã có sẵn kỹ năng vận hành, có sẵn nhà cung cấp và không muốn khoá vào một chuẩn riêng. Vấn đề là Ethernet tiêu chuẩn sinh ra cho lưu lượng best-effort, không hợp với yêu cầu lossless của all-reduce.
NVIDIA Spectrum-X là nền tảng Ethernet được bổ sung các cơ chế vốn có của InfiniBand, gồm switch Spectrum-4 kết hợp với SuperNIC hoặc DPU ở đầu cuối. Ba thứ nó làm khác Ethernet thường:
Adaptive routing theo từng packet. Ethernet truyền thống chọn đường bằng hash tĩnh của ECMP: mọi gói của cùng một flow đi cùng một đường, nên hai flow béo trùng hash là tắc. Switch Spectrum-4 đo độ sâu hàng đợi của mọi cổng ra trong nhóm ECMP ở chu kỳ dưới một microgiây, rồi đẩy từng packet sang cổng rỗng nhất.
Sắp xếp lại thứ tự ở đầu nhận. Vì các packet đi nhiều đường khác nhau nên chúng tới đích lệch thứ tự. SuperNIC hoặc DPU ở máy nhận biết thứ tự đúng và đặt dữ liệu vào bộ nhớ host theo đúng trật tự, nên ứng dụng không hề thấy chuyện này xảy ra.
Congestion control cho tình huống incast. Adaptive routing cân bằng được tải bên trong fabric nhưng không giải quyết được cảnh nhiều nguồn cùng đổ về một đích. Khi năng lực định tuyến đã cạn mà hàng đợi vẫn dâng, switch mới đánh dấu ECN lên gói. Bên gửi kết hợp dấu ECN với các phép đo RTT để chỉnh tốc độ phát theo thời gian thực.
NVIDIA công bố nền tảng này đạt tới 95% băng thông hữu dụng ở quy mô lớn khi có tải, con số của hãng chứ không phải đo độc lập.
Liên quan tới việc giảm tải mạng còn có SHARP (Scalable Hierarchical Aggregation and Reduction Protocol): switch tự thực hiện phép cộng gradient ngay trong fabric thay vì để dữ liệu chạy đủ vòng qua mọi GPU. Mọi tài liệu tìm được đều mô tả SHARP trong ngữ cảnh InfiniBand. Tài liệu Spectrum-X nêu ba thứ nền tảng này mang từ InfiniBand sang Ethernet: lossless transport, adaptive routing và in-network telemetry. SHARP không nằm trong danh sách được xác nhận đó, nên vẫn chưa xác minh được tính năng này có chạy trên Spectrum-X Ethernet hay không.
Chọn InfiniBand hay Ethernet?
| Tiêu chí | InfiniBand | Ethernet (Spectrum-X) |
|---|---|---|
| Lossless | Có sẵn trong thiết kế, kiểm soát luồng theo credit | Phải cấu hình, dựa vào ECN và congestion control |
| Độ trễ | Thấp nhất | Cao hơn một chút |
| Quản lý fabric | Cần subnet manager, có UFM | Dùng công cụ mạng sẵn có |
| Kỹ năng vận hành | Hiếm hơn, phải đào tạo | Đội ngũ mạng hiện tại làm được |
| Hệ sinh thái thiết bị | Hẹp, gần như chỉ NVIDIA | Rộng, nhiều nhà cung cấp |
| Giá thiết bị | Switch đắt hơn | Switch rẻ hơn nhưng cần nhiều switch hơn ở cùng số node |
Hướng chọn thực tế: cụm training lớn, cần hiệu năng tối đa và chấp nhận vận hành chuẩn riêng thì chọn InfiniBand. Cụm dùng chung nhiều mục đích, đội vận hành quen Ethernet, hoặc cần hoà vào hạ tầng mạng sẵn có thì chọn Spectrum-X.
10. Switch và chuyện một cage thành hai port
| Switch | Loại | Cấu hình cổng | Throughput |
|---|---|---|---|
| Quantum-2 QM9700 | InfiniBand NDR | 64 cổng 400 Gb/s | 51,2 Tb/s |
| Quantum-X800 Q3400 | InfiniBand XDR | 144 cổng 800 Gb/s trên 72 cage OSFP, chassis 4U | 115,2 Tb/s |
| Quantum-X800 Q3200 | InfiniBand XDR | 72 cổng 800 Gb/s, chassis 2U | |
| Spectrum-4 SN5600 / SN5610 | Ethernet | 64 cổng 800 GbE, tách được thành 128 cổng 400 GbE, hoặc tới 256 cổng tốc độ thấp hơn | 51,2 Tb/s |
| SN2201 | Ethernet quản lý | 48 cổng 1 Gb/s và 4 cổng 100 Gb/s |
Dòng in đậm ở Q3400 hay gây bối rối: vì sao 72 cage vật lý lại thành 144 cổng? Câu trả lời nằm ở transceiver twin-port. Một cage OSFP trên thân switch nhận một module quang, và module đó có hai đầu quang riêng biệt chạy độc lập. Khác với cáp breakout (một cổng tách thành nhiều cáp), ở đây việc tách xảy ra ngay trong transceiver nên mỗi phía vẫn là một sợi cáp đồng nhất. Kết quả là 72 cage vật lý cung cấp 144 cổng logic 800 Gb/s.
Cùng cơ chế đó, Q3400 trong topology fat-tree hai tầng nối được tới 10.368 NIC. Switch cũng có một cổng OSFP in-band riêng dành cho UFM (Unified Fabric Manager), tách khỏi các cổng dữ liệu.
Một chi tiết lắp đặt dễ sai ở thực tế: transceiver có hai dạng vỏ. Dạng IHS (Integrated Heat Sink) mang sẵn cánh tản nhiệt, cao khoảng 26 mm, tự tản nhiệt được nên vừa với cage của switch vốn cao ráo. Dạng FLT hay RHS (flat-top, riding heat sink) có mặt trên phẳng, cao khoảng 10 mm, dựa vào heatsink của chính cage ép xuống. Cage trên card NIC được thiết kế thấp vì card mỏng và dựa vào luồng gió của server, nên chỉ nhận được FLT; module IHS có cánh cao sẽ không vừa. Hai dạng dùng chung công nghệ quang, chung tốc độ, chung khoảng cách và chung đầu nối, khác nhau duy nhất ở cách tản nhiệt.
11. Các mặt phẳng mạng của một cụm AI
Một cụm AI không chạy trên một mạng duy nhất. Lưu lượng được tách thành nhiều mặt phẳng riêng biệt, mỗi mặt phẳng có thiết bị riêng, tốc độ riêng và yêu cầu riêng. Tách ra như vậy để lưu lượng quản lý hay lưu trữ không bao giờ chen vào đường của all-reduce.
| Mặt phẳng | Nhiệm vụ | Công nghệ thường dùng |
|---|---|---|
| NVLink / scale-up | Nối GPU trong cùng node (hoặc cùng rack với NVL72) | NVLink, NVSwitch |
| Compute fabric / scale-out | Nối GPU giữa các node để chạy training phân tán | InfiniBand NDR/XDR hoặc Spectrum-X, rail-optimized fat-tree |
| Storage | Nạp dữ liệu huấn luyện, ghi checkpoint | InfiniBand hoặc Ethernet tốc độ cao, có RDMA |
| In-band management | Điều phối job, truy cập người dùng, giám sát | Ethernet, thường 100–200 Gb/s |
| Out-of-band management | Quản lý BMC, bật tắt nguồn, xử lý sự cố | Ethernet 1 Gb/s, mạng tách riêng |
In-band management bắt buộc phải là Ethernet vì nó phục vụ các giao thức hạ tầng thông thường: SSH, DNS, DHCP, HTTP tới giao diện quản trị, kết nối ra Internet để tải image. Đây là những thứ chạy trên IP, không có lý do để đặt lên InfiniBand.
Out-of-band tồn tại cho đúng một tình huống: khi mạng chính hỏng hoặc máy treo. Hạ tầng GPU chạy nóng, ăn điện lớn, dễ hết bộ nhớ hoặc kẹt driver, nên cần một đường độc lập để quản trị viên vào được BMC mà bật tắt nguồn hay xem log, kể cả khi hệ điều hành đã chết.
Compute fabric dùng topology rail-optimized fat-tree. Mỗi node có tám NIC, và NIC thứ n của mọi node đều nối lên cùng một nhóm switch gọi là rail thứ n. Nhờ vậy GPU số 3 của node A nói chuyện với GPU số 3 của node B chỉ qua một chặng switch, không phải leo lên tầng spine. Các phép collective của NCCL được thiết kế để tận dụng đúng tính chất này.
12. NCCL và Magnum IO
NCCL (NVIDIA Collective Communication Library, đọc là "nickel") là thư viện thực hiện các phép giao tiếp tập thể giữa nhiều GPU: all-reduce, all-gather, broadcast, reduce-scatter. PyTorch và TensorFlow gọi xuống NCCL mỗi khi chạy training phân tán, nên người dùng hiếm khi gọi trực tiếp.
Giá trị lớn nhất của NCCL là tự dò topology: thư viện tự phát hiện GPU nào nối với GPU nào qua NVLink, qua PCIe hay qua mạng, rồi chọn đường đi và thuật toán phù hợp mà không cần cấu hình tay. Nhìn thấy tên NCCL trong đề nghĩa là đang nói tới bối cảnh multi-GPU hoặc multi-node. Các phép collective cụ thể được mổ xẻ ở phần sau của loạt bài.
NVIDIA Magnum IO là tên gọi chung cho toàn bộ lớp xuất nhập dữ liệu của data center, một lớp trừu tượng gom nhiều công nghệ đã nhắc ở trên lại với nhau. Bốn nhóm:
- Storage IO: GPUDirect Storage, NVMe-oF.
- Network IO: NVLink, InfiniBand, Ethernet, GPUDirect RDMA, NCCL.
- In-network compute: SHARP, BlueField DPU.
- IO management: công cụ theo dõi và điều chỉnh.
Nếu đề hỏi Magnum IO là gì, đáp án là một lớp trừu tượng tập hợp các công nghệ IO của NVIDIA, không phải một sản phẩm phần cứng đơn lẻ.
13. VDI và NVIDIA vGPU
VDI (Virtual Desktop Infrastructure) đặt desktop của người dùng (hệ điều hành, ứng dụng, dữ liệu) trên server tập trung trong data center, người dùng chỉ truy cập từ xa. NVIDIA vGPU chia một GPU vật lý thành nhiều GPU ảo để cấp cho các desktop đó.
Khác biệt với MIG: vGPU chia theo thời gian, nhiều máy ảo thay nhau dùng GPU theo lịch của hypervisor; MIG chia theo phần cứng, mỗi instance có SM và bộ nhớ riêng thật sự.
NVIDIA dùng cụm desktop density theo hai nghĩa: hiệu năng AI cao trên một workstation cá nhân nhỏ gọn, và số người dùng phục vụ được trên mỗi GPU khi triển khai VDI. Phần mềm vGPU cho phép một GPU data center phục vụ tới 32 desktop ảo chạy đồng thời. Con số 32 đáng nhớ nếu gặp câu hỏi về desktop density.
14. Các thuật ngữ hạ tầng rời rạc cần biết
Gigabit Ethernet là chuẩn truyền ở 1 Gb/s. Với cụm AI, băng thông thực tế nằm trong khoảng 100 Gigabit Ethernet tới 1,6 Terabit Ethernet. Dù đề có hỏi thông lượng thì vẫn phải tính tới độ trễ: với giao tiếp GPU-to-GPU, càng ít chặng trung gian càng tốt.
PUE (Power Usage Effectiveness) đo mức hiệu quả sử dụng điện của một data center:
PUE = Tổng điện năng toàn cơ sở ÷ Điện năng của thiết bị IT
PUE lý tưởng là 1,0, nghĩa là mọi watt đi vào đều phục vụ tính toán. Data center hiện đại đạt khoảng 1,2 hoặc thấp hơn, trung bình ngành nằm trong khoảng 1,58 tới 1,8. Phần dư chủ yếu dành cho làm mát và tổn hao phân phối điện.
SIMT (Single Instruction Multiple Thread) là mô hình thực thi của GPU: một đơn vị điều khiển (control unit, viết tắt CU) phát một lệnh cho nhiều đơn vị xử lý (processing unit, viết tắt PU) cùng thực hiện trên các dữ liệu khác nhau. Hai từ viết tắt CU và PU gắn với mô hình này.
Out of memory error xảy ra khi hệ thống dùng hết bộ nhớ khả dụng. Ví dụ thường gặp: cụm 8 GPU H100 có tổng 640 GB, huấn luyện LLM 70 tỉ tham số ở FP16. Trọng số chỉ chiếm 140 GB, nhìn qua thì dư, nhưng training cần gấp 2 tới 4 lần cho gradient và trạng thái optimizer, và với full parameter training ở FP16 có thể cần tới 12 tới 16 lần. Quy tắc 2 tới 4 lần chỉ là ước lượng; con số thật phụ thuộc vào độ chính xác và phương pháp huấn luyện.
Homomorphic encryption cho phép tính toán ngay trên dữ liệu đã mã hoá, hữu ích khi không tin tưởng hạ tầng đang xử lý dữ liệu của mình. Dữ liệu được mã hoá trước, xử lý khi vẫn ở dạng mã hoá, chỉ chủ sở hữu giải mã được kết quả. Có ba cấp: partially homomorphic, somewhat homomorphic và fully homomorphic (FHE), trong đó FHE cho phép thực hiện số lượng phép cộng và phép nhân không giới hạn. Nếu đề hỏi cách xử lý dữ liệu nhạy cảm trên hạ tầng không đáng tin cậy, hướng trả lời nằm ở homomorphic encryption.
NGC (NVIDIA GPU Cloud) là cổng phần mềm doanh nghiệp của NVIDIA, catalog nằm tại catalog.ngc.nvidia.com. Kho này chứa container, model và script đã tối ưu cho GPU, cập nhật hằng tháng. Nhiều thành phần quen thuộc như Triton Inference Server được kéo về từ đây.
Muốn đi sâu hơn về cách dựng một cụm AI thật, gồm sơ đồ đấu nối, danh sách thiết bị và cách tính port, có bài riêng ngoài loạt chứng chỉ này: AI Cluster Factory, từng bước một.
Nguồn tham khảo
Nguồn gốc: NVIDIA-Certified Associate AI Infrastructure and Operations (NCA AIIO) Free Study Course, kênh freeCodeCamp.org.
Đã fact-check (truy cập 2026-10-23):
- Băng thông NVLink theo thế hệ (A100 600 GB/s với 12 link, Hopper 900 GB/s với 18 link, Blackwell 1.800 GB/s, Rubin 3,6 TB/s với 36 link): NVLink and NVLink Switch, NVIDIA NVLink: The Scale-Up Network for AI Factories. Trang sản phẩm ghi thế hệ 6 ở mức 3.000 GB/s trong khi bài developer ghi 3,6 TB/s, hai nguồn chưa thống nhất.
- NVLink thế hệ 2 (Volta V100, 6 link mỗi GPU, 25 GB/s mỗi chiều trên mỗi link nên 300 GB/s bidirectional mỗi GPU, tốc độ tín hiệu tăng từ 20 lên 25 Gb/s so với thế hệ 1; biến thể DGX Station dùng 4 link cho 200 GB/s, theo DGX-1 with Tesla V100 System Architecture whitepaper): NVIDIA Volta Architecture Whitepaper
- ConnectX-8 SuperNIC: 800 Gb/s tổng, PCIe Gen6 tới 48 lane, cấu hình 1 cổng 800 hoặc 2 cổng 400 Gb/s: NVIDIA ConnectX-8 SuperNIC datasheet
- ConnectX-9 SuperNIC (1,6 Tb/s mỗi GPU, SerDes 200G PAM4) và BlueField-4 DPU (Grace 64 nhân, tới 800 Gb/s, 128 GB bộ nhớ): Inside the NVIDIA Vera Rubin Platform
- BlueField-3 DPU: 400 Gb/s, PCIe Gen5 32 lane, tới 16 nhân Arm A78: NVIDIA BlueField-3 DPU datasheet
- Phân vai SuperNIC cho East/West và DPU cho North/South, tỉ lệ 1 NIC trên 1 GPU, yêu cầu nguồn ATX 12V 8-pin cho card trên 75 W: Components, NVIDIA HGX AI Factory
- Quantum-X800 Q3400: 144 cổng 800 Gb/s trên 72 cage OSFP, 4U, 115,2 Tb/s, fat-tree hai tầng nối tới 10.368 NIC, cổng in-band riêng cho UFM: NVIDIA Quantum-X800 InfiniBand Platform
- Spectrum-4 SN5600 và SN5610: 64 cổng 800 GbE, tách được thành 128 cổng 400 GbE hoặc tới 256 cổng tốc độ thấp hơn, 51,2 Tb/s: SN5000 switch specifications
- Adaptive routing theo từng packet, sắp xếp lại thứ tự tại SuperNIC, cơ chế ECN kết hợp RTT probe, con số 95% băng thông hữu dụng: Giga-Scale AI and the Ethernet Evolution
- Switch theo vai trò trong SuperPOD B300 (Q3400-RA cho compute, QM9700 cho storage, SN5610 cho in-band, SN2201 cho out-of-band): SuperPOD with DGX B300 Components
- Topology rail-optimized non-blocking full fat-tree, 32 node mỗi scalable unit, 8 kết nối NDR400 mỗi hệ thống: DGX SuperPOD Reference Architecture, DGX H200
- SHARP: các nguồn tìm được đều mô tả trong ngữ cảnh InfiniBand. Tài liệu Spectrum-X chỉ xác nhận lossless transport, adaptive routing và in-network telemetry được mang từ InfiniBand sang, không nhắc tới SHARP. Chưa xác minh được tính năng này có chạy trên Spectrum-X Ethernet hay không.