AI Cluster Factory, từng bước một

00Bức tranh tổng thể

Một AI (Artificial Intelligence) Cluster Factory gồm các GPU (Graphics Processing Unit) node ở trung tâm, nối với nhau và với thế giới bên ngoài qua nhiều network plane tách biệt, mỗi plane phục vụ một loại traffic C. RA (Reference Architecture) B300 gọi đây là bốn fabric: Compute, Storage và Ethernet (chia hai segment In-band và Out-of-band), cộng với NVLink bên trong node RA.

Cách đọc tài liệu này: Phần A dựng từ vựng và concept, Phần B áp concept đó vào thiết kế thật DGX B300, phần cuối ghép lại thành flow của một training job.

01Vì sao AI Network khác mạng DC thông thường

Khi train model lớn, model được chia trên hàng trăm/nghìn GPU (Graphics Processing Unit). Sau mỗi bước tính, mọi GPU phải đồng bộ kết quả (collective, ví dụ all-reduce) C. Hệ quả:

SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) là cách NVIDIA giảm tải all-reduce: offload collective operations từ CPU (Central Processing Unit)/GPU xuống mạng, tránh gửi dữ liệu nhiều lần giữa các endpoint NV [SHARP intro].

02InfiniBand, Ethernet, RDMA và RoCE: nguyên lý hoạt động

Mục này trả lời 4 câu hỏi theo thứ tự: RDMA (Remote Direct Memory Access) là gì và vì sao AI (Artificial Intelligence) cần nó; InfiniBand chở RDMA như thế nào; Ethernet phải thêm gì để chở được RDMA (RoCE (RDMA over Converged Ethernet)); và ai trong mạng là người đóng gói header.

2.1 RDMA: vì sao không dùng TCP/IP thường

RDMA (Remote Direct Memory Access) cho phép đọc hoặc ghi thẳng vào bộ nhớ của máy khác "without involving the remote Operating System and CPU (Central Processing Unit)" NV [RDMA Programming Manual]. Nhờ "stack bypass and copy avoidance", độ trễ thấp hơn và CPU rảnh hơn. Với training, mỗi bước all-reduce phải đợi gói chậm nhất, nên bớt được các bước copy qua kernel là bớt được thời gian chờ của cả cụm C.

Bốn kiểu thao tác: Send/Receive (bên nhận phải đặt sẵn buffer và được báo khi có dữ liệu), RDMA Write và RDMA Read (bên kia không hề được báo: "conducted with no notification whatsoever to the remote host"), và atomic NV [RDMA Programming Manual §3.1].

RDMA chạy được trên 3 công nghệ: InfiniBand, RoCE và iWARP (Internet Wide Area RDMA Protocol) NV. iWARP chạy trên TCP; NVIDIA nhận xét RoCE tránh được "the complex and low performance TCP transport (needed for iWARP)". AI Factory của NVIDIA dùng InfiniBand hoặc RoCE, nên tài liệu này không đi sâu vào iWARP.

2.2 InfiniBand hoạt động thế nào

InfiniBand được thiết kế cho RDMA ngay từ đầu, gồm các lớp Physical, Link, Network, Transport NV [Introduction to InfiniBand]. Có 5 ý chính:

1. Subnet Manager (SM) cấu hình cả mạng. SM gán cho mỗi port một LID (Local Identifier) 16-bit, tính route và nạp bảng forwarding xuống switch. Không phải cấu hình từng switch bằng tay NV C.
2. Switch chuyển gói theo LID. Switch đọc Destination LID trong LRH (Local Route Header), tra bảng và chọn port ra. Gói đi qua router sang subnet khác thì cần thêm GRH (Global Route Header), chứa địa chỉ 128-bit dạng IPv6 NV.
3. Credit-based flow control. "Data is not transmitted unless the receiver advertises credits indicating receive buffer space is available." Bên gửi biết trước bên nhận còn chỗ nên switch không bao giờ phải rớt gói vì tràn buffer. Đây là lý do IB (InfiniBand) lossless từ bản chất NV.
4. Virtual Lane (VL). Nhiều kênh logic dùng chung một link vật lý, mỗi kênh có credit riêng, nên một kênh nghẽn không chặn kênh khác NV.
5. Transport trong phần cứng. HCA (Host Channel Adapter), tức NIC InfiniBand, "implements a reliable in-order transport connection in hardware": đánh số gói (PSN (Packet Sequence Number) trong BTH), ACK, gửi lại đều do NIC làm, không cần CPU NV.

2.3 Ethernet hoạt động thế nào, và vì sao phải "AI hoá"

Ethernet và IP vốn là best-effort: gửi trước, buffer đầy thì rớt gói, rồi để TCP phát hiện và gửi lại. Trong mạng doanh nghiệp có rất nhiều luồng nhỏ, cách này chạy tốt và ECMP (Equal-Cost Multi-Path) hash chia tải khá đều C. RDMA thì khác: transport nằm trong NIC và kỳ vọng mạng không mất gói, nên RoCE "requires a form of flow control" NV [DOCA: RoCE]. Ethernet cho AI vì thế thêm 3 cơ chế:

Hai cơ chế bổ sung cho nhau: ECN với DCQCN làm nguồn chậm lại sớm để ít phải pause; PFC là lưới an toàn cuối cùng để không rớt gói C. Spectrum-X thêm adaptive routing (rải gói qua nhiều đường, SuperNIC sắp lại thứ tự) và congestion control dựa trên telemetry của switch NV [Spectrum-X].

2.4 RoCE, RoCEv1, RoCEv2 và cách đóng gói header

RoCE (RDMA over Converged Ethernet) là chuẩn của IBTA (InfiniBand Trade Association), lấy nguyên phần transport của InfiniBand và đặt lên Ethernet: "RoCE encapsulates IB transport in one of the following Ethernet packets" NV [MLNX_OFED: RoCE]. Ứng dụng không phải sửa gì, vì "the packet format change occurs at the wire level and does not affect the RDMA API" NV.

Nguồn bảng: NV [DOCA: RoCE] · [MLNX_OFED: RoCE] · [WinOF: RoCEv2]. Phiên bản v1 hay v2 của một QP do loại GID (Global Identifier) được chọn quyết định: mỗi port có 2 mục GID cùng giá trị, khác loại.

2.5 Ai đóng gói header

Câu trả lời ngắn: RDMA NIC bên gửi (ConnectX-8, BlueField-3; bên InfiniBand gọi là HCA). NVIDIA ghi rõ: "RoCE traffic does not go through the mlx5_core driver; it is completely offloaded by the hardware", và NIC coi mọi gói tới UDP port 4791 là RoCE NV [MLNX_OFED: RoCE].

2.6 So sánh nhanh

Ba dòng cuối tóm từ C; các dòng về cơ chế lấy từ nguồn NV đã dẫn ở trên.

03GPU Node và các loại NIC

HGX là baseboard 8 GPU (Graphics Processing Unit) SXM + NVLink/NVSwitch để OEM dựng server; DGX là server hoàn chỉnh do NVIDIA thiết kế và hỗ trợ C. Trên node, NIC (Network Interface Card) chia theo plane mà nó phục vụ:

Quy ước đặt tên model (ví dụ C8180 = ConnectX, gen 8, 1 port, 800G; B3240 = BlueField-3, 2 port, 400G) lấy từ C. ⚠ Mình chưa tìm được trang NVIDIA giải thích quy ước này, nên coi đây là mẹo đọc mã, không phải định nghĩa chính thức.

04Năm Network planes

NVLink: thế hệ 5 (Blackwell) đạt 1.8 TB/s mỗi GPU; NVLink Switch nối nhiều NVLink để GPU giao tiếp all-to-all ở full tốc độ NVLink, có engine cho in-network reduction và multicast NV [NVLink page].

05Compute Fabric: SU, Rail, UFM

Scalable Unit (SU) là khối lặp lại gồm số GPU (Graphics Processing Unit) node cố định cùng leaf switch, management, storage, layout rack và wiring định sẵn; mở rộng bằng cách nhân bản SU C. RA (Reference Architecture) B300 dùng thiết kế module theo SU 64 DGX B300 RA.

Rail-optimized: NIC (Network Interface Card) số i của mọi node trong SU nối vào cùng leaf số i; traffic trên cùng một rail chỉ cách 64 node khác trong SU đúng một hop; traffic khác rail hoặc khác SU đi qua spine RA.

Tốc độ InfiniBand

XDR (tốc độ InfiniBand 800 Gb/s): SerDes 200 Gb/s mỗi lane, 800 Gb/s mỗi port adapter/switch, 1.6 Tb/s switch-to-switch; NDR (tốc độ InfiniBand 400 Gb/s): 400 Gb/s IBTA [IBTA (InfiniBand Trade Association) XDR]. Khi NIC chạy Ethernet thì gọi theo GbE (400GbE) C.

UFM (chỉ có ở fabric InfiniBand)

UFM (Unified Fabric Manager) là nền tảng quản lý InfiniBand data center, kết hợp telemetry thời gian thực với phân tích AI (Artificial Intelligence). Ba cấp: Telemetry (validation, giám sát, stream telemetry) → Enterprise (thêm discovery, provisioning, theo dõi nghẽn) → Cyber-AI (thêm preventive maintenance, an ninh) NV [UFM]. Trang Subnet Manager trong UFM Enterprise: [UFM SM tab]. RA B300 dùng 2 UFM 3.5 Appliance Enterprise Edition cho storage IB (InfiniBand) fabric RA.

Nguyên tắc oversubscription 1:1 cho compute: RA mô tả compute fabric là "non-blocking, full fat-tree" RA.

06Storage, In-band, OOB và Converged network

GPUDirect Storage (GDS): tạo đường DMA (Direct Memory Access) trực tiếp giữa GPU memory và storage, không qua bounce buffer ở CPU (Central Processing Unit); có compatibility mode fallback qua RAM khi cấu hình không hỗ trợ NV [GDS overview].

BlueField SNAP: ảo hoá storage tăng tốc phần cứng, host thấy storage qua mạng như ổ local NV [SNAP].

07Transceiver, cáp, switch

Twin-port OSFP (Octal Small Form-factor Pluggable): một module chứa hai transceiver 400G độc lập, mỗi bên một connector MPO-12/APC, tổng 800G. Có bản finned-top cho switch làm mát bằng khí và bản flat-top cho phía hệ thống/NIC. Ví dụ MMS4X00-NM: single-mode 1310nm, 8 sợi dùng trong 12, tới 500m; APC (Angled Physical Contact) không tương thích UPC NV [MMS4X00-NM].

• Flat-top phụ thuộc heatsink của cage nên chỉ dùng cho thiết bị được chứng nhận; finned (IHS) tự tản nhiệt, cao hơn C. ⚠ Datasheet MMS4X00-NM mình đọc không mô tả cơ chế "riding heat sink"; chi tiết này mới có ở tài liệu concept.
• Compute fabric nên dùng connector APC; plane khác có thể dùng UPC C.

T1Toàn cảnh: một AI Factory gồm những gì

Trước khi đi vào từng thiết bị, hãy nhìn toàn bộ. Mỗi hộp dưới đây là một nhóm thiết bị có thật trong danh sách thiết bị (BOM (Bill of Materials)) của RA (Reference Architecture) DGX B300 bản 4 SU (Scalable Unit), 256 node RA. Chấm chạy trên đường là hướng traffic.

Danh mục đầy đủ các thành phần

Đọc theo nhóm. Cột "Nối với" cho biết thiết bị cắm vào plane nào. Cột "4 SU" là số lượng trong BOM 256 node để bạn hình dung quy mô.

1 · Tính toán (Compute)

2 · Card mạng trên node (NIC)

3 · Switch

4 · Quản lý fabric

5 · Storage

6 · Server quản lý và phần mềm

7 · Lớp vật lý: transceiver, cáp, rack, nguồn

UG = NVIDIA DGX B300 User Guide. Số "1538 ⚠": PDF in là "15 38" (lỗi in), mình đọc là 1538. Dấu "…" nghĩa là còn thêm dòng nhỏ trong Table 9.1.

T2Giải phẫu DGX B300 (mô hình 3D)

Kéo để xoay, dùng thanh trượt để tách các khối, bấm vào một khối để xem bên trong có gì. Đây là mô hình minh hoạ: các khối và linh kiện đúng theo User Guide, còn vị trí và tỉ lệ được đơn giản hoá cho dễ nhìn.

UG DGX B300 User Guide · trang sản phẩm DGX B300. UG có chỗ tự mâu thuẫn: một đoạn nói quạt thay từ phía sau, đoạn khác nói từ phía trước ⚠.

T3Cổng mạng và kết nối bên trong node

Mỗi cổng OSFP (Octal Small Form-factor Pluggable) có 2 port (P1 bên trái, P2 bên phải) UG. Với compute Ethernet twin-plane, mỗi GPU (Graphics Processing Unit) có 2 × 400GbE qua 2 plane khác nhau RA, nên P1 và P2 tương ứng với 2 plane.

T4HGX hay DGX

NV NVIDIA HGX. HGX B300 có băng thông mạng gấp đôi HGX B200 vì đổi ConnectX-7 400G sang ConnectX-8 800G.

• Chọn DGX khi muốn giải pháp chuẩn, ít rủi ro tích hợp, một đầu mối hỗ trợ, đi theo kiến trúc SuperPOD C.
• Chọn HGX qua OEM khi muốn tự chọn CPU (Central Processing Unit), NIC (Network Interface Card), tản nhiệt, tối ưu chi phí C.

T5NIC chi tiết: ConnectX-8 và BlueField-3

Các model ConnectX-8

NV ConnectX-8 SuperNIC User Manual. Mẹo đọc tên: C8180 = ConnectX · gen 8 · 1 port · 800G C (quy ước này chưa tìm thấy trong tài liệu NVIDIA ⚠).

BlueField-3 DPU

• Ethernet 1, 2 hoặc 4 port tới 400 Gb/s; InfiniBand 1 port NDR 400G hoặc 2 port NDR200 NV.
• Tới 16 nhân Arm A78, 16 GB DDR5, accelerator cho crypto (IPsec, TLS, MACsec), storage (NVMe-oF), RegEx, firewall NV [datasheet].
• Trên DGX B300, BlueField-3 mặc định chạy ở NIC (Network Interface Card) mode; đổi mode xem tài liệu DOCA UG.

Cách bố trí BlueField trên node (hình từ tài liệu gốc)

T6Switch, transceiver và cáp

RA Table 2.1, Table 9.1. Chữ "D" trong SN5600D và MQM9701 là bản nguồn DC RA mục 4.2–4.3.

T7Rack, nguồn và làm mát (mô hình 3D)

Kéo để xoay. Rack MGX chứa tối đa 4 DGX B300, cấp điện DC qua busbar từ 4 power shelf RA. Vị trí shelf trong rack là minh hoạ ⚠.

T8Các thế hệ thiết bị

UG DGX H100/H200 · DGX B200 · DGX B300.

T9Yêu cầu thiết kế: checklist cho người mới

Gom lại các yêu cầu đã có nguồn ở trên thành danh sách kiểm tra khi bắt đầu một thiết kế DGX B300.

08DGX B300 và rack

Nguồn: RA PDF mục 2.1, 2.1.1, 2.6.1 và Chương 3.

Cổng mạng trên DGX B300 (Figure 4.1 trong PDF): cổng compute fabric ở cạnh compute tray, nối tới cả 8 GPU; cổng in-band và storage đi theo cặp để có đường song song; một cổng BMC (Baseboard Management Controller) RA [Network Fabrics].

09SU 64 node và cách mở rộng

Thiết kế tham chiếu tập trung vào 4 SU (Scalable Unit) (256 node), đã kiểm thử đầy đủ tới 4 SU; có thể mở rộng tới và vượt 64 SU, 2000+ node (từ 4 SU trở lên cần liên hệ NVIDIA). Kể cả khi triển khai ít node hơn, vẫn nên dựng đủ leaf và cáp leaf-spine của cả SU để routing và hiệu năng nhất quán RA.

Table 3.1 trong PDF RA. Trong PDF, cột Leaf và Spine nằm dưới nhóm tiêu đề "Cable Count"; theo BOM (Bill of Materials) (64 leaf + 32 spine cho 4 SU) thì đây là số switch.

10Compute fabric twin-plane

Topology: rail-optimized, twin-planar, full fat-tree RA.

• Cân bằng tải nhờ phần mềm NVIDIA Route và plane load balancer trên ConnectX-8; một link lỗi không gây lỗi aborted-connection qua RDMA (Remote Direct Memory Access) driver RA.
• NVIDIA NetQ cung cấp telemetry, giám sát và validation cho fabric RA.
• Theo BOM (Bill of Materials) 4 SU (Scalable Unit): 64 leaf + 32 spine SN5600, 4096 cáp DGX-leaf, tức 16 cáp mỗi node (8 GPU (Graphics Processing Unit) × 2 plane) RA.
• Dual plane này khớp với HGX AI (Artificial Intelligence) Factory RA (Reference Architecture): mỗi kết nối 800 Gb/s của GPU tách thành 2 × 400 Gb/s tới hai leaf khác nhau NV [HGX AI Factory].

11Storage fabric và yêu cầu storage

• I/O mỗi node cần trên 40 GBps RA. ⚠ Đã kiểm tra PDF: mục 2.6.3 ghi "at least 40 Gbps", còn mục 4.2 và 4.3 ghi "must exceed 40 GBps". Hai con số chênh nhau 8 lần; PDF không nói con số nào đúng.
• HPS (High-Performance Storage): partner được chứng nhận, POSIX parallel file system, RDMA (Remote Direct Memory Access) qua IB hoặc Ethernet, cache bằng RAM và flash RA.
• User storage: NFS (Network File System) trên in-band, dùng cho home, scratch admin, log; tối thiểu 100 Gb/s, kết nối 100G DR1 RA.
• Thao tác I/O chính khi train là re-read; checkpoint có thể tới TB và ghi đồng bộ nên training dừng trong lúc ghi. Write nên tối thiểu bằng nửa read RA.

Table 5.2 trong PDF RA, cột Good và Better. Table 5.1 định nghĩa hai mức workload: Standard (nhiều job LLM/fine-tune, compute chiếm ưu thế) và Enhanced (multimodal, dataset quá lớn cho cache local). PDF không ghi rõ Good/Better ứng với Standard/Enhanced. Ca computer vision với dataset trên 30 TB cần 4 GBps read mỗi GPU (Graphics Processing Unit).

12Ethernet fabric: In-band, OOB, Customer edge

Mọi traffic Ethernet (trừ storage/compute riêng) chạy trên một mạng vật lý chung; VXLAN (Virtual Extensible LAN) + EVPN (Ethernet VPN) tách traffic control khỏi admin; VTEP (VXLAN Tunnel End Point) kết thúc ở leaf (SN2201 hoặc SN5600D) RA.

• In-band switch SN5610/SN5600D: 64 port 800G, tới 256 port 200G RA.
• OOB switch SN2201(M): 48 port 1G + 4 × 100G RA.
• Không có DR1 thì dùng cặp border leaf riêng (không thuộc SuperPOD) RA.

RA [Network Fabrics]

13Management servers và software

Mọi thiết bị nối OOB 1GbE cho IPMI (Intelligent Platform Management Interface)/Redfish RA [Management Servers]. BOM (Bill of Materials) 4 SU (Scalable Unit) ghi 7 control node x86 cho Mission Control, khớp tổng 2 + 3 + 2.

14BOM 4 SU (256 DGX B300) rút gọn

Table 9.1 trong PDF RA. PDF ghi các số này là đại diện, phải chốt theo thiết kế thực tế. Số 512 transceiver 400G cho BF3240 ở cả storage và in-band cho thấy mỗi node dùng 2 port storage + 2 port in-band (suy ra từ BOM (Bill of Materials) ⚠).

15Flow end-to-end của một training job

Ghép các vai trò đã có nguồn ở trên theo thứ tự thời gian. Mỗi bước đều trỏ về phần tương ứng.

16Những điểm các nguồn lệch nhau

17Glossary

Bảng từ viết tắt

Trong mỗi mục, lần đầu một từ viết tắt xuất hiện thì tên đầy đủ được ghi ngay trong ngoặc. Quên nghĩa thì tra bảng này.

Giải thích khái niệm

All-reduce

Collective cộng gradient của mọi GPU (Graphics Processing Unit) rồi phát lại cho tất cả C.

SU

Scalable Unit, khối node + mạng lặp lại; B300: 64 node RA.

Rail

Nhóm NIC (Network Interface Card) cùng số thứ tự trên mọi node, cùng nối một leaf RA.

Twin-plane

Hai fabric compute độc lập, mỗi GPU 1 link 400G vào mỗi plane RA.

RDMA

Truyền dữ liệu trực tiếp giữa ứng dụng qua mạng, offload trên adapter NV.

Verbs

API (Application Programming Interface) để ứng dụng ra lệnh trực tiếp cho RDMA (Remote Direct Memory Access) NIC NV.

QP (Queue Pair)

Cặp Send/Receive Queue ở mỗi đầu kết nối RDMA, tương tự socket NV.

CQ / CQE

Completion Queue: nơi NIC báo một lệnh (WR (Work Request)) đã xong; mỗi báo là một CQE (Completion Queue Entry) NV.

MR, lkey, rkey

Vùng nhớ đã đăng ký; lkey dùng ở máy mình, rkey cấp cho máy kia để được ghi đọc NV.

HCA

Host Channel Adapter: NIC InfiniBand, làm transport trong phần cứng NV.

LID

Địa chỉ 16-bit do Subnet Manager gán cho từng port IB (InfiniBand); switch chuyển gói theo LID (Local Identifier) NV.

LRH / GRH / BTH

Header IB: LRH (Local Route Header) để chuyển trong subnet (có DLID (Destination Local Identifier)), GRH (Global Route Header) để qua router, BTH (Base Transport Header) chứa QP (Queue Pair) đích và số thứ tự gói NV.

ICRC / VCRC

Mã kiểm lỗi: ICRC (Invariant CRC) đầu-cuối cho trường không đổi, VCRC (Variant CRC) tính lại mỗi hop NV.

Virtual Lane

Kênh logic dùng chung link vật lý, mỗi kênh có credit riêng NV.

RoCEv1

RoCE (RDMA over Converged Ethernet) ở Layer 2, EtherType 0x8915, không qua router NV.

CNP

Gói NIC nhận gửi về NIC gửi khi thấy ECN (Explicit Congestion Notification), để NIC gửi giảm tốc NV.

CP / NP / RP

Ba vai trong DCQCN (Data Center Quantized Congestion Notification): switch đánh dấu (CP (Congestion Point)), NIC nhận báo (NP (Notification Point)), NIC gửi giảm tốc (RP (Reaction Point)) NV.

GID

Địa chỉ dạng IPv6 của port; với RoCE, loại GID (Global Identifier) quyết định QP chạy v1 hay v2 NV.

RoCEv2

RDMA trên Ethernet, dựa vào PFC (Priority Flow Control) và ECN NV.

PFC

Priority Flow Control, pause theo CoS (Class of Service) thay vì cả link NV.

ECN

Đánh dấu nghẽn (RFC 3168), bên nhận gửi CNP (Congestion Notification Packet) về nguồn NV.

DCQCN

Thuật toán congestion control cho RoCE trên ConnectX NV.

Subnet Manager

Thực thể bắt buộc của mỗi subnet IB, gán LID và tính path NV.

UFM

Unified Fabric Manager cho InfiniBand: Telemetry, Enterprise, Cyber-AI NV.

SHARP

Offload collective xuống mạng NV.

NDR / XDR

400 / 800 Gb/s mỗi port IB; XDR (tốc độ InfiniBand 800 Gb/s) 200G mỗi lane IBTA.

SuperNIC

Network accelerator cho AI (Artificial Intelligence), RoCE + GPUDirect RDMA tới 800G NV.

DPU

Infrastructure processor có Arm riêng, offload network/storage/security NV.

GPUDirect Storage

DMA (Direct Memory Access) trực tiếp giữa GPU memory và storage NV.

SNAP

BlueField ảo hoá storage mạng thành ổ local NV.

VXLAN / EVPN

Overlay và control plane để tách segment trên Ethernet chung RA.

HPS

High-Performance Storage, parallel FS của partner RA.

Mission Control

Phần mềm quản lý toàn stack cho SuperPOD B300 RA.

Twin-port OSFP

Một module, hai transceiver 400G độc lập NV.

18Nguồn tham khảo: là gì và dùng để làm gì

Mỗi nguồn có một vai trò riêng. Khi hai nguồn nói khác nhau, thứ tự tin cậy mình dùng là: tài liệu sản phẩm NVIDIA mới nhất, rồi RA (Reference Architecture), rồi tài liệu concept. Mọi nguồn dưới đây đều miễn phí.