NCA-AIIO 7: Blackwell, Blackwell Ultra và kỷ nguyên rack-scale
Loạt NCA-AIIO (9 phần): 1. Tổng quan & GPU cơ bản · 2. CUDA & lập trình song song · 3. Container & inference serving · 4. H100, H200 & DGX · 5. Networking data center · 6. GPUDirect & NCCL · 7. Blackwell & NVL72 · 8. HGX, DGX & SuperPOD · 9. Vận hành, điện & sizing
Phần 7/9 trong loạt NCA-AIIO: đọc sau Phần 6. Phần này vượt ngoài phạm vi đề thi, phục vụ việc hiểu phần cứng đang bán hôm nay.
Cập nhật: 2026-10-23
:::note Phạm vi
Đề thi NCA-AIIO hiện tại xoay quanh Hopper và H100. Phần này đi ra ngoài phạm vi đó, phục vụ việc hiểu thị trường phần cứng đang bán và đang được dựng hôm nay. Các con số ở đây không cần học thuộc để thi, nhưng cần nắm nếu phải nói chuyện với nhà cung cấp hoặc đọc một bản chào hàng.
:::
Mục lục
- 1. Vì sao Blackwell không chỉ là một đời GPU mới?
- 2. Hai die ghép thành một GPU: NV-HBI
- 3. FP4 và NVFP4: cắt nửa số bit mà vẫn giữ độ chính xác
- 4. B200 và B300 khác nhau ở đâu?
- 5. Grace Blackwell: GB200 và GB300 superchip
- 6. NVL72: khi cả một rack trở thành một GPU
- 7. Bên trong một rack NVL72
- 8. GB200 NVL72 so với GB300 NVL72
- 9. Điện: bài toán mới của thiết kế rack-scale
- 10. DGX B200 và DGX B300
- 11. Bảng so sánh xuyên thế hệ
- 12. Sau Blackwell là gì?
- Nguồn tham khảo
1. Vì sao Blackwell không chỉ là một đời GPU mới?
Từ Pascal tới Hopper, mỗi đời GPU data center của NVIDIA đi theo một công thức quen thuộc: chip nhanh hơn, bộ nhớ to hơn, NVLink rộng hơn, nhưng đơn vị bán hàng vẫn là một server tám GPU. Khách hàng mua vài chục hộp như vậy rồi nối chúng bằng InfiniBand.
Blackwell giữ nguyên công thức đó ở dòng HGX và DGX, nhưng mở thêm một dòng sản phẩm mà đơn vị bán hàng là cả một tủ rack. Trong tủ đó, 72 GPU nối với nhau bằng NVLink thành một miền duy nhất, nghĩa là GPU số 1 ở khay trên cùng nói chuyện với GPU số 72 ở khay dưới cùng với đúng tốc độ như hai GPU nằm cạnh nhau trên cùng baseboard.
Thay đổi này quan trọng vì nó dịch chuyển ranh giới giữa hai thế giới. Trước Blackwell, ranh giới nằm ở vỏ server: trong hộp thì nhanh, ra khỏi hộp thì chậm hơn một bậc. Sau Blackwell, ranh giới lùi ra tới vỏ rack.
Phần này trả lời ba câu hỏi:
- Blackwell làm gì ở mức con chip để có bước nhảy hiệu năng đó.
- B200 và B300 khác nhau chỗ nào, và khi nào cần tới bản Ultra.
- Một rack NVL72 gồm những gì, và vì sao điện trở thành vấn đề lớn nhất.
2. Hai die ghép thành một GPU: NV-HBI
Chip bán dẫn không thể to tuỳ ý. Máy quang khắc có một khung chiếu gọi là reticle, và không ai sản xuất được con die lớn hơn khung đó trong một lần chiếu. Tới Hopper, NVIDIA đã chạm gần trần này: H100 là một con die đơn gần kịch cỡ reticle.
Blackwell vượt trần bằng cách ghép hai die kịch cỡ reticle lại và nối chúng bằng một đường gọi là NV-HBI (NVIDIA High-Bandwidth Interface), băng thông 10 TB/s. Băng thông đó đủ lớn để phần mềm không nhận ra mình đang chạy trên hai mảnh silicon: hệ điều hành, CUDA và framework đều thấy một GPU duy nhất với một không gian bộ nhớ chung. Lập trình viên không phải chia dữ liệu theo die, không phải đồng bộ giữa hai nửa.
Blackwell Ultra sản xuất trên tiến trình TSMC 4NP với 208 tỉ transistor, so với 80 tỉ của H100.
💡 Hình dung như thế này: reticle giống khổ giấy tối đa của một máy in. Muốn một tấm bản đồ lớn hơn khổ giấy, cách thông thường là in hai tờ rồi dán lại, và người xem luôn thấy đường nối ở giữa, phải đưa mắt qua mép dán. NV-HBI giống việc dán hai tờ bằng một kỹ thuật khiến đường nối trong suốt tới mức người xem rê tay từ tờ này sang tờ kia mà không nhận ra có mối nối, nên tấm bản đồ dùng được y như một tờ liền.
3. FP4 và NVFP4: cắt nửa số bit mà vẫn giữ độ chính xác
Hướng tăng tốc thứ hai của Blackwell là giảm số bit biểu diễn mỗi con số. Chuỗi tiến hoá qua các đời: FP32 ở thời đầu, rồi FP16 và BF16, rồi FP8 với Hopper, và giờ là FP4.
Mỗi lần giảm một nửa số bit, hai thứ cải thiện cùng lúc. Nhân Tensor Core thực hiện được gấp đôi số phép tính trên cùng diện tích silicon, và lượng dữ liệu phải chảy qua bộ nhớ giảm một nửa, nghĩa là nút thắt băng thông cũng nới ra.
Vấn đề là FP4 chỉ có 16 giá trị khả dĩ. Biểu diễn trọng số của một mạng neural bằng 16 mức rời rạc thì sai số lớn tới mức model trả lời sai.
NVFP4 là cách NVIDIA giải bài toán đó bằng micro-tensor scaling, tức chia tỉ lệ ở quy mô rất nhỏ. Thay vì áp một hệ số tỉ lệ cho cả tensor, định dạng này chia tensor thành các khối 16 giá trị, mỗi khối mang một hệ số tỉ lệ riêng ở định dạng FP8 (E4M3), và trên cùng là một hệ số FP32 cho toàn tensor. Nhờ từng khối nhỏ được co giãn riêng, dải giá trị trong mỗi khối được tận dụng gần hết thay vì để các số nhỏ bị làm tròn về không.
Kết quả NVIDIA công bố: độ chính xác gần tương đương FP8, trong khi bộ nhớ giảm khoảng 1,8 lần so với FP8.
Transformer Engine thế hệ 2 là thành phần tự động hoá việc này. Giống bản thế hệ 1 trên Hopper chọn giữa FP8 và FP16, bản thế hệ 2 theo dõi dải giá trị từng lớp rồi quyết định lớp nào hạ được xuống FP4 và lớp nào phải giữ độ chính xác cao hơn.
💡 Hình dung như thế này: đo chiều cao của cả một trường học bằng thước chỉ có vạch mét thì mọi học sinh đều thành "1 mét" hoặc "2 mét", thông tin mất sạch. Micro-tensor scaling giống việc chia học sinh thành từng nhóm 16 em có chiều cao gần nhau, rồi với mỗi nhóm lại đổi sang một cái thước phù hợp với khoảng chiều cao của riêng nhóm đó. Vẫn chỉ dùng thước thô, nhưng vì mỗi nhóm được đo bằng thang đo riêng nên số đọc ra vẫn phân biệt được từng em.
4. B200 và B300 khác nhau ở đâu?
B200 là Blackwell thế hệ đầu, ra mắt năm 2024. B300, tên kiến trúc là Blackwell Ultra, là bản nâng cấp giữa chu kỳ, đóng vai trò giống như H200 từng đóng với H100: giữ nguyên khuôn khổ, tăng mạnh bộ nhớ.
| B200 | B300 (Blackwell Ultra) | |
|---|---|---|
| Bộ nhớ mỗi GPU | 180 GB HBM3e | 288 GB HBM3e |
| Cấu trúc stack HBM | 8 lớp | 12 lớp |
| Băng thông bộ nhớ | tới 8 TB/s | khoảng 8 TB/s |
| NVFP4 dense | 10 PFLOPS | 15 PFLOPS |
| NVLink | Thế hệ 5, 1,8 TB/s mỗi GPU | Thế hệ 5, 1,8 TB/s mỗi GPU |
| NIC đi kèm trong NVL72 | ConnectX-7, 400 Gb/s | ConnectX-8, 800 Gb/s |
So với Blackwell thường, NVIDIA mô tả Blackwell Ultra đạt gấp 1,5 lần FP4 dense, gấp 1,5 lần dung lượng HBM3e, và gấp 2 lần tốc độ ở lớp attention. Phần tăng tốc attention nhắm thẳng vào các model suy luận nhiều bước, nơi chuỗi ngữ cảnh dài khiến chi phí attention tăng nhanh hơn các lớp khác.
Lưu ý khi đọc tài liệu bên thứ ba: dung lượng B200 có nguồn ghi 192 GB, dung lượng B300 có nguồn ghi 279 GB. Con số trong bảng trên lấy theo tài liệu NVIDIA. Khác biệt đến từ việc đếm dung lượng vật lý hay dung lượng khả dụng sau khi trừ phần dự phòng.
5. Grace Blackwell: GB200 và GB300 superchip
Giống GH200 ghép CPU Grace với GPU Hopper, dòng GB ghép CPU Grace với GPU Blackwell trên cùng một module:
- GB200 gồm 1 CPU Grace và 2 GPU B200.
- GB300 gồm 1 CPU Grace và 2 GPU B300.
Grace là CPU kiến trúc ARM do NVIDIA thiết kế, nối với GPU qua NVLink-C2C thay vì PCIe. Khác biệt thực tế nằm ở chỗ CPU và GPU chia sẻ không gian bộ nhớ mạch lạc, GPU đọc thẳng LPDDR của Grace mà không cần lệnh chép tường minh. Khi model vượt quá dung lượng HBM, phần dư nằm trong bộ nhớ CPU và vẫn truy cập được ở tốc độ chấp nhận được, thay vì tràn ra ổ đĩa.
Chữ cái trong tên sản phẩm có quy luật: B là GPU rời (B200, B300), GB là module ghép Grace với Blackwell (GB200, GB300), con số đứng sau NVL là số GPU trong một miền NVLink (NVL72 nghĩa là 72 GPU).
6. NVL72: khi cả một rack trở thành một GPU
Đây là thay đổi tư duy lớn nhất của thế hệ này.
Một DGX H100 có 8 GPU nối bằng NVLink qua 4 NVSwitch đặt trên baseboard. Ra khỏi hộp đó, dữ liệu phải đi qua NIC, qua cáp quang, qua switch InfiniBand, với băng thông thấp hơn khoảng hai mươi lần và độ trễ cao hơn nhiều lần. Người viết phần mềm phân tán vì vậy luôn phải thiết kế quanh ranh giới này: nhồi càng nhiều việc vào trong node càng tốt, hạn chế tối đa lưu lượng ra ngoài.
NVL72 đẩy ranh giới đó từ vỏ server ra vỏ rack. 72 GPU trong cùng một tủ nối với nhau qua một tầng NVSwitch dùng chung, cho 130 TB/s băng thông all-to-all không nghẽn, và GPU bất kỳ tới GPU bất kỳ chỉ qua một chặng switch.
Hệ quả thực tế:
- Một model cần 72 GPU để chứa vừa nay chạy như thể nằm trên một cỗ máy duy nhất, không phải chia theo ranh giới node.
- Các kỹ thuật song song hoá kiểu tensor parallel, vốn đòi hỏi giao tiếp dày đặc và trước đây bị giới hạn trong phạm vi 8 GPU, nay trải được ra 72 GPU.
- Tổng bộ nhớ HBM trong một miền đạt khoảng 20 TB với GB300, đủ chứa những model mà trước đây phải xẻ qua nhiều node.
7. Bên trong một rack NVL72
Một rack NVL72 không phải là chỗ để xếp chồng các server quen thuộc. Nó là một hệ thống liền khối, lắp sẵn và làm mát bằng chất lỏng.
| Thành phần | Số lượng | Nội dung |
|---|---|---|
| Compute tray | 18 khay 1U | Mỗi khay 2 CPU Grace và 4 GPU Blackwell |
| NVLink switch tray | 9 khay 1U | Mỗi khay 2 NVSwitch, mỗi NVSwitch 72 cổng NVLink |
| GPU tổng | 72 | |
| CPU Grace tổng | 36 | 2.592 nhân Arm Neoverse V2 |
| NIC | 4 card mỗi compute tray | ConnectX-7 400G với GB200, ConnectX-8 800G với GB300 |
| DPU quản lý | 1 BlueField-3 mỗi compute tray |
Phép kiểm tra: 18 khay × 4 GPU = 72 GPU, và 18 khay × 2 CPU = 36 CPU Grace. Khớp.
Các khay NVLink switch đóng vai trò spine của miền NVLink, tương đương tầng switch trung tâm nhưng chạy giao thức NVLink chứ không phải Ethernet hay InfiniBand. Mỗi NVSwitch có 72 cổng, vừa đủ để mọi GPU trong rack cắm vào.
Thông số mức rack của GB300 NVL72:
| Thông số | Giá trị |
|---|---|
| FP4 inference, có sparsity | 1.440 PFLOPS |
| FP4 inference, dense | 1.080 PFLOPS |
| FP8 và FP6 Tensor Core | 720 PFLOPS |
| Bộ nhớ HBM3e | 20 TB, băng thông tới 576 TB/s |
| Tổng fast memory (HBM cộng LPDDR của Grace) | 37 TB |
| Băng thông NVLink | 130 TB/s |
| Mạng ra ngoài | Quantum-X800 InfiniBand hoặc Spectrum-X Ethernet, 800 Gb/s mỗi GPU |
Con số 1.440 PFLOPS tương đương 1,44 exaFLOPS trong một tủ rack. Để so sánh, siêu máy tính nhanh nhất thế giới năm 2020 đạt khoảng 0,5 exaFLOPS, dù ở độ chính xác cao hơn hẳn nên phép so sánh này chỉ mang tính minh hoạ về quy mô.
8. GB200 NVL72 so với GB300 NVL72
Hai hệ thống dùng chung bố cục rack: 18 compute tray, 9 switch tray, 72 GPU, 36 CPU Grace. Khác biệt nằm ở ba chỗ.
GPU: GB200 dùng B200, GB300 dùng B300 Blackwell Ultra. NVIDIA công bố GB300 NVL72 cho hiệu năng AI gấp 1,5 lần GB200 NVL72.
Mạng: compute tray của GB200 lắp 4 card ConnectX-7 một cổng 400G OSFP. GB300 nâng lên 4 card ConnectX-8 một cổng 800G OSFP, gấp đôi băng thông ra ngoài rack. Phía quản lý, GB300 chỉ dùng một card BlueField-3 hai cổng mỗi compute tray, không cấu hình bonding như GB200.
Nguồn: đây là thay đổi ít được nói tới nhưng đáng chú ý về mặt vận hành. Bộ nguồn của GB300 dành khoảng một nửa thể tích cho tụ điện, tích trữ khoảng 65 joule cho mỗi GPU. Lượng điện tích trữ đó san phẳng các đỉnh tải. NVIDIA đo được khi huấn luyện Megatron LLM, đỉnh công suất mà lưới điện phải chịu giảm 30% so với GB200.
Vì sao chuyện này quan trọng: workload training có nhịp rất đều, cả nghìn GPU cùng tính toán rồi cùng dừng để đồng bộ, tạo ra sóng công suất lên xuống hàng chục megawatt ở quy mô một data center. Đơn vị cấp điện không thích kiểu tải đó, và ở nhiều nơi nó quyết định luôn chuyện có được cấp phép đấu nối hay không.
9. Điện: bài toán mới của thiết kế rack-scale
Một rack doanh nghiệp truyền thống tiêu thụ 5 tới 15 kW. Một rack NVL72 nằm ở mức hoàn toàn khác, và các nguồn công bố cũng không thống nhất vì mỗi bên đo một đại lượng khác nhau:
| Nguồn | Con số | Đại lượng |
|---|---|---|
| Supermicro | 132 kW | Tổng công suất các power shelf |
| HPE | 132 kW nominal, đỉnh thiết kế điện khoảng 155 kW, khuyến nghị busway 192 kW | TDP và dự phòng |
| Gigabyte | tới 140 kW | Mức tiêu thụ tối đa |
| Các hướng dẫn triển khai | khoảng 120 kW | Mức duy trì liên tục |
Khi đọc một con số công suất rack, luôn phải hỏi đó là mức duy trì, mức danh định hay mức đỉnh, vì ba con số này chênh nhau tới hơn 30%.
Về làm mát, ở mật độ này direct-to-chip liquid cooling là bắt buộc, không còn là lựa chọn. Không khí không mang nổi 130 kW ra khỏi một thể tích hai mét khối. Thiết bị trung tâm của vòng làm mát là CDU (Coolant Distribution Unit), nơi đổi nhiệt giữa vòng nước của toà nhà và vòng chất lỏng chạy trong rack. CDU lắp trong rack thường được chọn ở công suất 200 tới 250 kW, tức dư so với tải để còn biên an toàn. Nước phía toà nhà phải đạt chuẩn chất lượng theo hướng dẫn của ASHRAE, nếu không cặn và ăn mòn sẽ làm tắc các vi kênh trong cold plate.
Hai ràng buộc hạ tầng khác dễ bị bỏ quên cho tới lúc hàng về tới cửa: nguồn điện đầu vào thường là 480 V, và một tủ nặng khoảng 1,36 tấn nên sàn phải chịu được tải điểm đó.
💡 Hình dung như thế này: dựng một rack AI giống lắp một lò nung công nghiệp vào căn bếp gia đình. Chuyện khó không nằm ở chỗ mua được cái lò, mà ở chỗ đường dây điện của căn nhà có chịu nổi không, sàn có đỡ nổi không, và có đủ chỗ cho hệ thống hút nhiệt hay không. Phần lớn dự án vướng ở những câu hỏi này chứ không vướng ở việc chọn model GPU.
10. DGX B200 và DGX B300
Song song với dòng rack-scale, NVIDIA vẫn bán dạng server 8 GPU quen thuộc.
DGX B200 là bản kế nhiệm trực tiếp của DGX H100, vẫn là một hộp lắp vừa rack tiêu chuẩn:
| Thành phần | Thông số |
|---|---|
| GPU | 8 × B200 |
| Bộ nhớ GPU | 1.440 GB HBM3e tổng |
| Băng thông bộ nhớ | 64 TB/s tổng |
| NVSwitch | 2 thiết bị |
| Băng thông NVLink tổng | 14,4 TB/s |
| RAM hệ thống | 2 TB, mở rộng tới 4 TB |
| Hiệu năng | 72 PFLOPS FP8 training, 144 PFLOPS FP4 inference |
| Điện tối đa | khoảng 14,3 kW |
NVIDIA công bố DGX B200 cho hiệu năng training gấp 3 lần và inference gấp 15 lần DGX H100. Con số inference gấp 15 lần đến phần lớn từ việc chuyển sang FP4 chứ không chỉ từ silicon nhanh hơn.
DGX B300 nâng lên 8 GPU Blackwell Ultra với 2,1 TB HBM3e tổng, giữ cùng mức 72 PFLOPS FP8 training và 144 PFLOPS FP4 inference. Trong kiến trúc SuperPOD, một Scalable Unit của DGX B300 gồm 72 hệ thống, chạy trên compute fabric Quantum-X800 XDR 800 Gb/s, và cấu hình đã kiểm thử đầy đủ lên tới 8 SU.
Đối chiếu nhanh mật độ: một rack chứa tối đa 4 hệ thống DGX B300 nếu điện và làm mát cho phép, nghĩa là 32 GPU mỗi rack. Bản GB300 NVL72 nhét 72 GPU vào một rack, gấp hơn hai lần.
11. Bảng so sánh xuyên thế hệ
| H100 SXM | H200 SXM | B200 | B300 | |
|---|---|---|---|---|
| Kiến trúc | Hopper | Hopper | Blackwell | Blackwell Ultra |
| Số die mỗi GPU | 1 | 1 | 2 nối bằng NV-HBI | 2 nối bằng NV-HBI |
| Bộ nhớ | 80 GB HBM3 | 141 GB HBM3e | 180 GB HBM3e | 288 GB HBM3e |
| Băng thông bộ nhớ | 3,35 TB/s | 4,8 TB/s | tới 8 TB/s | khoảng 8 TB/s |
| Độ chính xác thấp nhất | FP8 | FP8 | FP4 (NVFP4) | FP4 (NVFP4) |
| NVLink mỗi GPU | 900 GB/s | 900 GB/s | 1.800 GB/s | 1.800 GB/s |
| Miền NVLink tối đa | 8 GPU | 8 GPU | 72 GPU (NVL72) | 72 GPU (NVL72) |
| NIC đi cùng | ConnectX-7 400G | ConnectX-7 400G | ConnectX-7 400G | ConnectX-8 800G |
Đọc theo hàng ngang sẽ thấy hai nhịp phát triển đan xen nhau. Nhịp chẵn (H200, B300) giữ nguyên sức tính và dồn vào bộ nhớ. Nhịp lẻ (H100, B200) đổi kiến trúc và đổi định dạng số. Nắm được nhịp này thì đoán được đời sau sẽ thay đổi theo hướng nào.
12. Sau Blackwell là gì?
Vera Rubin là nền tảng kế tiếp, đặt theo tên nhà thiên văn học Vera Rubin, vào full production giữa năm 2026 và giao hàng trong nửa sau 2026.
| Chip | Thông số chính |
|---|---|
| Rubin GPU | HBM4 tới 288 GB mỗi GPU, băng thông tổng tới 22 TB/s, 224 SM, 336 tỉ transistor. NVFP4 inference 50 PFLOPS, NVFP4 training 35 PFLOPS dense |
| Vera CPU | 88 nhân Olympus tuỳ biến (Arm v9.2), 176 thread, tới 1,5 TB LPDDR5X ở 1,2 TB/s, NVLink-C2C 1,8 TB/s |
| NVLink 6 | 3,6 TB/s mỗi GPU, 28,8 TB/s mỗi switch tray, 260 TB/s mỗi rack NVL72 |
| ConnectX-9 SuperNIC | 1,6 Tb/s mỗi GPU, tức hai cổng 800 Gb/s |
| BlueField-4 DPU | Grace 64 nhân cộng ConnectX-9 tích hợp, tới 800 Gb/s, 128 GB bộ nhớ |
| Spectrum-6 Ethernet | 102,4 Tb/s mỗi chip switch, quang đóng gói cùng chip |
| Groq 3 LPU | Bộ tăng tốc inference độ trễ thấp, đặt trong các rack LPX riêng chứ không nằm trong rack NVL72 chính, nhắm tới ứng dụng cần phản hồi dưới 100 ms như voice AI thời gian thực và agentic pipeline |
Sáu chip đầu bảng được công bố tại CES đầu năm 2026. Chip thứ bảy xuất hiện muộn hơn: thông cáo GTC ngày 16 tháng 3 năm 2026 liệt kê đủ bảy cái tên, trong đó Groq 3 LPU được mô tả là thành phần mới được tích hợp vào nền tảng.
Hai chỗ dễ gây nhầm khi tra cứu nền tảng này. Thứ nhất, chính thông cáo tháng 3 vẫn còn con số sáu chip trong phần tuyên bố dự phóng ở cuối văn bản, lệch với bảy chip nêu ở phần thân, và bài blog kỹ thuật công bố hồi tháng 1 cũng mang tiêu đề sáu chip. Thứ hai, NVIDIA còn mô tả Vera Rubin theo một cách đếm khác hẳn: năm rack gồm Vera Rubin NVL72, Vera CPU, Groq 3 LPX, BlueField-4 STX và Spectrum-6 SPX. Vì vậy các tên như BlueField-4 STX là tên rack chứ không phải tên chip, và việc gặp nó trong danh sách không có nghĩa nó là chip thứ bảy.
Riêng rack Groq 3 LPX dành cho inference độ trễ thấp có cấu hình đáng chú ý: 256 bộ xử lý LPU, 128 GB SRAM ngay trên chip, và 640 TB/s băng thông scale-up. Đặt SRAM dung lượng lớn ngay trên chip là hướng đi khác hẳn so với dùng HBM gắn cạnh die, đổi dung lượng lấy độ trễ.
Rack vẫn mang tên NVL72 với 72 GPU. Tên NVL144 từng xuất hiện trong các công bố trước đó đã được đổi, vì NVIDIA chuyển sang đếm theo package thay vì đếm theo die.
Một biến thể riêng tên Rubin CPX nhắm vào inference với ngữ cảnh rất dài. NVIDIA công bố dự kiến có hàng cuối năm 2026, nhưng tới cuối tháng 10 năm 2026 vẫn chưa có ngày giao hàng được xác nhận, nên mọi kế hoạch dựa trên dòng này đều cần giữ dự phòng.
Nhìn lại cả chuỗi Hopper tới Blackwell tới Rubin, ba hướng lặp đi lặp lại: bộ nhớ ngày càng lớn và nhanh hơn, độ chính xác số ngày càng thấp đi kèm cơ chế chia tỉ lệ tinh vi hơn, và miền kết nối tốc độ cao ngày càng mở rộng. Hiểu ba hướng này thì không cần học thuộc từng con số vẫn đọc được một bản chào hàng và biết nó mạnh yếu chỗ nào.
Phần tiếp theo của loạt bài làm rõ cách các sản phẩm này được đóng gói và bán ra: HGX, DGX, MGX khác nhau thế nào, và ai mua loại nào.
Muốn xem một bản thiết kế cụm GB300 cụ thể, gồm sơ đồ đấu nối, danh sách thiết bị và cách tính số port, có bài riêng ngoài loạt chứng chỉ này: AI Cluster Factory, từng bước một.
Nguồn tham khảo
Đã fact-check (truy cập 2026-10-23):
- Hai die nối bằng interconnect 10 TB/s trình diện như một GPU duy nhất, Transformer Engine thế hệ 2, micro-tensor scaling: NVIDIA Blackwell Architecture
- Tên NV-HBI, TSMC 4NP, 208 tỉ transistor, NVFP4 (scale FP8 E4M3 cho khối 16 giá trị cộng scale FP32 mức tensor, bộ nhớ giảm khoảng 1,8 lần so với FP8), NVFP4 dense 10 PFLOPS của Blackwell và 15 PFLOPS của Blackwell Ultra, 288 GB HBM3e: Inside NVIDIA Blackwell Ultra
- Thông số rack GB300 NVL72 (72 GPU, 36 Grace CPU với 2.592 nhân Neoverse V2, FP4 1.440 PFLOPS sparse và 1.080 PFLOPS dense, FP8/FP6 720 PFLOPS, 20 TB HBM3e, 37 TB fast memory, 130 TB/s NVLink, ConnectX-8 800 Gb/s mỗi GPU, so với Blackwell gấp 1,5 lần FP4 dense và 2 lần tốc độ attention): NVIDIA GB300 NVL72
- Bố cục rack NVL72 (18 compute tray 1U với 2 Grace và 4 Blackwell mỗi khay, 9 NVLink switch tray với 2 NVSwitch 72 cổng mỗi khay), khác biệt NIC giữa GB200 và GB300: NVIDIA DGX GB Rack Scale Systems User Guide
- Bộ nguồn GB300 tích trữ 65 joule mỗi GPU, giảm 30% đỉnh công suất khi huấn luyện Megatron LLM: How New GB300 NVL72 Features Provide Steady Power for AI
- DGX B200 (8 GPU, 1.440 GB HBM3e, 64 TB/s, 2 NVSwitch, 14,4 TB/s NVLink, 2 TB RAM mở rộng 4 TB, khoảng 14,3 kW, 72 PFLOPS FP8 và 144 PFLOPS FP4, tuyên bố gấp 3 lần training và 15 lần inference so với DGX H100): NVIDIA DGX B200
- DGX B300 (8 GPU Blackwell Ultra, 2,1 TB HBM3e, Scalable Unit 72 hệ thống, Quantum-X800 Q3400, tối đa 4 hệ thống mỗi rack, cấu hình kiểm thử tới 8 SU): SuperPOD with DGX B300 Components
- Bộ nhớ B200 180 GB HBM3e và băng thông tới 8 TB/s: Components, NVIDIA HGX AI Factory
- Nền tảng Vera Rubin (Rubin GPU, Vera CPU, NVLink 6, ConnectX-9, BlueField-4, Spectrum-6, đổi tên NVL144 thành NVL72): Inside the NVIDIA Vera Rubin Platform
- Danh sách đủ bảy chip của nền tảng Vera Rubin (Vera CPU, Rubin GPU, NVLink 6 Switch, ConnectX-9 SuperNIC, BlueField-4 DPU, Spectrum-6 Ethernet switch, và Groq 3 LPU được mô tả là thành phần mới tích hợp), cùng cách mô tả nền tảng theo năm rack (Vera Rubin NVL72, Vera CPU, Groq 3 LPX, BlueField-4 STX, Spectrum-6 SPX) và cấu hình rack Groq 3 LPX (256 LPU, 128 GB SRAM trên chip, 640 TB/s scale-up): NVIDIA Vera Rubin Opens Agentic AI Frontier, NVIDIA Vera Rubin NVL72
- Lưu ý về con số chip: phần tuyên bố dự phóng ở cuối chính thông cáo tháng 3 vẫn ghi sáu chip, lệch với bảy chip nêu ở phần thân, và bài blog kỹ thuật tháng 1 mang tiêu đề sáu chip: Inside the NVIDIA Vera Rubin Platform
- Rubin CPX dự kiến cuối 2026: NVIDIA Unveils Rubin CPX. Tới cuối tháng 10 năm 2026 chưa có ngày giao hàng được xác nhận.
- Công suất và làm mát rack NVL72: các con số 132 kW, 140 kW và khoảng 120 kW duy trì đến từ tài liệu của Supermicro, HPE và Gigabyte, mỗi bên đo một đại lượng khác nhau nên không trùng nhau. NVIDIA không công bố một con số công suất rack thống nhất.