Skip to main content

NCA-AIIO 4: H100, kiến trúc Hopper và hệ thống DGX

Cập nhật: 2026-07-09

Mục lục​

1. H100 — hai biến thể SXM và NVL​

H100 là dòng GPU data center chạy trên kiến trúc Hopper của NVIDIA. Đây là dòng phần cứng nhiều khả năng sẽ còn được dùng phổ biến tới cuối thập kỷ, một phần vì tình trạng khan hiếm bộ nhớ hiện nay (do lượng đơn đặt hàng khổng lồ của NVIDIA gây ra). Vì đề thi phụ thuộc rất nhiều vào data sheet của H100, đây là phần cứng quan trọng bậc nhất cần nắm.

H100 có hai biến thể, và đề thi thường không nói rõ đang hỏi về biến thể nào — cần tự suy luận dựa vào các giá trị đặc trưng được đề cập:

Thông sốH100 SXMH100 NVL
Tên đầy đủServer PCI Express Module—
Băng thông GPU-to-GPU900 GB/sThấp hơn
Bộ nhớÍt hơnNhiều hơn (188 GB khi dùng NVLink)
TDP700 W350–400 W
Kết nốiDùng NVLinkQua PCIe + NVLink
CUDA core16.896—

Ghi nhớ nhanh: nếu đề bài nhắc tới 900 GB/s băng thông GPU-to-GPU hoặc 700 W TDP hoặc 16.896 core, đó là dấu hiệu cho biến thể SXM. Nếu đề nhắc tới bộ nhớ lớn hơn nhưng TDP thấp hơn (350–400 W), đó là biến thể NVL.

Vì sao các con số này quan trọng: nếu cần nạp một model lên một card duy nhất và model đó lớn hơn dung lượng bộ nhớ khả dụng, sẽ phải phân tán (distribute) model ra nhiều card. Nếu đang inference, chỉ cần đủ chỗ chứa kích thước model; nếu đang training, cần gấp 2–4 lần dung lượng bộ nhớ so với kích thước model.

CUDA core là thứ giúp thực hiện các phép toán song song hàng loạt (massively parallel operations) — càng nhiều core, càng song song hóa được nhiều. Với các phép toán song song, GPU (thông qua CUDA core) sẽ vượt trội hơn hẳn so với CPU — đây là dạng câu hỏi lựa chọn giữa GPU/CUDA core và CPU xuất hiện khá thường xuyên trong đề thi.

2. CPU vs GPU — nhắc lại về xử lý song song​

Về cấu trúc die, CPU phải dành một phần diện tích chip cho cache lớn và các đơn vị điều khiển (control unit), trong khi GPU dành phần lớn transistor cho việc xử lý dữ liệu (data processing).

Về cách xử lý luồng (threading): CPU tối ưu để giảm độ trễ (latency) trong từng thread — các tác vụ chạy tuần tự, nối tiếp nhau. GPU thì chạy nhiều luồng song song với nhau, và che giấu độ trễ bộ nhớ/instruction bằng chính việc tính toán song song — nghĩa là dù một số tác vụ nhanh/chậm khác nhau, GPU không phải "xếp hàng chờ" như CPU.

3. Data sheet H100 — nơi nắm thông tin then chốt cho kỳ thi​

Data sheet chính thức của H100 (trên trang sản phẩm NVIDIA) là tài liệu đáng đọc kỹ nhất để chuẩn bị thi. Những thông tin cần chú ý gồm: dung lượng và băng thông bộ nhớ, thông tin về interconnect — không cần quan tâm tới các chi tiết như decoder. Data sheet cũng liệt kê các cấu hình server khả dụng, ví dụ H100 có server option từ 4 đến 8 GPU (không phải 1 đến 8).

Data sheet cũng đề cập tới khả năng chia nhỏ bằng MIG (Multi-Instance GPU) — không cần nhớ chính xác số lượng instance tối đa có thể chia, chỉ cần biết rằng một GPU có thể được chia thành nhiều instance nhỏ hơn (ví dụ chia thành 7 phần với H100).

Ngoài H100, NVIDIA còn có các dòng mới hơn như H200, H100 NVL, L40S, và các dòng Blackwell (ví dụ B300). Tuy các dòng mới hơn tồn tại, đề thi (tính đến thời điểm khóa học này được ghi hình) vẫn tập trung chủ yếu vào H100 — có thể vì đây là một mốc chuẩn (benchmark) tốt và còn rất phổ biến trong thực tế.

4. Kiến trúc Hopper và Transformer Engine​

Hopper là kiến trúc chạy phía sau H100, mang lại các tính năng quan trọng sau:

  • Transformer Engine — thành phần quan trọng nhất, giúp H100 tối ưu để chạy các mô hình dựa trên kiến trúc transformer (nền tảng của LLM).
  • Hỗ trợ NVLink và NVSwitch.
  • NVIDIA Confidential Computing.
  • MIG thế hệ 2 (second-generation Multi-Instance GPU).
  • DPX instructions — tập lệnh giao tiếp với phần cứng.
  • Tensor core — chuyên biệt cho các phép nhân ma trận (matrix multiplication) nhanh chóng.

Với mỗi lớp transformer, các phép toán diễn ra gồm: phép chiếu (projection) query/key/value gồm 3 phép nhân ma trận, tính điểm attention (attention score) qua một phép nhân ma trận, đầu ra attention, và mạng feed-forward. Rất nhiều phép toán như vậy diễn ra cho LLM, và transformer engine tận dụng tensor core để thực hiện các phép toán này.

Tóm gọn: Transformer Engine + Tensor core = chạy LLM rất tốt.

Về nền tảng của kiến trúc transformer (do các nhà nghiên cứu tại Google phát triển) — đây là cách các mô hình NLP hoạt động, dùng multi-head attention và positional encoding. Kiến trúc gồm hai phần:

  • Encoder: đọc và hiểu văn bản đầu vào, giống như một hệ thống "thông minh" rút ra ý nghĩa của từ ngữ trong các ngữ cảnh khác nhau.
  • Decoder: dựa trên những gì encoder đã học được để sinh ra văn bản mới — giống một người viết lành nghề tạo ra câu văn mạch lạc, hợp lý.

Điểm cần nhớ để liên kết với chứng chỉ này: kiến trúc Hopper có Transformer Engine, và Transformer Engine được thiết kế để chạy các model dựa trên kiến trúc transformer — tức LLM.

Về mặt kỹ thuật, Transformer Engine sử dụng cả độ chính xác dấu phẩy động 8-bit (FP8) và 16-bit (FP16). Đây là điểm quan trọng: khi chạy một model trên H100, model cần ở định dạng FP8 hoặc FP16.

5. Grace Hopper Superchip​

Hopper là tên kiến trúc GPU của NVIDIA (dùng trong H100). Grace Hopper lại là tên gọi một module kết hợp (superchip) như GH200, ghép CPU Grace (CPU dựa trên kiến trúc ARM do NVIDIA thiết kế) với GPU Hopper. Hai chip này được kết nối với nhau qua NVLink băng thông cao, độ trễ thấp.

6. Điện năng và làm mát: TDP, liquid cooling, power density​

TDP (Thermal Design Power) là thông số chỉ ra lượng nhiệt tối đa mà một linh kiện có thể tạo ra, đo bằng watt — đây cũng chính là lượng nhiệt mà hệ thống làm mát phải có khả năng tản đi để giữ linh kiện hoạt động trong giới hạn nhiệt độ an toàn. Với H100 SXM, TDP là 700 W; với H100 NVL, TDP khoảng 350–400 W.

💡 Hình dung như thế này: TDP giống công suất của một bếp đang bật ở mức tối đa — biết trước bếp toả ra bao nhiêu nhiệt thì mới chọn được máy hút mùi đủ mạnh để phòng bếp không bị ngộp. Một GPU 700 W giống như bật cùng lúc 7 cái bếp điện 100 W hoạt động full công suất liên tục — bắt buộc phải có hệ thống hút nhiệt tương xứng, nếu không nhiệt độ sẽ dồn ứ và linh kiện tự bảo vệ bằng cách giảm hiệu năng hoặc tắt máy.

Closed-loop liquid cooling (hệ thống làm mát bằng chất lỏng vòng kín): bơm chất lỏng (có thể là nước, gel, hoặc chất lỏng khác — không nhất thiết là nước) qua một cold plate, nơi chip cần làm mát được đặt lên để nhận direct-to-chip cooling (làm mát trực tiếp lên chip).

Direct-to-chip cooling (hay direct liquid cooling): sử dụng thiết bị chuyên dụng để giữ nhiệt độ của rack/dãy server ở một mức cố định (ví dụ 4°C), với lưu lượng khoảng 1.000 lít/phút cho workload chính (thấp hơn cho workload phụ). Với các GPU có TDP cao (như 700 W của H100 SXM), liquid cooling gần như là lựa chọn duy nhất thay vì air cooling — nếu đề thi hỏi về phương án làm mát cho GPU TDP cao, câu trả lời gần như luôn là direct liquid cooling/closed-loop cooling.

Một số điểm dễ gây nhầm lẫn (và hay bị hỏi dưới dạng "câu hỏi bẫy"):

  • Liquid cooling làm giảm nhiệt, nhưng KHÔNG làm giảm mức tiêu thụ điện.
  • Power supply cũng chỉ giúp giảm nhiệt, không giảm tiêu thụ điện.
  • Liquid cooling không phải là giải pháp để tăng công suất (capacity) trên mỗi rack.

Mức tiêu thụ điện của một rack điển hình tăng rất nhanh theo thời gian: năm 2011, một rack trung bình tiêu thụ khoảng 2,4 kW; đến năm 2026, một AI rack có thể tiêu thụ tới 300 kW; và dự báo trong tương lai có thể lên tới 1.000 kW.

Ví dụ tính toán power density planning: giả sử cần triển khai 64 GPU H100 (biến thể SXM, TDP 700 W), và mỗi rack chỉ chịu được 15 kW.

64 × 700 W = 44.800 W = 44,8 kW
44,8 kW ÷ 15 kW/rack ≈ 2,99 → cần tối thiểu 3 rack

Nếu cần tính nhanh, có thể làm tròn 64 → 7 rồi dịch dấu thập phân để ước lượng nhanh (7 × 64 ≈ 448, dịch phẩy được 44,8 — từ đó chia 15 vẫn ra khoảng 3). Tuy nhiên trên thực tế nên làm tròn lên 4 rack để chừa dư địa (overhead) cho làm mát và phân phối điện — khi đó mỗi rack chứa 16 GPU. Cấu hình phổ biến là server 8 GPU cho baseline DGX H100 (biến thể SXM cho phép 4–8 GPU mỗi server, biến thể NVLink cho phép 1–8 GPU); nên chọn thiên về phía cao (8 GPU/server, 1–2 server/rack, tức 8–16 GPU/rack) và luôn dự trù thêm khoảng 30% overhead.

7. NVIDIA DGX là gì?​

NVIDIA DGX là dòng server dạng rack-mount, cung cấp GPU cho tính toán tổng quát dành cho doanh nghiệp. DGX SuperPOD là một nền tảng data center full-stack — không chỉ riêng phần compute mà bao gồm cả hệ thống hỗ trợ xung quanh.

Các hộp DGX (ví dụ DGX H100 và DGX H200) thường trông giống hệt nhau bên ngoài, nhưng cấu hình bên trong có thể khác biệt. Ví dụ DGX H200 có 8 GPU H200, đi kèm 4 NVSwitch, 10 ConnectX-7, dual CPU Intel Xeon Platinum 8480C, và 30 TB ổ NVMe SSD. NVIDIA DGX là nền tảng data center full-stack theo kiểu "mua trọn gói, cắm vào là chạy".

8. DGX H100 — cấu hình chi tiết​

Cấu hình bên trong một DGX H100 — hệ thống nhiều khả năng xuất hiện trong đề thi nhất:

Thành phầnThông số
GPU8× H100
Kết nối NVLink18 kết nối NVLink mỗi GPU
Băng thông GPU-to-GPU (bidirectional)900 GB/s (cho thấy dùng biến thể SXM)
NVSwitch4× NVSwitch
Băng thông tổng (bidirectional)7,2 TB/s
Mạng10× ConnectX-7
CPUDual Intel Xeon Platinum 8480C, 112 core tổng
RAM hệ thống2 TB
Hiệu năng32 petaFLOPS (ở FP8)
Giá tham khảo300.000 – 450.000 USD/hệ thống (thời điểm Q1/2026, dao động mạnh theo nhà phân phối/cấu hình — xem ghi chú nguồn)

Hai giá trị băng thông GPU-to-GPU (900 GB/s và 7,2 TB/s tổng) đáng chú ý đặc biệt vì có thể xuất hiện trong đề thi liên quan tới lượng dữ liệu di chuyển giữa các hệ thống. Nếu nắm chắc data sheet của cả H100 lẫn DGX H100, khả năng làm tốt bài thi sẽ rất cao.

9. Dual Xeon Platinum 8480C — CPU đi kèm trong DGX​

Intel Xeon Platinum 8480C xuất hiện trong cả DGX H100 lẫn các hệ thống khác như DGX H200, nên đây là chi tiết cần ghi nhớ kỹ. Thông số của một chip:

  • Tổng số core: 56
  • Tổng số thread: 112
  • TDP: 350 W
  • Giá đề xuất cho khách hàng: khoảng 10.000 USD
  • Thế hệ: Intel Xeon Scalable thế hệ 4, ra mắt năm 2023

Vì DGX dùng cấu hình dual (2 CPU), các con số core/thread cần nhân đôi: 112 core và 224 thread tổng cộng (khớp với dữ liệu 112 core đã nêu ở cấu hình DGX H100 phía trên).

CPU trong các hệ thống DGX chủ yếu phục vụ các tác vụ tiền xử lý (pre-processing) — chuẩn bị dữ liệu trước khi đưa vào chạy trên GPU (ví dụ chuẩn bị dữ liệu trước khi chạy LLM). Đây là các tác vụ phức tạp về thao tác dữ liệu, không cần mức độ song song hóa cao như các phép toán tính toán trên GPU, nhưng vẫn cần một lượng core nhất định.

10. DGX SuperPOD và Scalable Unit​

DGX SuperPOD kết hợp các hệ thống DGX với hạ tầng mạng InfiniBand và Ethernet, các node quản lý, và storage. Đơn vị nhỏ nhất của kiến trúc này gọi là Scalable Unit (SU) — thuật ngữ có thể xuất hiện trong đề thi. Về mặt hình dung, đây là cách bố trí rack vật lý của một DGX SuperPOD hoặc một scalable unit đơn lẻ, bao gồm các DGX H100, PDU (thiết bị phân phối điện) phía trên,...

Về InfiniBand dùng trong các hệ thống này: thế hệ HDR hoặc NDR của InfiniBand quyết định tốc độ của network fabric. Khi kết hợp với GPU Direct RDMA, hệ thống đạt được độ trễ thấp cho giao tiếp GPU-to-GPU — cả trong cùng một server lẫn giữa nhiều server khác nhau. Cụm từ "InfiniBand NDR + GPU Direct RDMA = độ trễ thấp cho giao tiếp GPU-to-GPU" là điều cần ghi nhớ, sẽ được giải thích chi tiết hơn ở phần networking.

Nhắc lại một số điểm chính của H100 (vì đây là phần cứng quan trọng nhất của kỳ thi, được lặp lại nhiều lần trong khóa học):

  • Chạy trên kiến trúc Hopper, đi kèm Grace Hopper Superchip — tuyên bố tăng tốc 30 lần cho LLM nhờ Transformer Engine.
  • 900 GB/s băng thông (biến thể SXM) — nhanh hơn PCIe thế hệ 5 khoảng 7 lần.
  • Tensor core thế hệ 4, NVLink thế hệ 4.
  • Mạng NDR Quantum InfiniBand.
  • Transformer Engine chuyên dụng, giúp chạy các LLM có tới hàng nghìn tỷ tham số.
  • Biến thể NVL: kết nối qua PCIe + NVLink, tổng cộng 188 GB bộ nhớ khi dùng NVLink.

Nguồn tham khảo​

Nguồn gốc: NVIDIA-Certified Associate AI Infrastructure and Operations (NCA AIIO) Free Study Course — kênh freeCodeCamp.org

Đã fact-check (truy cập 2026-07-09):

  • Spec H100 (SXM/NVL: TDP, bộ nhớ, băng thông NVLink) và DGX H100 (8×H100, 18 NVLink/GPU, 900GB/s, 4 NVSwitch, 7,2TB/s, 10×ConnectX-7, dual Xeon 8480C 112 core, 2TB RAM, 30TB NVMe) — NVIDIA H100 datasheet, NVIDIA DGX H100 user guide
  • Giá DGX H100: NVIDIA không công bố giá niêm yết chính thức; nguồn 2026 báo ~300.000-400.000 USD đến ~520.000 USD tùy cấu hình/nhà phân phối — Cyfuture Cloud
  • Xeon Platinum 8480C: 56 core/112 thread/350W TDP — Intel spec sheet
  • Giá SKU liên quan Xeon 8480+: MSRP ~10.710 USD (không có số liệu chính thức riêng cho 8480C) — TechPowerUp