Skip to main content

NCA-AIIO 1: Tổng quan chứng chỉ, NVIDIA và GPU cơ bản

Loạt NCA-AIIO (9 phần): 1. Tổng quan & GPU cơ bản · 2. CUDA & lập trình song song · 3. Container & inference serving · 4. H100, H200 & DGX · 5. Networking data center · 6. GPUDirect & NCCL · 7. Blackwell & NVL72 · 8. HGX, DGX & SuperPOD · 9. Vận hành, điện & sizing

Phần 1/9 trong loạt NCA-AIIO: Phần mở đầu, đặt nền cho toàn bộ loạt bài: thông tin kỳ thi, cách GPU khác CPU, và trục kiến trúc dùng lại ở mọi phần sau.

Cập nhật: 2026-10-23

Lộ trình 9 phần​

Bảng này cho biết mỗi phần trả lời câu hỏi gì, để chọn đúng điểm vào thay vì đọc tuần tự từ đầu khi chỉ cần một mảng kiến thức cụ thể.

PhầnCâu hỏi phần đó trả lờiLiên quan tới đề thi
1. Tổng quan & GPU cơ bản (phần này)Kỳ thi gồm những gì, GPU khác CPU ra sao, bên trong một GPU có những loại nhân nào, các đời kiến trúc nối tiếp nhau thế nàoEssential AI Knowledge
2. CUDA & lập trình song songCUDA tổ chức hàng nghìn luồng theo thứ bậc nào, dữ liệu nằm ở tầng bộ nhớ nào, các định dạng FP32 tới FP4 khác nhau ra saoEssential AI Knowledge
3. Container & inference servingLàm sao để container dùng được GPU, phục vụ một model bằng công cụ gì, ai quyết định job nào chạy ở đâuAI Operations
4. H100, H200 & DGXHai biến thể H100 nhận ra bằng con số nào, H200 hơn gì, MIG chia GPU ra sao, một DGX H100 gồm những gìAI Infrastructure, trọng tâm đề thi
5. Networking data centerVì sao mạng cụm AI khác mạng thường, NVLink và InfiniBand khác nhau chỗ nào, một cụm có mấy mặt phẳng mạngAI Infrastructure
6. GPUDirect & NCCLDữ liệu đi từ ổ đĩa tới GPU qua mấy chặng, lượng tử hoá đánh đổi những gì, các phép collective làm gìAI Infrastructure
7. Blackwell & NVL72Blackwell thay đổi gì ở mức con chip, B200 khác B300 ra sao, một rack 72 GPU nghĩa là gìNgoài phạm vi đề thi
8. HGX, DGX & SuperPODBốn hình thái đóng gói khác nhau thế nào, một node 8 GPU cần gì ngoài GPU, Scalable Unit là gìAI Infrastructure
9. Vận hành, điện & sizingTính ngân sách điện và số rack ra sao, một model cần bao nhiêu GPU, theo dõi chỉ số nào khi cụm đã chạyAI Operations

Bốn phần đầu nên đọc tuần tự vì phần sau liên tục dùng lại khái niệm phần trước. Phần 5 và 6 đi vào hạ tầng mạng cùng lớp phần mềm nằm trên nó. Phần 7 nằm ngoài phạm vi đề thi, phục vụ việc hiểu phần cứng đang bán hôm nay. Phần 8 và 9 là góc nhìn của người thực sự phải mua và vận hành hệ thống.

Mục lục​

1. NCA-AIIO là gì và dành cho ai?​

NCA-AIIO là viết tắt của NVIDIA-Certified Associate AI Infrastructure and Operations, một chứng chỉ mức nhập môn về phần cứng NVIDIA dùng trong data center, các công cụ quản lý hạ tầng đó, và hệ sinh thái DGX mà một tổ chức đặt vào data center để có năng lực AI.

Chứng chỉ phù hợp với ba nhóm người. Nhóm thứ nhất là người đang muốn đưa hạ tầng NVIDIA vào tổ chức của mình, chẳng hạn vai trò pre-sales hoặc solution architect. Nhóm thứ hai là người muốn biết thực tế cần những gì để chạy LLM trên phần cứng thật cho doanh nghiệp, kể cả khi không định mua phần cứng NVIDIA, vì nội dung giúp hình dung rõ mức tiêu thụ điện, nhiệt lượng toả ra và cỡ model chạy được. Nhóm thứ ba đơn giản là người muốn làm quen với phần cứng NVIDIA.

NVIDIA chia chứng chỉ thành hai nhánh: nhánh infrastructure cho người dựng hạ tầng, và nhánh developer thiên về phần mềm. NCA-AIIO nằm ở track associate, tức track nền tảng, vì NVIDIA không có track "foundation" riêng. Phía trên là các chứng chỉ professional, đắt hơn nhiều và khó áp dụng thực tế hơn vì phần lớn người học track đó là đối tác được cấp quyền truy cập phần cứng thật, còn người ngoài phải học theo kiểu khái niệm.

Về thời gian chuẩn bị: người mới cần khoảng 12 giờ, người đã có kinh nghiệm khoảng 4 giờ. Gợi ý phân bổ là chia đôi giữa học lý thuyết và luyện đề, mỗi ngày 1 tới 2 giờ trong khoảng một tuần. Lĩnh vực hạ tầng AI còn khá mới nên khối lượng nội dung chính thức ít hơn hẳn các chứng chỉ lâu đời.

2. Cấu trúc kỳ thi và cách ôn để vượt qua​

Thông tin chính thức từ trang chứng chỉ của NVIDIA:

Hạng mụcChi tiết
Số câu hỏi50 câu trắc nghiệm
Thời gian làm bài60 phút
Điểm đạt70%, tức được sai khoảng 15 câu
Lệ phí125 USD
Hình thứcOnline, có giám sát từ xa
Đơn vị tổ chứcCertiverse
Hiệu lực2 năm kể từ ngày cấp
Yêu cầu nềnHiểu cơ bản về hạ tầng data center

Trả lời sai không bị trừ điểm, nên không bỏ trống câu nào.

Seat time, tức tổng thời gian cần đặt lịch, là 90 phút. Khoảng chênh so với 60 phút làm bài dùng để đọc hướng dẫn, cho giám thị xem không gian làm việc qua camera, đọc và chấp nhận NDA, rồi gửi phản hồi sau khi thi.

Đề chia thành ba domain với trọng số công bố rõ:

DomainTrọng sốNội dung
Essential AI Knowledge38%Software stack của NVIDIA, phân biệt training và inference, quan hệ giữa AI, machine learning và deep learning, kiến trúc GPU so với CPU
AI Infrastructure40%Yêu cầu phần cứng cho training, mở rộng cụm GPU, điện và làm mát, on-prem so với cloud, yêu cầu facility, networking data center, vai trò của DPU
AI Operations22%Quản lý và giám sát data center, điều phối cụm và lập lịch job, các chỉ số giám sát GPU, ảo hoá hạ tầng tăng tốc

Trọng số này mâu thuẫn với cách nhiều người ôn thi phân bổ thời gian. AI Infrastructure chiếm 40%, lớn nhất trong ba domain, và riêng phần điện, làm mát cùng facility nằm trọn trong đó. Cộng thêm 22% của AI Operations, các chủ đề vận hành chiếm tỉ trọng lớn hơn hẳn so với cảm nhận thông thường.

Về chiến thuật ôn tập, chìa khoá là thuộc data sheet phần cứng, đặc biệt của H100. Đề có xu hướng chèn thêm thuật ngữ kỹ thuật gây nhiễu không liên quan tới câu trả lời, nhưng giữ được sự tập trung vào bản chất câu hỏi thì vẫn suy ra được đáp án. Nên làm đề thi thử vì câu hỏi khá đánh đố.

3. NVIDIA là ai và vì sao dẫn đầu về AI?​

NVIDIA là công ty công nghệ Mỹ, thành lập năm 1993 bởi Jensen Huang cùng hai đồng sáng lập, với Jensen Huang giữ vai trò CEO từ đó tới nay. Công ty ban đầu nổi tiếng với card đồ hoạ dùng cho video game. Sản phẩm đầu tiên là bộ tăng tốc đồ hoạ NV1 năm 1995, tiếp theo là dòng GeForce khởi đầu với GeForce 256 năm 1999. Card nổi tiếng nhất của hãng là GeForce GTX 1080 Ti ra mắt năm 2017, phổ biến tới mức người dùng vẫn mua nó tới tận năm 2023.

Vốn hoá thị trường của NVIDIA đạt khoảng 4,6 nghìn tỉ USD tại thời điểm khoá học gốc được ghi hình, tăng vọt trong giai đoạn bùng nổ AI. Con số này dao động mạnh theo thị trường nên chỉ nên xem như mốc tham chiếu.

Lý do NVIDIA dẫn đầu mảng AI chủ yếu đến từ CUDA. NVIDIA phát triển CUDA từ khoảng năm 2007, cho phép lập trình viên giao tiếp trực tiếp với GPU qua API kèm nhiều thư viện tiện dụng. Điều đó đặt nền móng để GPU hữu dụng cho tính toán tổng quát chứ không dừng ở video game, và các nhà khoa học dữ liệu cùng nhiều lĩnh vực khác bắt đầu tận dụng GPU cho công việc của mình.

Khi PyTorch và TensorFlow ra đời và cần tận dụng GPU, CUDA đã sẵn sàng và trở thành lựa chọn mặc định. NVIDIA cũng đầu tư sớm vào AI với tensor core tuỳ biến và hỗ trợ sớm các định dạng FP16 và BF16. Vị trí dẫn đầu vì vậy không đến từ việc thiếu đối thủ làm được chip tốt, mà từ việc hệ sinh thái phần mềm đã quá dày khiến các hãng chip khác khó chen vào.

4. GPU là gì, khác CPU thế nào?​

GPU (graphics processing unit) là bộ xử lý chuyên biệt để dựng ảnh và video độ phân giải cao một cách đồng thời. Vì nó thực hiện được các phép toán song song trên nhiều tập dữ liệu cùng lúc, GPU cũng rất hợp với các tác vụ phi đồ hoạ như machine learning và tính toán khoa học.

So sánh về số nhân: một CPU trung bình có 4 tới vài chục nhân xử lý, trong khi một GPU có hàng nghìn nhân. Một hệ thống 8 GPU H100 cung cấp hơn 135.000 nhân FP32. Vì vậy GPU hợp nhất với các tác vụ lặp đi lặp lại và song song hoá được ở mức cao: dựng đồ hoạ, đào tiền mã hoá, deep learning và machine learning.

Nhưng số nhân chỉ là một nửa câu chuyện. Khác biệt sâu hơn nằm ở cách phân bổ diện tích chip. CPU dành phần lớn diện tích cho cache, đơn vị điều khiển và cơ chế dự đoán rẽ nhánh, tất cả nhằm chạy thật nhanh một luồng lệnh phức tạp. GPU dành phần lớn transistor cho đơn vị tính toán, và giấu độ trễ bộ nhớ bằng cách luôn có hàng nghìn luồng khác sẵn sàng chạy khi một luồng phải chờ dữ liệu.

CPUGPU
Số nhân4 tới vài chụcHàng nghìn
Mỗi nhânMạnh, chạy luồng lệnh riêngĐơn giản, chạy theo nhóm
Tối ưu choGiảm độ trễ của một luồngTăng tổng thông lượng
Xử lý rẽ nhánhTốt, có dự đoán rẽ nhánhKém, cả nhóm phải chạy chung một đường
Hợp vớiLogic phức tạp, nhiều điều kiệnPhép lặp giống nhau trên khối dữ liệu lớn

💡 Hình dung như thế này: CPU giống một vài đầu bếp giỏi, mỗi người tự nấu trọn một món phức tạp từ đầu tới cuối, nhưng cùng lúc chỉ làm được vài món. GPU giống một dây chuyền hàng nghìn công nhân, mỗi người chỉ làm đúng một thao tác đơn giản, nhưng vì hàng nghìn người làm song song nên cả dây chuyền xử lý được khối lượng khổng lồ trong cùng khoảng thời gian, miễn là công việc chia nhỏ được thành các thao tác lặp lại giống nhau.

CPU vs GPU: Core Count and ParallelismCPU: Few Complex Cores4 to a few dozen cores per CPUMost die area goes to cacheand control logicGPU: Thousands of Simple CoresThousands of cores per GPUOver 135,000 FP32 cores across 8 H100 GPUsMost die area goes to arithmetic unitsLatency is hidden by running more threads

5. Bên trong một GPU: SM, CUDA core, Tensor core, RT core​

Nói "GPU có hàng nghìn nhân" là cách nói gọn. Thực tế bên trong có nhiều loại đơn vị tính toán khác nhau, và phân biệt được chúng là nền để đọc data sheet ở các phần sau.

Streaming Multiprocessor (SM) là khối xây dựng cơ bản. Một GPU gồm nhiều SM, ví dụ H100 bản SXM có 132 SM. Mỗi SM là một cụm độc lập chứa đủ các loại nhân, thanh ghi, bộ nhớ dùng chung và bộ lập lịch riêng.

Bên trong mỗi SM có ba loại nhân:

Loại nhânLàm gìXuất hiện từ
CUDA corePhép số học vô hướng: cộng, nhân, so sánh từng số mộtMọi đời
Tensor coreTrọn một phép nhân ma trận cộng dồn trong một lệnhVolta (2017)
RT coreTính giao cắt tia với hình học, phục vụ ray tracingTuring (2018)

Con số "16.896 CUDA core" của H100 hình thành từ phép nhân đơn giản: 132 SM nhân với 128 nhân FP32 mỗi SM.

Trong ba loại trên, cặp cần phân biệt kỹ nhất khi đọc data sheet là CUDA core và Tensor core, được mổ xẻ ở phần về CUDA.

RT core chỉ phục vụ đồ hoạ và gần như không liên quan tới workload AI, nhưng vẫn chiếm diện tích trên die của các GPU dòng tiêu dùng và dòng workstation. Đó là một lý do GPU data center không có RT core hoặc có rất ít: diện tích đó dành cho Tensor core và bộ nhớ sẽ có ích hơn.

Inside a GPU: SM, CUDA Core, Tensor Core, RT CoreGPU die: an array of SMsH100 SXM in numbers132 SMs on one die128 FP32 cores in each SM132 x 128 = 16,896 CUDA coresEach SM has its own schedulerone SM, zoomed inInside one Streaming MultiprocessorCUDA coresScalar add, multiply, compare128 FP32 cores per SM on H100Present in every generationTensor coresOne matrix multiply andaccumulate per instructionIntroduced with Volta in 2017RT coresRay and geometry intersectionfor ray tracing onlyIntroduced with Turing in 2018Register filePrivate to each thread, fastest storageRunning out of registers spills datadown into global memoryShared memory and L1 cacheShared by every thread in a blockOn chip, managed by the programmerand not by the hardwareEvery SM schedules its own warps, so the SMs run independently

6. Các đời kiến trúc GPU của NVIDIA​

NVIDIA đặt tên mỗi đời kiến trúc theo tên một nhà khoa học. Nắm trục thời gian này giúp định vị mọi sản phẩm nhắc tới trong phần còn lại của loạt bài.

Kiến trúcNăm ra mắtGPU data center tiêu biểuĐiểm mới đáng nhớ
Pascal2016P100NVLink thế hệ 1, HBM2
Volta2017V100Tensor core xuất hiện lần đầu
Turing2018T4RT core, hỗ trợ INT8 cho inference
Ampere2020A100MIG, TF32, NVLink thế hệ 3
Ada Lovelace2022L40SDòng RTX 40, RT core thế hệ 3
Hopper2022H100, H200Transformer Engine, FP8, NVLink thế hệ 4
Blackwell2024B200Hai die ghép làm một, FP4, NVLink thế hệ 5
Blackwell Ultra2025B300HBM3e 288 GB, FP4 dense 15 PFLOPS
Rubin2026RubinHBM4, NVLink thế hệ 6, CPU Vera đi kèm

Ba hướng tiến hoá lặp lại qua từng đời, và nắm chúng thì không cần thuộc từng con số vẫn đoán được đời sau thay đổi theo hướng nào:

  • Bộ nhớ ngày càng lớn và nhanh hơn, từ HBM2 tới HBM3, HBM3e rồi HBM4.
  • Độ chính xác số ngày càng thấp, từ FP32 xuống FP16, FP8 rồi FP4, mỗi lần kèm một kỹ thuật chia tỉ lệ tinh vi hơn để giữ độ chính xác.
  • Miền kết nối tốc độ cao ngày càng rộng, từ vài GPU lên 8 GPU mỗi node rồi 72 GPU mỗi rack.
NVIDIA GPU Architecture Timeline, Pascal to RubinYearArchitectureData center GPUHeadline change2016PascalP100NVLink gen 1, HBM22017VoltaV100First generation of Tensor cores2018TuringT4RT cores, INT8 support for inference2020AmpereA100MIG, TF32, NVLink gen 32022Ada LovelaceL40SRTX 40 series, third generation RT cores2022HopperH100, H200Transformer Engine, FP8, NVLink gen 42024BlackwellB200Two dies fused into one, FP4, NVLink gen 52025Blackwell UltraB300288 GB HBM3e, FP4 dense at 15 PFLOPS2026RubinRubinHBM4, NVLink gen 6, Vera CPU alongsideEarlier generationsShipping todayOn the roadmap

7. Bản đồ dòng sản phẩm: ai dùng cái gì?​

Tên sản phẩm của NVIDIA dễ gây rối vì nhiều dòng cùng tồn tại cho các đối tượng khác nhau.

DòngĐối tượngVí dụĐặc điểm
GeForce RTXNgười chơi game, người dùng cá nhânRTX 4060, RTX 5090Giá thấp nhất, không NVLink, không MIG, bộ nhớ GDDR
RTX PRO (trước là Quadro)Workstation chuyên nghiệpRTX PRO 6000Driver chứng nhận cho phần mềm chuyên dụng, bộ nhớ lớn hơn
GPU data center dòng LInference, đồ hoạ trong data centerL4, L40STiêu thụ điện vừa phải, làm mát khí, có RT core
GPU data center dòng caoTraining và inference quy mô lớnA100, H100, H200, B200, B300HBM, NVLink, MIG, TDP rất cao

Ba khác biệt kỹ thuật phân tách dòng tiêu dùng với dòng data center:

  • Loại bộ nhớ. Dòng tiêu dùng dùng GDDR, dòng data center dùng HBM xếp chồng ngay cạnh die, cho băng thông cao hơn nhiều lần.
  • NVLink. Dòng RTX tiêu dùng hiện không hỗ trợ, nên không ghép nhiều card thành một khối tính toán hiệu quả được.
  • MIG. Chỉ có trên một nhóm GPU data center cụ thể gồm A30, A100, H100, H200, B200 và GB300, cùng với RTX PRO Blackwell. Không phải mọi GPU từ Ampere trở đi đều có: dòng L4 và L40S kiến trúc Ada không hỗ trợ.

Khi đề thi mô tả một tình huống có nhắc tới MIG hoặc NVLink, đó là tín hiệu đang nói về GPU data center chứ không phải card tiêu dùng.

8. NVIDIA RTX, GeForce và kiến trúc Ada Lovelace​

NVIDIA RTX, còn gọi là NVIDIA GeForce RTX, là nền tảng visual computing của NVIDIA. Khác với dòng GTX truyền thống hướng tới người chơi game, dòng RTX hướng thêm tới đối tượng chuyên nghiệp như sản xuất video và thiết kế sản phẩm. Người dùng vẫn chơi game được trên các card này.

Một điểm cần hiểu rõ về mô hình kinh doanh: NVIDIA chỉ thiết kế con chip, không tự sản xuất toàn bộ card. Họ hợp tác với các board partner như MSI, ASUS, Gigabyte, hoặc với các OEM như Dell, để đưa chip lên bo mạch, gắn quạt và thiết kế board theo cách riêng của từng hãng. Vì vậy cùng một dòng card như RTX 4060 sẽ có nhiều phiên bản từ nhiều hãng với khả năng khác nhau. Ngoại lệ là bản Founders Edition do chính NVIDIA sản xuất, số lượng giới hạn vì NVIDIA muốn khuyến khích mua từ board partner.

Mô hình này lặp lại ở mảng data center với quy mô lớn hơn, và là nền tảng cho việc phân biệt HGX, DGX và MGX ở phần sau của loạt bài.

Mua nguyên một máy từ system builder như Dell thay vì tự lắp linh kiện rời là một sự đánh đổi: mất khả năng tuỳ biến, đổi lại được hỗ trợ đáng tin cậy, chẳng hạn cam kết cử kỹ thuật viên tới tận nơi trong 24 giờ để thay linh kiện hỏng. Đó cũng là lý do một số máy trạm mua năm 2025 vẫn dùng card đời 2022: hãng xây cấu hình quanh độ tin cậy đã được kiểm chứng chứ không quanh phần cứng mới nhất.

Về kiến trúc, dòng RTX 40 series dùng Ada Lovelace, với RT core thế hệ 3 cho ray tracing và tensor core thế hệ 4 cho machine learning. Mỗi kiến trúc mới có các thông số riêng cần để ý: phiên bản CUDA được hỗ trợ, các độ chính xác mà tensor core xử lý được, và có NVLink hay không.

Die là một lát mỏng silicon được khắc hàng tỉ transistor, cắt ra từ một tấm wafer lớn hơn. Các trang phân tích chuyên sâu thường mổ xẻ bố cục die của từng chip, chỉ rõ vị trí các khối như host interface PCIe, Giga Thread Engine, memory controller, raster engine và bộ nhớ đệm L2 ngay trên ảnh chụp die thật.

9. NVIDIA Control Panel và NVIDIA App​

NVIDIA Control Panel là phần mềm cài sẵn trên Windows, dùng để quản lý và cấu hình driver đồ hoạ cùng các tiện ích liên quan tới GPU. Nó có công cụ tuỳ chỉnh thiết lập 3D và hiệu năng video. Trong mục System Information xem được phiên bản DirectX, phiên bản driver, loại driver, số CUDA core khả dụng và thông tin bộ nhớ. Công cụ này không cần cho công việc AI hay data center, nhưng nên biết nó tồn tại.

NVIDIA App là phần mềm cài thêm, giúp quản lý cập nhật driver dễ hơn. Khi chạy lần đầu nó hỏi muốn tối ưu cho driver Game Ready hay driver Studio dành cho người sáng tạo nội dung. Ứng dụng gồm GPU control center và công cụ ghi hình, không cần để vượt qua kỳ thi nhưng đáng cài nếu sở hữu card NVIDIA.

10. nvidia-smi, công cụ dòng lệnh giám sát GPU​

nvidia-smi (NVIDIA System Management Interface) là tiện ích dòng lệnh đi kèm driver, dùng để giám sát và quản lý GPU. Đây là công cụ chính khi làm việc trong data center không có giao diện đồ hoạ, nơi Control Panel hay NVIDIA App không dùng được. Nó cung cấp dữ liệu thời gian thực về mức sử dụng GPU, bộ nhớ đang dùng, nhiệt độ và công suất tiêu thụ. Hỗ trợ cả Linux lẫn Windows 64-bit.

Chạy không tham số cho bảng tổng quan:

nvidia-smi
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 560.35.03    Driver Version: 560.35.03    CUDA Version: 12.6      |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  NVIDIA H100 80GB HBM3 On | 00000000:1B:00.0 Off |                    0 |
| N/A   38C    P0   112W / 700W |  28451MiB / 81559MiB |     74%      Default |
+-------------------------------+----------------------+----------------------+
| Processes:                                                                  |
|  GPU   PID   Type   Process name                              GPU Memory    |
|    0  14021    C    python train.py                             28440MiB    |
+-----------------------------------------------------------------------------+

Cách đọc vài trường quan trọng: Pwr:Usage/Cap cho biết đang tiêu thụ 112 W trên trần 700 W, Memory-Usage cho biết đã dùng khoảng 27,8 GiB trên 79,6 GiB, tức đúng con số 80 GB in trên data sheet, và GPU-Util 74% là tỉ lệ thời gian GPU có việc.

Các lệnh cần nhớ cho kỳ thi:

# Theo dõi liên tục GPU, điện, nhiệt độ, bộ nhớ theo thời gian thực
nvidia-smi dmon
# gpu   pwr gtemp mtemp    sm   mem   enc   dec  mclk  pclk
# Idx     W     C     C     %     %     %     %   MHz   MHz
#   0   112    38    42    74    31     0     0  2619  1980

# Xem tiến trình nào đang chạy trên GPU, kèm PID
nvidia-smi pmon

# Truy vấn một chỉ số cụ thể, xuất ra CSV cho việc ghi log
nvidia-smi --query-gpu=memory.used,memory.total --format=csv
# memory.used [MiB], memory.total [MiB]
# 28451 MiB, 81559 MiB

nvidia-smi --query-gpu=temperature.gpu --format=csv
nvidia-smi --query-gpu=power.draw --format=csv
nvidia-smi --query-gpu=name --format=csv

Ngoài ra còn nhóm cờ liên quan tới MIG (Multi-Instance GPU), công nghệ chia một GPU vật lý thành nhiều instance độc lập, chỉ có trên các GPU data center cao cấp như A100 và H100. Cú pháp cụ thể cùng danh sách profile nằm ở phần về H100 trong loạt bài này.

Với việc giám sát ở quy mô cả cụm thay vì từng máy, công cụ phù hợp là DCGM chứ không phải nvidia-smi, chủ đề của các phần sau.

11. Cache của CPU: L1, L2, L3, DRAM​

Phần này về CPU chứ không về GPU, nhưng cần thiết vì nó là bản đối chiếu cho hệ phân cấp bộ nhớ của GPU ở phần sau, và vì CPU với GPU luôn làm việc cùng nhau trong một hệ thống.

Đa số CPU có nhiều tầng cache, gọi là L1, L2, L3, đôi khi có cả L4. Mỗi nhân CPU có cache L1 riêng, bên dưới là L2 và L3 dùng chung, rồi tới DRAM.

  • L1 nằm gần nhân nhất có thể, nhanh nhất nhờ đường tín hiệu ngắn, nhưng dung lượng rất nhỏ.
  • L2 tách biệt hơn về mặt vật lý, chậm hơn nhưng đặt ít áp lực hơn lên thiết kế chip nên làm lớn hơn được.
  • L3 thường chia sẻ giữa nhiều nhân.
  • DRAM (dynamic random access memory) là bộ nhớ chính của máy, suy giảm dữ liệu theo thời gian nên phải được làm tươi định kỳ.

L1 tới L3 là SRAM (static random access memory), giữ dữ liệu cho tới khi mất điện và nhanh hơn DRAM, nhưng tốn nhiều transistor hơn cho mỗi bit nên đắt và không làm lớn được.

💡 Hình dung như thế này: L1 giống ngăn kéo ngay trên bàn làm việc, với tay là lấy được nhưng chứa rất ít. L2 giống tủ hồ sơ đặt cạnh bàn, lấy chậm hơn chút nhưng chứa nhiều hơn. L3 giống phòng lưu trữ chung của cả tầng, nhiều người dùng chung. DRAM giống kho hàng ở toà nhà khác, chứa được rất nhiều nhưng mỗi lần cần gì phải cử người đi lấy, chậm hơn hẳn so với ngăn kéo trên bàn.

Với các ngôn ngữ lập trình cấp thấp, lập trình viên kiểm soát được khá chính xác dữ liệu nằm ở tầng cache nào. Trong CUDA, việc hiểu dữ liệu được ghi vào đâu cũng quan trọng không kém, dù trọng tâm nghiêng về phía GPU. Vì luôn có tương tác giữa CPU và GPU, các khái niệm L1, L2 và DRAM cần nắm trước khi đi sâu vào CUDA ở phần tiếp theo.

Nguồn tham khảo​

Nguồn gốc: NVIDIA-Certified Associate AI Infrastructure and Operations (NCA AIIO) Free Study Course, kênh freeCodeCamp.org.

Đã fact-check (truy cập 2026-10-23):

  • Thông tin kỳ thi (50 câu, 60 phút, lệ phí 125 USD, online có giám sát, hiệu lực 2 năm, yêu cầu nền là hiểu cơ bản về hạ tầng data center) và trọng số ba domain 38%, 40%, 22% kèm nội dung từng domain: AI Infrastructure and Operations (AIIO) Certification
  • Lưu ý: catalog đào tạo bản tháng 8 năm 2024 ghi lệ phí 135 USD, trang chứng chỉ hiện tại ghi 125 USD. Lấy theo trang hiện tại.
  • Đính chính so với bản trước của bài: thời hạn hiệu lực 2 năm là con số NVIDIA công bố rõ trên trang chứng chỉ, không phải suy đoán.
  • Số SM của H100 bản SXM (132 SM) và 128 nhân FP32 mỗi SM: NVIDIA Hopper Architecture In-Depth
  • Danh sách GPU hỗ trợ MIG gồm A30, A100, H100, H200, B200, GB300 và RTX PRO Blackwell, trong đó không có dòng L4 và L40S kiến trúc Ada dù compute capability của Ada là 8.9: NVIDIA Multi-Instance GPU User Guide
  • Bộ nhớ và hiệu năng các đời Blackwell và Blackwell Ultra trong bảng kiến trúc: Inside NVIDIA Blackwell Ultra
  • Vốn hoá thị trường 4,6 nghìn tỉ USD là con số nêu trong khoá học gốc tại thời điểm ghi hình, không phải số liệu được xác minh tại thời điểm cập nhật bài này.
  • Output của nvidia-smi trong bài là minh hoạ định dạng, số liệu thay đổi theo từng máy.