Skip to main content

NCA-AIIO 1: Tổng quan chứng chỉ, NVIDIA và GPU cơ bản

Cập nhật: 2026-07-09

Mục lục​

1. NCA-AIIO là gì và dành cho ai?​

NCA-AIIO là viết tắt của NVIDIA-Certified Associate AI Infrastructure and Operations — một chứng chỉ ở mức entry-level, giúp người học hiểu phần cứng NVIDIA dùng cho data center, các công cụ quản lý những data center đó, và cụ thể là hệ sinh thái DGX — dòng sản phẩm mà tổ chức đặt vào data center để có năng lực AI.

Chứng chỉ này phù hợp nếu bạn đang muốn đưa hạ tầng NVIDIA vào tổ chức của mình — ví dụ đang làm pre-sales hoặc solution architect. Nó cũng hữu ích nếu bạn chỉ muốn biết thực tế cần gì để chạy LLM trên phần cứng thật cho doanh nghiệp, kể cả khi không có ý định dùng phần cứng NVIDIA, vì nó giúp hình dung rõ mức tiêu thụ điện, nhiệt lượng tỏa ra, và loại model có thể chạy được. Hoặc đơn giản là bạn muốn làm quen với phần cứng NVIDIA.

NVIDIA chia chứng chỉ thành hai nhánh: nhánh infrastructure (dành cho người dựng hạ tầng/hiểu phần cứng) và nhánh developer (thiên về phần mềm). NCA-AIIO nằm ở track associate — tức track fundamentals, vì NVIDIA không có một track "foundation" riêng. Phía trên track associate là các chứng chỉ pro, đắt hơn nhiều (khoảng 400 đô la mỗi chứng chỉ) và khó áp dụng thực tế vì phần lớn người học track pro là đối tác được cấp quyền truy cập phần cứng thật, còn người thường phải học một cách khái niệm.

Về thời gian học: người mới bắt đầu có thể cần khoảng 12 giờ; người đã có kinh nghiệm khoảng 4 giờ. Gợi ý phân bổ là 6 giờ học, 50% cho lecture/lab và 50% cho luyện đề, mỗi ngày 1–2 giờ trong 7 ngày. Vì đây là lĩnh vực kiến thức còn khá mới (AI infrastructure), khóa học chỉ dài khoảng 3 tiếng rưỡi — ngắn hơn nhiều so với các khóa chứng chỉ khác, đơn giản vì domain này chưa có nhiều nội dung để khai thác sâu.

2. Cấu trúc kỳ thi và cách ôn để vượt qua​

Đề thi chia thành 3 domain: Essential Knowledge, AI Infrastructure, và AI Operations. Tuy nhiên việc phân domain này khá mang tính hình thức/marketing hơn là phản ánh đúng cách kiến thức được tổ chức — thực chất đây là một khối kiến thức lớn cần nắm, không tách bạch rõ ràng theo từng domain.

Để đậu, cần đạt 70%, đề có 50 câu hỏi trắc nghiệm (multiple choice), tức được sai khoảng 15 câu, không bị trừ điểm khi trả lời sai. Thời gian làm bài là 60 phút, nhưng seat time (tổng thời gian cần đặt lịch) là 90 phút — khoảng chênh lệch dùng để đọc hướng dẫn, cho giám thị xem không gian làm việc qua camera, đọc và chấp nhận NDA, làm bài, và gửi phản hồi sau khi thi xong. Đơn vị tổ chức thi là Certiverse, chỉ thi online có giám sát (proctored), không có trung tâm thi trực tiếp. Thời hạn hiệu lực của chứng chỉ không được NVIDIA công bố rõ ràng, nhưng theo suy đoán là khoảng 2 năm.

Chìa khóa để vượt qua kỳ thi là học thuộc data sheet phần cứng, đặc biệt là của H100 — nắm được số liệu này sẽ ghi điểm rất nhiều. Đề thi có xu hướng chèn thêm các thuật ngữ kỹ thuật gây nhiễu không thực sự liên quan đến câu trả lời, nhưng nếu giữ được sự tập trung vào bản chất câu hỏi thay vì bị phân tâm bởi từ ngữ lạ, vẫn có thể suy luận ra đáp án đúng. Nên làm đề thi thử vì câu hỏi khá "tricky" (đánh đố).

3. NVIDIA là ai và vì sao dẫn đầu về AI​

NVIDIA là công ty công nghệ Mỹ, thành lập năm 1993 bởi Jensen Huang cùng hai đồng sáng lập khác, với Jensen Huang là CEO. NVIDIA ban đầu nổi tiếng với card đồ họa (GPU — graphics processing units) dùng cho video game. Sản phẩm đầu tiên là bộ tăng tốc đồ họa NV1 năm 1995, sau đó là dòng GeForce khởi đầu với GeForce 256 năm 1999. Card đồ họa nổi tiếng nhất của hãng là GeForce GTX 1080 Ti ra mắt năm 2017 — phổ biến đến mức người dùng vẫn mua nó cho tới tận năm 2023.

Vốn hóa thị trường của NVIDIA đã đạt 4,6 nghìn tỷ đô la (tại thời điểm ghi hình khóa học), tăng vọt trong 5 năm gần đây nhờ làn sóng bùng nổ AI — vì để chạy LLM, lựa chọn tốt nhất chính là card đồ họa NVIDIA.

Lý do NVIDIA dẫn đầu mảng AI chủ yếu đến từ CUDA. NVIDIA phát triển CUDA từ sớm, khoảng năm 2007, cho phép nhà phát triển giao tiếp trực tiếp với GPU qua API kèm theo nhiều thư viện tiện lợi. Điều này đặt nền móng để GPU của NVIDIA hữu dụng cho general-purpose computing, không chỉ dừng ở video game — các nhà khoa học dữ liệu và nhiều lĩnh vực khác có thể tận dụng GPU cho công việc của mình. Khi các framework AI như PyTorch, TensorFlow ra đời và cần tận dụng GPU, CUDA đã trở thành lựa chọn mặc định. NVIDIA cũng đầu tư mạnh và sớm vào AI: có tensor core tùy biến, hỗ trợ sớm các định dạng FP16, BF16. Đó là lý do NVIDIA giữ vị trí dẫn đầu — không hẳn vì không có đối thủ tốt hơn, mà vì hệ sinh thái của họ đã quá mạnh, khiến các hãng chip khác như Intel khó tiếp cận được thị trường này.

4. GPU là gì, khác CPU thế nào?​

GPU (graphics processing unit) là bộ xử lý chuyên biệt để render ảnh và video độ phân giải cao một cách đồng thời — rất phù hợp cho video game. GPU có thể thực hiện các phép toán song song trên nhiều tập dữ liệu cùng lúc, nên chúng cũng thường được dùng cho các tác vụ phi đồ họa như machine learning và scientific computing.

So sánh với CPU: CPU trung bình có từ 4 đến 16 core xử lý, trong khi GPU có thể có hàng nghìn core. Ví dụ, một hệ thống có 4 đến 8 GPU có thể cung cấp tới 40.000 core. Vì vậy, GPU phù hợp nhất cho các tác vụ tính toán mang tính lặp lại và song song hóa cao, như render đồ họa, đào tiền mã hóa (cryptocurrency mining), deep learning và machine learning.

💡 Hình dung như thế này: CPU giống một vài đầu bếp giỏi, mỗi người có thể tự nấu bất kỳ món phức tạp nào từ đầu đến cuối, nhưng chỉ nấu được vài món cùng lúc. GPU giống một dây chuyền hàng nghìn công nhân, mỗi người chỉ làm đúng một thao tác đơn giản — nhưng vì có hàng nghìn người làm song song, cả dây chuyền xử lý được khối lượng công việc khổng lồ trong cùng một khoảng thời gian, miễn là công việc đó có thể chia nhỏ thành các thao tác lặp lại giống nhau.

CPU vs GPU — Core Count and ParallelismCPU — Few Complex Cores4–16 cores per CPUOptimized for sequential,complex tasksGPU — Thousands of Simple CoresThousands of cores per GPUUp to 40,000 cores across4–8 GPUs combinedOptimized for parallel, repetitive tasks

5. NVIDIA RTX/GeForce và kiến trúc Ada Lovelace​

NVIDIA RTX (còn gọi là NVIDIA GeForce RTX) là nền tảng visual computing chuyên nghiệp do NVIDIA tạo ra. Khác với dòng GeForce/GTX truyền thống hướng tới người chơi game, RTX hướng tới đối tượng chuyên nghiệp — sản xuất video, thiết kế sản phẩm,... Người dùng vẫn có thể chơi game trên các card này, nhưng mục tiêu chính là phục vụ công việc chuyên nghiệp.

Một điểm quan trọng cần hiểu: NVIDIA chỉ thiết kế con chip (die), chứ không tự sản xuất toàn bộ card. Họ hợp tác với các board partner như MSI, ASUS, Gigabyte, hoặc với một OEM/system integrator như Dell, để đưa chip lên bo mạch, gắn quạt, và thiết kế board theo cách riêng của từng hãng. Vì vậy khi mua một dòng card như RTX 4060, thị trường sẽ có nhiều phiên bản từ nhiều hãng khác nhau với khả năng khác nhau. Ngoại lệ là Founders Edition — phiên bản do chính NVIDIA sản xuất toàn bộ, nhưng số lượng và khả năng cung ứng giới hạn vì NVIDIA muốn khuyến khích người dùng mua từ các board partner.

Việc mua nguyên một máy từ system builder như Dell (thay vì tự lắp linh kiện rời) đánh đổi giữa việc không tùy biến được hệ thống, nhưng đổi lại có sự hỗ trợ đáng tin cậy và ổn định — ví dụ Dell có thể cử người đến tận nơi trong 24 giờ để thay thế linh kiện hỏng. Đây cũng là lý do một số máy trạm dùng card đời cũ hơn (như card từ năm 2022 dù mua máy năm 2025) — vì hãng xây dựng cấu hình xoay quanh độ tin cậy đã được kiểm chứng, không phải phần cứng mới nhất.

Về mặt kiến trúc, card RTX thế hệ hiện tại (ví dụ RTX 40 series) dùng kiến trúc Ada Lovelace, với RT core thế hệ 3 (dùng cho ray tracing) và tensor core thế hệ 4 (dùng cho machine learning). Mỗi kiến trúc mới sẽ có các thông số riêng cần lưu ý: phiên bản CUDA được hỗ trợ (quyết định những tính năng/thư viện có thể chạy được), độ chính xác (precision) mà tensor core hỗ trợ, và liệu có hỗ trợ NVLink hay không — dòng RTX tiêu dùng hiện không hỗ trợ NVLink, một công nghệ dành cho data center sẽ được nhắc tới ở phần sau.

Die là một lát mỏng silicon được khắc hàng tỷ transistor, cắt ra từ một tấm wafer silicon lớn hơn. Có thể tìm hiểu chi tiết die architecture của một chip cụ thể qua các trang phân tích chuyên sâu (ví dụ SemiAnalysis), nơi thường phân tích rõ các thành phần như host interface PCIe, Giga Thread Engine, memory controller, raster engine, và bộ nhớ đệm L2 ngay trên hình ảnh thực tế của die.

6. NVIDIA Control Panel và NVIDIA App​

NVIDIA Control Panel là phần mềm cài sẵn trên Windows, cho phép người dùng quản lý và cấu hình driver đồ họa NVIDIA cùng các tiện ích liên quan đến GPU. Nó cung cấp công cụ để tùy chỉnh thiết lập 3D, hiệu năng video, và đóng vai trò trung tâm để tối ưu game/ứng dụng. Trong mục System Information, có thể xem phiên bản DirectX, phiên bản driver, loại driver, số CUDA core khả dụng, và thông tin bộ nhớ. Công cụ này không thực sự cần thiết cho công việc AI/data center, nhưng nên biết nó tồn tại vì chỉ mất vài giây để tìm hiểu.

NVIDIA App là phần mềm cài thêm, giúp quản lý cập nhật driver dễ dàng hơn. Khi khởi chạy lần đầu, nó sẽ hỏi người dùng muốn tối ưu cho driver Game Ready hay driver Studio (dành cho người sáng tạo nội dung). Ứng dụng này bao gồm GPU control center và công cụ ghi hình, không thực sự cần thiết để vượt qua kỳ thi, nhưng là thứ nên cài nếu sở hữu card đồ họa NVIDIA.

7. NVIDIA SMI — công cụ dòng lệnh giám sát GPU​

NVIDIA SMI (System Management Interface) là tiện ích dòng lệnh đi kèm driver GPU của NVIDIA, dùng để giám sát và quản lý thiết bị GPU. Đây là công cụ hữu ích khi làm việc trong data center không có giao diện đồ họa — nơi các cách xem thông tin qua Control Panel hay NVIDIA App không khả dụng. Công cụ cung cấp dữ liệu real-time về mức sử dụng GPU, dung lượng bộ nhớ đang dùng, nhiệt độ, và mức tiêu thụ điện — rất cần thiết để theo dõi hiệu năng. NVIDIA SMI hỗ trợ cả Linux và Windows 64-bit.

Một số lệnh quan trọng cần nhớ cho kỳ thi:

# Dynamic monitoring — theo dõi GPU, power, nhiệt độ, bộ nhớ theo thời gian thực
nvidia-smi dmon

# Process monitoring — xem tiến trình nào đang chạy trên GPU, kèm PID
nvidia-smi pmon

# Query thông tin cụ thể, có thể xuất ra định dạng CSV
nvidia-smi --query-gpu=memory.used,memory.total --format=csv
nvidia-smi --query-gpu=temperature.gpu --format=csv
nvidia-smi --query-gpu=power.draw --format=csv
nvidia-smi --query-gpu=name --format=csv

Ngoài ra còn có các cờ liên quan đến MIG (Multi-Instance GPU — công nghệ chia một GPU vật lý thành nhiều instance độc lập, sẽ tìm hiểu kỹ hơn ở phần sau, chỉ khả dụng trên các GPU cao cấp như A100, H100, không khả dụng trên RTX tiêu dùng):

# -cgi: tạo compute instance đi kèm GPU instance theo profile cụ thể (ví dụ 0/1/9/14)
nvidia-smi mig -cgi <profile_id> -C

Cờ -C (compute instance) chỉ định compute instance profile ID. Khi học tới phần MIG, nên quay lại đọc kỹ các lệnh này.

8. Cache của CPU: L1, L2, L3, DRAM​

Đa số CPU có một hệ thống phân cấp nhiều tầng cache, thường gọi là L1, L2, L3 (và đôi khi có L4). Mỗi core CPU có cache L1 riêng, bên dưới là L2, L3 dùng chung, và DRAM.

  • L1 nằm gần core CPU nhất có thể, tốc độ cao nhất nhờ đường tín hiệu ngắn.
  • L2 tách biệt về mặt vật lý với CPU, chạy chậm hơn nhưng đặt ít áp lực hơn lên chip, nên có thể làm lớn hơn mà không ảnh hưởng đến thiết kế CPU.
  • L3 thường được chia sẻ giữa nhiều core CPU.
  • DRAM (dynamic random access memory) suy giảm dữ liệu theo từng giây và phải được refresh định kỳ, dùng làm bộ nhớ chính của máy tính.

L1 đến L3 là SRAM (static random access memory) — giữ dữ liệu cố định cho tới khi mất điện, dùng cho cache và thanh ghi nội bộ của CPU, và nhanh hơn DRAM.

💡 Hình dung như thế này: L1 giống ngăn kéo ngay trên bàn làm việc — lấy đồ ra dùng gần như tức thì nhưng chứa được rất ít. L2 giống tủ hồ sơ đặt cạnh bàn — lấy đồ chậm hơn một chút nhưng chứa được nhiều hơn. L3 giống phòng lưu trữ chung của cả tầng, nhiều người dùng chung. DRAM giống kho hàng ở tòa nhà khác — chứa được rất nhiều nhưng mỗi lần cần gì phải đi lấy, chậm hơn hẳn so với ngăn kéo trên bàn.

Khi làm việc với các ngôn ngữ lập trình cấp thấp, lập trình viên có thể kiểm soát chính xác dữ liệu được ghi vào tầng cache nào. Với CUDA, việc hiểu rõ dữ liệu được ghi vào đâu cũng quan trọng, dù trọng tâm sẽ nghiêng nhiều hơn về phía GPU — nhưng vẫn có tương tác giữa CPU và GPU, nên biết những khái niệm L1/L2/DRAM này là cần thiết trước khi đi sâu vào CUDA.

Nguồn tham khảo​

Nguồn gốc: NVIDIA-Certified Associate AI Infrastructure and Operations (NCA AIIO) Free Study Course — kênh freeCodeCamp.org