Skip to main content

NCA-AIIO 5: Networking và hạ tầng data center AI

Cập nhật: 2026-07-09

Mục lục​

1. ConnectX — smart NIC của NVIDIA​

NVIDIA ConnectX (tên gốc gắn với Mellanox — công ty được NVIDIA mua lại) là dòng card mạng hiệu năng cao (NIC — network interface card, hay "smart NIC"), cung cấp kết nối lên tới 400 Gb/s qua Ethernet hoặc InfiniBand cho data center, cloud, AI và lưu trữ. Các card mạng Ethernet có nhiều mức băng thông: 10, 25, 40, 50, 100, 200, hoặc 400 Gb/s.

Một số sản phẩm cụ thể trong dòng ConnectX:

Sản phẩmBăng thôngThế hệ PCIe / số lane
ConnectX-9 SuperNIC1,6 Tb/s (tổng hợp nhiều port, mỗi port 800 Gb/s)PCIe thế hệ 6, 48 lane
ConnectX-8 SuperNIC800 Gb/sPCIe thế hệ 6, 48 lane
BlueField-3 SuperNIC400 Gb/sPCIe thế hệ 5, 32 lane

Xu hướng chung: mỗi thế hệ mới có xu hướng gấp đôi băng thông so với thế hệ trước. Lưu ý BlueField-3 SuperNIC chỉ là phần NIC — không có phần DPU (data processing unit) đi kèm.

2. BlueField DPU​

DPU (Data Processing Unit) là một bộ xử lý máy tính lập trình được, tích hợp chặt chẽ với một CPU đa dụng cùng phần cứng giao diện mạng — đây là thuật ngữ do chính NVIDIA đặt ra.

BlueField-4 DPU cung cấp 800 Gb/s, có nền tảng bộ nhớ ngữ cảnh cho inference (inference context memory storage platform), phù hợp cho lưu trữ dạng "AI-native" phục vụ bộ nhớ ngắn hạn và dài hạn nhanh hơn — bao gồm cả bộ nhớ đệm key-value ở cấp cluster của NVIDIA Rubin (tương tự khái niệm như Redis).

BlueField-3 DPU cung cấp 400 Gb/s, sử dụng nhân CPU ARM Hercules (kiến trúc ARM, không phải x86). BlueField-3 tích hợp sẵn nhiều tính năng bảo mật: distributed firewall thế hệ mới, IDS/IPS, root of trust, micro-segmentation, chống DDoS, mã hóa dữ liệu đang truyền (data-in-motion encryption) qua MACsec/IPsec. Trong số các thuật ngữ bảo mật này, IPsec là thuật ngữ hay xuất hiện nhất trong đề thi.

BlueField-3 SuperNIC về cơ bản là BlueField-3 nhưng bỏ đi phần DPU/compute — chỉ còn phần NIC, vẫn giữ băng thông 400 Gb/s.

3. NVMe over Fabrics và tăng tốc lưu trữ của BlueField​

NVMe (Non-Volatile Memory Express) là giao thức lưu trữ hiệu năng cao dành cho ổ SSD, kết nối trực tiếp với CPU qua bus PCIe — đây là bộ nhớ lưu trữ bền vững (persistent), khác với RAM (không bền vững), dù về mặt hình dáng vật lý đôi khi dễ bị nhầm với RAM.

NVMe over Fabrics (NVMe-oF) dùng các lệnh dạng message-based để truyền dữ liệu giữa máy chủ host và thiết bị lưu trữ SSD đích qua mạng — có thể qua Ethernet, Fibre Channel, hoặc InfiniBand (InfiniBand cực nhanh). Việc "tunnel" các lệnh NVMe qua RDMA fabric mang lại thông lượng cao và độ trễ thấp — đây là lý do RDMA thường đi kèm với InfiniBand.

BlueField tăng tốc lưu trữ (storage acceleration) bằng cách offload giao thức NVMe-oF cùng các thao tác RDMA và networking lưu trữ từ CPU host sang các nhân ARM của DPU. Việc này giải phóng tài nguyên CPU cho các workload AI cần nhiều tính toán, trong khi vẫn đảm bảo truy cập lưu trữ độ trễ thấp, thông lượng cao.

4. NCCL — thư viện giao tiếp đa GPU​

NCCL (NVIDIA Collective Communication Library, phát âm là "nickel") cho phép kết nối mạng nhiều GPU với nhau mà không cần tinh chỉnh cấu hình phần cứng cụ thể. NCCL phù hợp cho distributed training hoặc inference thời gian thực, có khả năng tự động phát hiện topology (automatic topology detection), API dựa trên C được tối giản (streamlined C-based API), và có thể cài đặt qua biên dịch từ mã nguồn, NVIDIA HPC SDK, hoặc bản nhị phân biên dịch sẵn.

Điều cần nhớ: dùng NCCL nghĩa là đang làm việc với multi-GPU hoặc multi-node.

PCIe là giao diện để cắm các thiết bị vào bo mạch chủ máy tính, có nhiều thế hệ và kích thước lane khác nhau — đây là chuẩn kết nối truyền thống, được nhắc lại nhiều lần vì liên quan trực tiếp tới NVLink.

NVLink là công nghệ kết nối trực tiếp tốc độ cao giữa GPU-GPU và CPU-CPU, được thiết kế để vượt qua giới hạn băng thông của PCIe truyền thống, cung cấp tới 900 GB/s hoặc 1,8 TB/s băng thông. NVLink không đi qua PCIe — dù về mặt vật lý được cắm vào cùng cổng PCIe, NVLink có đường kết nối vật lý riêng, hoàn toàn tách biệt để đạt thông lượng cao hơn.

NVSwitch là công nghệ networking chuyên dụng tốc độ cao, cho phép giao tiếp GPU-to-GPU theo kiểu all-to-all, đạt tốc độ NVLink tối đa trong phạm vi một server/node. NVLink/NVSwitch chỉ hoạt động trong phạm vi một node — ví dụ DGX H200 8-GPU có 4 thiết bị NVSwitch.

💡 Hình dung như thế này: PCIe giống con đường quốc lộ chung mà mọi thiết bị trong máy đều phải đi qua — CPU, ổ cứng, card mạng đều dùng chung tuyến đường này nên dễ tắc nghẽn. NVLink giống một đường cao tốc riêng, chỉ dành cho xe của các GPU đi lại với nhau, không phải chia sẻ với ai khác nên đi được nhanh hơn nhiều. NVSwitch giống một nút giao thông thông minh ở giữa, cho phép bất kỳ GPU nào cũng có thể "lái xe" thẳng tới bất kỳ GPU nào khác trong cùng node mà không phải đi vòng qua GPU trung gian.

NVSwitch Fabric: All-to-All GPU Connectivity in One NodeGPU 0GPU 1GPU 2GPU 3NVSwitch Fabric4× NVSwitchGPU 4GPU 5GPU 6GPU 7All 8 GPUs reach each other through the NVSwitch fabric — this is what "all-to-all" meansEach GPU: 18 NVLink connections, 900 GB/s bidirectional (H100)

Bảng cấu hình các thế hệ NVLink:

Thế hệ NVLinkBăng thông mỗi linkSố link
NVLink 120 GB/s4
NVLink 225 GB/s8
NVLink 350 GB/s12
NVLink 4 (dùng cho H100)50 GB/s18
NVLink 5 (Blackwell)Cao hơn nhiều18

Với một DGX H100 8-GPU, tổng cộng có 18 link, đạt 50 GB/s bidirectional (tức khoảng 25 GB/s mỗi chiều) — cần nhớ rằng giá trị bidirectional phải chia đôi để ra tốc độ mỗi chiều, đây là điểm hay gây nhầm lẫn trong đề thi.

6. InfiniBand​

InfiniBand là một chuẩn networking dùng cho high performance computing, mang lại thông lượng rất cao và độ trễ rất thấp, sử dụng công nghệ switch fabric. InfiniBand có nhiều thế hệ, đặt tên không hoàn toàn theo quy luật (ban đầu là single/double/quad, sau đó chuyển sang các tên như HDR, NDR). Hai thế hệ quan trọng nhất cần biết cho kỳ thi là HDR và NDR — trong đó NDR là thế hệ được các hệ thống H100 sử dụng.

Về độ trễ (adapter latency): thế hệ cũ nhất (SDR) đã có độ trễ dưới 5 microgiây; HDR và NDR có độ trễ dưới 1 microgiây — nhưng để an toàn khi làm bài thi, có thể ước lượng khoảng 1–2 microgiây cho NDR.

Về cáp InfiniBand: cáp có nhiều mức tốc độ khác nhau, và thiết bị dùng cáp gì mới là yếu tố quyết định thông lượng thực tế — không chỉ phụ thuộc vào thế hệ InfiniBand (ví dụ NDR có thể chạy ở tốc độ 200 hoặc 400 tùy loại cáp/số lane: 200 → 400 → 800 Gb/s tùy cấu hình lane). Nếu dùng sai loại cáp (ví dụ dùng cáp NDR200 thay vì NDR400), hệ thống sẽ chỉ đạt một nửa hiệu năng kỳ vọng dù phần cứng và mesh network hoàn toàn có khả năng chạy nhanh hơn — đây là dạng câu hỏi bẫy hay gặp trong đề thi (ví dụ: "DGX SuperPOD dùng ConnectX-7 nhưng lại cấu hình NDR200 thay vì NDR400").

7. RDMA và RoCE​

RDMA (Remote Direct Memory Access) cho phép một máy đọc/ghi trực tiếp vào bộ nhớ của máy khác mà không cần thông qua CPU từ xa, đạt độ trễ rất thấp và thông lượng rất cao — mục tiêu chính là giao tiếp bộ nhớ GPU-to-GPU. InfiniBand là chuẩn/fabric mạng định nghĩa cáp, switch, tín hiệu và giao thức; RDMA cần phần cứng NIC hỗ trợ chuyên biệt cùng driver và thư viện phần mềm để sử dụng được. Trên thực tế, RDMA gần như luôn đi cùng InfiniBand — nên coi công thức "InfiniBand + RDMA" là mặc định.

💡 Hình dung như thế này: Giao tiếp mạng thông thường giống việc gửi hàng phải qua một nhân viên trung gian (CPU) nhận, kiểm tra, rồi mới chuyển tiếp vào kho (bộ nhớ) — mỗi lần gửi đều tốn thời gian chờ nhân viên đó xử lý. RDMA giống việc bên gửi có chìa khoá riêng, tự đi thẳng vào đúng kệ hàng trong kho của bên nhận mà không cần qua nhân viên trung gian — nhanh hơn hẳn vì bỏ qua hoàn toàn bước trung chuyển.

RoCE (RDMA over Converged Ethernet) là giao thức mạng cho phép RDMA hoạt động qua mạng Ethernet. RoCE có nhiều phiên bản: version 1 là giao thức ở tầng liên kết dữ liệu (link layer) của Ethernet; version 2 là giao thức ở tầng mạng (network/internet layer). RoCE có thể chạy trên stack TCP/IP tiêu chuẩn, nhưng khi đó hiệu năng sẽ chậm hơn, với độ trễ khoảng 20–50 microgiây.

8. Network fabric và NVIDIA Magnum IO​

Network fabric là một kiến trúc mạng hiệu năng cao, thống nhất và tự động hóa, kết hợp phần cứng (switch, router, cáp) và phần mềm thành một hệ thống mắt lưới (mesh) gắn kết chặt chẽ. Ví dụ: NDR InfiniBand ở 400 Gb/s mỗi cổng kết hợp 400 Gb Ethernet dùng RoCE v2 — một fabric có thể gồm 4 switch fabric kết nối tới các top-of-rack switch (ví dụ 48-port).

NVIDIA Magnum IO là hệ thống con input/output cho data center, đóng vai trò một lớp trừu tượng (abstraction layer) kết nối nhiều công nghệ của NVIDIA, giúp bỏ qua CPU để tăng hiệu năng. Magnum IO bao gồm 4 nhóm chính:

  • Storage IO: GPU Direct Storage, NVMe snap,...
  • Network IO: NVLink, InfiniBand, mạng Ethernet, GPU Direct RDMA, NCCL,...
  • In-network compute: BlueField DPU,...
  • IO management

Điều cần nhớ: Magnum IO là một lớp trừu tượng (abstraction layer) tập hợp các công nghệ NVIDIA đã học ở các phần khác.

9. VDI và NVIDIA Desktop Density​

VDI (Virtual Desktop Infrastructure) là công nghệ lưu trữ môi trường desktop của người dùng (hệ điều hành, ứng dụng, dữ liệu) trên các server tập trung, bảo mật trong data center. NVIDIA vGPU là các phần chia logic (logical division) của một GPU compute, có thể dùng để cấp năng lượng cho VDI.

NVIDIA định nghĩa desktop density theo hai nghĩa: (1) hiệu năng AI cao cho workstation cá nhân — nhỏ gọn nhưng năng lực tính toán lớn; và (2) mật độ người dùng cao trên mỗi GPU khi triển khai VDI trong data center. Phần mềm NVIDIA vGPU cho phép một GPU data center hỗ trợ tới 32 desktop (32 virtual desktop) chạy đồng thời trên cùng một GPU — con số 32 là điều cần nhớ nếu gặp câu hỏi về desktop density.

10. Các thuật ngữ hạ tầng rời rạc cần biết​

Gigabit Ethernet: chuẩn mạng truyền dữ liệu ở tốc độ 1 Gb/s. Với cụm AI, băng thông thực tế thường nằm trong khoảng 100 Gigabit Ethernet đến 1,6 Terabit Ethernet (công nghệ vẫn đang phát triển). Dù đề thi có thể hỏi về thông lượng, luôn phải tính thêm yếu tố độ trễ (latency) — với giao tiếp GPU-to-GPU, càng ít bước trung gian, độ trễ càng thấp.

PUE (Power Usage Effectiveness): tỷ lệ mô tả mức hiệu quả sử dụng năng lượng của một data center, cụ thể là bao nhiêu năng lượng được dùng cho thiết bị tính toán so với tổng năng lượng của toàn bộ cơ sở. Công thức: PUE = Tổng năng lượng cơ sở ÷ Năng lượng thiết bị IT. PUE lý tưởng là 1,0. Các data center hiệu quả hiện đại có thể đạt khoảng 1,2 hoặc thấp hơn, trong khi trung bình ngành thường nằm trong khoảng 1,58–1,8.

SIMT (Single Instruction Multiple Thread): mô hình thực thi trong tính toán song song, nơi một đơn vị điều khiển trung tâm (control unit, hay CU) phát (broadcast) lệnh tới nhiều đơn vị xử lý (processing unit, hay PU), để các PU thực hiện đồng bộ, độc lập cùng một lệnh song song với nhau. Các thuật ngữ CU và PU nằm trong mô hình thực thi SIMT này.

Out of memory error: lỗi xảy ra khi hệ thống dùng hết toàn bộ bộ nhớ khả dụng và dừng hoạt động — thường gặp khi huấn luyện LLM. Ví dụ: một cụm 8× H100 (mỗi GPU 80 GB, tổng 640 GB) huấn luyện một LLM 70 tỷ tham số bằng độ chính xác hỗn hợp FP16 (trọng số model chỉ 140 GB) — dù có vẻ dư bộ nhớ, thực tế huấn luyện cần gấp 2–4 lần dung lượng trọng số model, và trong một số trường hợp cụ thể (full parameter training với FP16) có thể cần tới 12–16 lần. Kết luận: quy tắc "2 đến 4 lần" chỉ là ước lượng chung, con số thực tế phụ thuộc vào độ chính xác (precision) và cách thức huấn luyện cụ thể.

Out-of-band network: hạ tầng mạng riêng biệt, bảo mật, được cách ly về vật lý hoặc logic, dùng để quản lý, giám sát và xử lý sự cố cho các thiết bị mạng quan trọng, độc lập với mạng sản xuất (production network) chính. Mạng này cung cấp một đường dự phòng (failover path) để quản trị viên từ xa vẫn truy cập được hệ thống khi mạng chính gặp sự cố hoặc thiết bị hỏng — rất hữu ích với hạ tầng GPU vì các máy chạy rất nóng, tiêu thụ nhiều điện, dễ hết bộ nhớ hoặc gặp sự cố, nên cần một kênh quản lý/khắc phục sự cố độc lập, không bị ảnh hưởng khi hạ tầng chính gặp trục trặc.

Homomorphic encryption (HE): cho phép người dùng thực hiện tính toán trên dữ liệu đã mã hóa — hữu ích khi không tin tưởng server tính toán với dữ liệu của mình. Dữ liệu được mã hóa trước, xử lý trong khi vẫn ở dạng mã hóa, và chỉ người sở hữu mới giải mã được kết quả cuối cùng. Có nhiều cấp độ: partially homomorphic, somewhat homomorphic (SHE), và fully homomorphic (FHE) — với FHE, có thể thực hiện vô hạn phép cộng và phép nhân trên dữ liệu mã hóa, đây là cấp độ lý tưởng nhất. Arcis (accelerated encryption execution) là một framework end-to-end cho phép đặc tả thuật toán bằng C++ với kiểu dữ liệu chuẩn, rồi tự động chuyển đổi thuật toán đó sang dạng FHE để chạy trên số lượng GPU tùy ý. Nếu đề thi hỏi về việc xử lý dữ liệu trên hạ tầng không đáng tin cậy mà vẫn bảo mật, đáp án liên quan tới homomorphic encryption/FHE, và cụ thể với hệ thống NVIDIA là Arcis.

NGC (NVIDIA GPU Cloud): cổng dịch vụ doanh nghiệp, công cụ quản lý phần mềm và hỗ trợ cho các workflow AI và digital twin đầu-cuối, với catalog tại catalog.ngc.nvidia.com. NGC catalog là kho chứa các container, model và script được tối ưu cho GPU, cập nhật hàng tháng phục vụ phát triển AI — nhiều container (như Triton Inference Server) thực tế được kéo về (pull) từ nguồn NGC này.

Nguồn tham khảo​

Nguồn gốc: NVIDIA-Certified Associate AI Infrastructure and Operations (NCA AIIO) Free Study Course — kênh freeCodeCamp.org

Đã fact-check (truy cập 2026-07-09):

  • ConnectX-9 SuperNIC: 1,6 Tb/s (terabit), mỗi port 800 Gb/s — NVIDIA ConnectX-9 SuperNIC docs
  • ConnectX-8 SuperNIC: 800 Gb/s (gigabit) — NVIDIA ConnectX-8 SuperNIC docs
  • BlueField-3 SuperNIC/DPU: 400 Gb/s — NVIDIA BlueField-3 datasheet
  • BlueField-4 DPU: 800 Gb/s — chưa có datasheet chính thức riêng để xác minh độc lập (sản phẩm còn mới)
  • NDR InfiniBand/Ethernet trong ví dụ network fabric: 400 Gb/s
  • NVLink: 900 GB/s, 7,2 TB/s giữa các GPU — đơn vị byte, khác ConnectX/BlueField/InfiniBand (công bố theo bit)