ARTICLE SERIES
A100 与 TensorRT-LLM 实战
按阅读顺序整理,共 3 篇。
PVE 直通 A100:Ubuntu 驱动与 CUDA 配置
2025-07-19
在 PVE 中为 Ubuntu 虚拟机直通 A100,安装 NVIDIA 驱动、CUDA Toolkit 与 TensorRT 并验证环境。
1024 字
|
5 分钟
单卡A100通过TensorRT-LLM量化推理Qwen3-8B简单教程
2025-07-19
记录单卡 A100 上使用 TensorRT-LLM 对 Qwen3-8B 进行量化推理,涵盖容器环境、检查点转换、引擎构建和运行验证。
474 字
|
2 分钟
Tensor-LLM 1.0.0rc4 量化推理QwQ-32B int4
2025-07-25
在 A100 上使用 TensorRT-LLM 对 QwQ-32B 进行 INT4 量化,转换检查点、构建引擎并运行吞吐基准测试。
419 字
|
2 分钟