ARTICLE SERIES

A100 与 TensorRT-LLM 实战

按阅读顺序整理,共 3 篇。

PVE 直通 A100:Ubuntu 驱动与 CUDA 配置

在 PVE 中为 Ubuntu 虚拟机直通 A100,安装 NVIDIA 驱动、CUDA Toolkit 与 TensorRT 并验证环境。
1024 字
|
5 分钟
PVE 直通 A100:Ubuntu 驱动与 CUDA 配置 封面

单卡A100通过TensorRT-LLM量化推理Qwen3-8B简单教程

记录单卡 A100 上使用 TensorRT-LLM 对 Qwen3-8B 进行量化推理,涵盖容器环境、检查点转换、引擎构建和运行验证。
474 字
|
2 分钟
单卡A100通过TensorRT-LLM量化推理Qwen3-8B简单教程 封面

Tensor-LLM 1.0.0rc4 量化推理QwQ-32B int4

在 A100 上使用 TensorRT-LLM 对 QwQ-32B 进行 INT4 量化,转换检查点、构建引擎并运行吞吐基准测试。
419 字
|
2 分钟
Tensor-LLM 1.0.0rc4 量化推理QwQ-32B int4 封面