基于TensorRT-LLM,在A100环境下对QwQ-32B模型进行int4量化推理。通过转换检查点并构建TensorRT引擎,成功运行吞吐基准测试,使用合成数据集评估性能。
Article
在 Ubuntu 中安装并运行 stable-diffusion-webui 的秋叶整合包,内容包括下载、虚拟环境创建、依赖安装以及路径修复等操作步骤,适合深度学习爱好者探索。
在 Ubuntu 24.04 上安装和配置多版本 CUDA 工具包。内容涵盖了下载安装包到设置环境变量、验证安装的全过程。以及如何通过别名管理不同版本的 CUDA,便于开发者灵活切换。
这篇文章讲解如何在单卡 A100 上,通过 TensorRT-LLM 实现 Qwen3-8B 模型的量化推理,内容涵盖环境设置、模型转换及推理运行,适合关注高性能计算的开发者。
在PVE系统中,为Ubuntu虚拟机直通 A100 显卡、安装 NVIDIA 驱动、CUDA Toolkit 和 TensorRT。内容涵盖虚拟机设置、环境配置到深度学习工具的完整安装流程。
这篇文章分享了如何在 UNRAID 系统下,通过 CUDA 调用实现 Immich 的相似照片去重功能,基于 Immich-Mediakit 的实现。
这篇文章讲述了如何在 UNRAID 系统中配置 Immich,并启用 CUDA 加速功能。内容包括安装 Docker Compose、编辑配置文件以及调用 GPU。
这篇文章记录了一次解决 CloudFlare 网站 SSL 错误的经历。博主排查了源服务器证书、尝试替换证书并搜索解决方法,但发现问题出在 DNSSEC 的配置上。通过修复加密算法配置和调整 CloudFlare
在 NVIDIA Jetson Orin Nano Super 上进行 NVMe 刷机的完整过程。内容包括使用 SDK Manager 安装驱动、配置系统以及设置轻量化桌面和 VNC 远程的方法、
这篇文章介绍了如何使用 Visual Studio Code 的 Remote-SSH 插件,实现基于 SSH 的远程开发。内容涵盖创建 SSH 密钥对、导入 Linux 并配置连接设置的详细步骤,帮助用户在本地高
