llama.cpp

你的Jetson Orin刚部署好记忆搜索，结果发现llama.cpp在ARM上死活不调用CUDA——推理速度慢到像在用CPU跑大模型。别急着换硬件，问题出在官方预编译产物上。实测自编译CUDA支持后，batch

在Linux系统上编译llama.cpp源码部署gpt-oss-20b-Q8_0.gguf模型，并可通过Cherry Studio接入服务。