选硬件时，先问清服务要处理什么请求、同时有多少用户、允许多长响应时间。推理服务硬件配置指南的核心不是追求最高规格，而是让设备在实际负载下满足延迟和吞吐要求，并避免长期闲置。
1. 先把负载写成可测的条件
文本生成、语音识别、图像分类和向量检索，对硬件的压力并不相同。生成服务要关注输入与输出长度、并发量和首 token 延迟；图像任务还要明确图片尺寸及每秒请求数。先记录日常与高峰请求量，再确定服务目标，不能只凭模型名称选卡。
准备一组可重复的测试输入，分别以并发 1、8、32 运行压测；这些是测试档位，不是通用配置标准。记录响应时间分布、吞吐量、显存占用和设备利用率。测试应使用计划部署的模型版本、输入长度和服务框架，否则结果难以指导采购。
2. 显存先满足可运行，再留出并发空间
显存容量不仅要装下模型权重，还要容纳运行时开销和并发请求产生的中间数据。以常见的 7B 参数模型为例，仅权重在半精度下理论上约需 14GB；实际运行还要额外空间，因此 16GB 卡未必能在目标并发下稳定服务。量化可减少权重占用，但可能带来精度变化，必须用业务样本验证。
购买前先用目标框架加载模型，观察峰值显存，并逐步增加并发，直到延迟或显存达到服务上限。若工作负载包括较长输入、较多并发或多个模型共用设备，就应预留余量，而不是按权重的理论值卡线配置。
3. 单卡、多卡和不同产品线各有取舍
单卡适合边界清晰的服务
单卡架构部署简单，通常更容易排查故障，也不需要处理跨卡通信。NVIDIA RTX 4090适合预算敏感、可接受消费级产品运维条件的开发或小规模部署；它的显存容量和设备管理特性与专业数据中心产品不同，不应仅按峰值算力比较。
专业卡和多卡适合不同约束
NVIDIA L40S、RTX 6000 Ada等专业产品可用于对显存、持续运行和企业部署条件有要求的场景，但采购成本与整机成本需一并评估。多卡可以扩展总算力，却会增加主机、供电、散热和通信复杂度；模型或服务框架也必须支持相应并行方式。若单卡已满足延迟和吞吐目标，多卡未必更省钱。
4. 把主机、电力和部署方式算进总成本
硬件账单不止显卡。需要核对主板插槽与通道、内存容量、存储空间、电源余量、机箱散热和网络带宽；整机满载功耗及机房制冷也会影响长期费用。消费级设备采购门槛可能较低，但保修、远程管理和连续运行要求应单独确认。
将自建与云端实例按同一口径比较：设备购置及折旧、运维、电力和闲置时间，对照云端的实际使用时长与存储、网络费用。负载波动大、短期项目多时，云资源更灵活；需求持续且利用率稳定时，自建才更可能划算。实际结果取决于地区电价、采购价格和利用率。
5. 采购前按步骤做小规模验证
- 整理模型、输入长度、峰值并发、目标延迟和每日运行时长。
- 选一台候选设备，用生产相同的软件版本加载模型，并跑代表性请求。
- 测试常态与高峰并发，检查延迟、吞吐量、显存和功耗；同时观察是否发生溢出或降速。
- 按每千次请求成本或每小时有效吞吐核算总成本，再与另一种配置对比。
- 保留扩容空间，但把扩容条件写清楚，例如连续高峰超出服务目标后再增加设备。
一份实用的推理服务硬件配置指南，最终应能回答“当前负载需要多少设备、哪些指标会触发扩容”。先测后买，比为暂时用不到的峰值规格付费稳妥得多。
常见问题
显存越大越好吗？
不一定。只有模型、输入和并发确实需要更多空间时，大显存才有价值；应结合峰值测试决定。
量化后能直接换小显存显卡吗？
不能直接假定。量化会改变模型精度表现，且运行时仍有额外占用，应先验证业务效果和并发能力。
多卡一定比单卡吞吐高吗？
不一定。结果取决于模型拆分方式、通信开销和软件支持。先测单卡是否达标，再验证多卡收益。
什么时候考虑云端？
需求暂时、波动明显或需要快速试验时可优先比较云端；使用稳定且长期高负载时，再认真评估自建总成本。
