这是一篇经过脱敏处理的本地 V100 多模态 AI 实验室搭建记录。网络、主机、服务、提示词、输入内容和模型精确回答都不公开，只保留有用的工程结论。

2026 年 5 月 30 日

用 V100 搭建本地多模态 AI 实验室

一份脱敏的硬件到推理链路记录

这次把一台服务器级主机整理成围绕 Tesla V100 PCIe 32GB 的本地多模态推理环境。公开版本只讲架构、模型取舍、运维保护和聚合验证，不暴露内部细节。

V100 真正可用

GPU 从通用驱动状态切换到 NVIDIA 550 驱动族，ECC 状态干净，CUDA 路径完成验证。

本地多模态链路

多个 llama.cpp CUDA 配置可以切换，通过私有 OpenAI 风格接口提供带图像输入的对话能力。

这次改变了什么

这次安装真正有价值的不是某一条命令，而是完整链路：确认 PCIe 设备和链路，安装正确驱动，做好温控监督，稳定直通，再让模型切换可以复现。

实验室里真正关键的部分

公开版本移除了内部地址和服务名称，但工程模式保留下来。

硬件基线

服务器级主机、Tesla V100 PCIe 32GB、干净的 x16 级链路、ECC 已启用。

虚拟化 GPU 路径

V100 直通到 Linux 推理环境，宿主机继续负责温控和电源监督。

模型配置

InternVL3.5 Q4/Q6、Gemma 4 26B Q4、Qwen3.6 35B-A3B Q4 都整理成可切换本地配置。

运维保护

温度关机规则、启动时 GPU 初始化、定时运行窗口，降低无人值守风险和空闲成本。

发布链路测试

这篇文章本身也在测试博客里的 Step 注册组件、图表、画廊和安全 HTML。

模型配置快照

四舍五入后的本地观察

四舍五入后的本地观察
配置	上下文	显存状态	吞吐状态	私有视觉验证
Qwen3.6 35B-A3B Q4	16k	约 24 GiB	约 60 decode tokens/s	私下完成
Gemma 4 26B Q4	8k	约 21 GiB	约 60 decode tokens/s	私下完成
InternVL3.5 Q6	16k	约 25 GiB	约 80 decode tokens/s	私下完成
InternVL3.5 Q4	16k	32GB 上余量更宽	约 100 decode tokens/s	私下完成

数字是四舍五入后的本地快照，不是公开基准测试声明。
提示词、输入场景和模型精确回答按要求不公开。

32GB V100 上的取舍

用四舍五入后的观察帮助选择默认配置，同时不暴露私有验证材料。

观察到的显存使用，约 GiB

bar benchmark

Highlighted

Qwen3.6 35B-A3B Q4: 24
Gemma 4 26B Q4: 21
InternVL3.5 Q6: 25
InternVL3.5 Q4: 22

Decode 吞吐状态

horizontal-bar benchmark

Highlighted

Qwen3.6 35B-A3B Q4: 60
Gemma 4 26B Q4: 60
InternVL3.5 Q6: 80
InternVL3.5 Q4: 100

V100 安装图集

01 / 06

安装照片 01

Payload CMS 上传位 01。准备好真实安装照片后可在后台替换。

02 / 06

安装照片 02

Payload CMS 上传位 02。准备好真实安装照片后可在后台替换。

03 / 06

安装照片 03

Payload CMS 上传位 03。准备好真实安装照片后可在后台替换。

04 / 06

安装照片 04

Payload CMS 上传位 04。准备好真实安装照片后可在后台替换。

05 / 06

安装照片 05

Payload CMS 上传位 05。准备好真实安装照片后可在后台替换。

06 / 06

安装照片 06

Payload CMS 上传位 06。准备好真实安装照片后可在后台替换。

范围	公开状态
驱动与 CUDA 路径	本地已验证
可切换模型配置	本地已验证
私有多模态验证	已完成；验证细节不公开
运维披露	网络、主机、虚拟化、服务和路径信息已脱敏

我会重复的做法

最值得重复的模式，是先把 V100 当成运维项目，再把它当成 AI 项目：先证明电气和散热稳定，再让每次模型切换都可观察、可回退。