小型 LLM 的实际应用 — 7B~32B 模型选择标准

模型大小与 VRAM 直接相关。按 4 比特量化计算，大致需要与模型大小相同的 GB 数。

韩语性能

英语基准测试的排名在韩语中不会原样保持。必须用实际业务文档进行比较。

• 使用相同提示词进行 30~50 条对比测试
• 同时评估幻觉频率与格式遵循情况
• 同时测量响应速度 — 太慢会在实际工作中被弃用

最大的模型并不总是最好的。现场业务大多用 7~14B 就足够了。