七月十八号 Llama 2 放出来，协议里明确允许商用。这件事比模型本身更重要——在此之前，能在本地跑又敢商用的像样模型基本没有。
周末我在自己机器上试了 7B 的量化版本。硬件是一块普通的消费级显卡，量化到 4 位之后显存占用不到五 G。
速度上，输出大概每秒二十个字，读起来不卡。做批量处理完全够，做实时对话会有点顿。
能力上得分场景看。做摘要、做格式转换、做分类，它做得不错，甚至比我预期好；做需要多步推理或者涉及较新知识的，就明显不如当时最好的在线模型。这也必然，参数量差着一个量级，训练数据也有时间截点。
但有几个场景，本地模型的价值是线上模型替代不了的：数据不出内网、调用不需要计费、断网也能用、响应时间稳定。我们做工业场景的，前两条尤其要紧——客户的设备数据不可能往外传。
这个方向上的迭代会很快，我估计用不了半年就会有一批更适合本地跑的版本出来。所以我的判断是：未来的常态不是"用哪个最强"，而是按场景分工——能跑的放本地，难的送上云。