服务器闲着也是闲着,跑点真东西。
| qwen2.5-1.5b | 通用对话,~26 tok/s,1.9 GB |
| deepseek-r1-1.5b | 带思维链,~25 tok/s,1.9 GB |
| deepseek-r1-7b | 参数更大更聪明,~9 tok/s,2.9 GB(Q2_K 极限量化) |
- 4 核 AMD EPYC 7K62 / 3.7 GB 内存,纯 CPU 推理
- 切换模型时首次要冷加载,需要等十几秒
- DeepSeek 系列会把思考过程折叠在回复上方