本地大模型 · 110

检测中… — tok/s · 0 tokens
服务器闲着也是闲着,跑点真东西。
qwen2.5-1.5b通用对话,~26 tok/s,1.9 GB
deepseek-r1-1.5b带思维链,~26 tok/s,1.9 GB
deepseek-r1-7b参数更大更聪明,~9 tok/s,2.9 GB(Q2_K 极限量化)
  • 4 核 AMD EPYC 7K62 / 3.7 GB 内存,纯 CPU 推理
  • 切换模型时首次要冷加载,需要等十几秒
  • DeepSeek 系列会把思考过程折叠在回复上方
  • 对话保存在本机浏览器里,刷新或切桌面模式不会丢