不同格式的模型介绍
| 模型 | 大小 | 描述
| -------------------- | --------- | ---------------------------
| MiniCPM-V-4 (Q4_K_M) | ~2.19GB | 推荐的质量/大小平衡
| MiniCPM-V-4 (Q4_0) | ~2.08GB | 标准 4-bit 量化
| MiniCPM-V-4 (Q4_1) | ~2.29GB | 4-bit 量化改进版
| MiniCPM-V-4 (Q4_K_S) | ~2.09GB | 4-bit K-quants 小
| MiniCPM-V-4 (Q5_0) | ~2.51GB | 5-bit 量化
| MiniCPM-V-4 (Q5_1) | ~2.72GB | 5-bit 量化改进
| MiniCPM-V-4 (Q5_K_M) | ~2.56GB | 5-bit K-quants 中等
| MiniCPM-V-4 (Q5_K_S) | ~2.51GB | 5-bit K-quants 小
| MiniCPM-V-4 (Q6_K) | ~2.96GB | 非常高的质量
| MiniCPM-V-4 (Q8_0) | ~3.83GB | 最高质量量化
