jhughes2112/ripple-65b-mlx已验证
发生了什么:2026-11-04 创建并于当日推送的第三方仓库,把 Ripple-65B Preview 移植到 Apple Silicon 的 MLX 运行时:上游服务端依赖 NVIDIA GPU 与 CUDA,该仓库将其接入 mlx-lm 并提供 OpenAI 兼容 serve.py;权重不随仓库分发,从 Hugging Face ricursiveAI/Ripple-65B-Preview 的固定 revision 拉取(129.6 GB,Apache 2.0)。README 给出 q4/q6/q8/f16/BF16 五档的内存占用与精度对照。
技术含义:README 以 5000 个位置、五类文本、全词表、512 token 分块旋转缓存为口径,对照上游 PyTorch float32 参考:f16 同 top-token 率 99.66%、平均 KL 0.00013;q8 为 98.66%、KL 0.00079;q4 降至 89.38%、KL 0.081,作者明确标注「约每 10 次改变一次 top token,不推荐」。解码速度 q8 约 9.0 tok/s、q6 10.6、q4 14.5(单机 M5 Ultra 256GB,且测量时有其他负载)。这组数据把「本地跑 65B 稠密模型」的可行边界具体化:q8 需约 68.8 GB 权重内存,是当前精度/速度的折中点;同时作者自陈 q8 在服务端与直载之间存在 0.104 的最大 log-prob 差异且原因未定,属未解决的正确性缺口。