Hugging Face transformers 现可运行 llama.cpp 的 GGUF 量化模型
Hugging Face transformers 现可在 main 分支高效运行 GGUF,用户用 from_pretrained 加载 Hub 检查点后即可在本机生成。
推荐理由:GGUF 现在能直接进 transformers 做检查和自定义生成,Apple Silicon 上速度接近 llama.cpp。
Hugging Face 开源社区动态:热门模型与数据集、排行榜变化与开源生态的晴雨表。
Hugging Face transformers 现可在 main 分支高效运行 GGUF,用户用 from_pretrained 加载 Hub 检查点后即可在本机生成。
推荐理由:GGUF 现在能直接进 transformers 做检查和自定义生成,Apple Silicon 上速度接近 llama.cpp。