← 返回信息流
更新于 2026/05/25 23:07

llama.cpp 新增 GGUF 回调初始化与内存加载接口

llama.cpp 发布 b9319 版本,核心变更在 ggml 层新增 gguf_init_from_callback 和 gguf_init_from_buffer 两个 API,支持从回调函数和内存缓冲区直接初始化 GGUF 模型,不再依赖文件路径。新接口允许调用方自定义数据源(如网络流、加密存储),同时保持与文件加载一致的 no_alloc 内存布局。

API 要求调用方提供最大预期大小,max_chunk_read 为 0 时等价于 SIZE_MAX,回调函数输出类型改为 void *,偏移量统一为 uint64_t。该改动为嵌入式、移动端和沙箱环境下的模型加载提供了更灵活的入口,降低了 llama.cpp 对底层文件系统的硬依赖,是推理引擎在硬件适配与部署灵活性上的重要演进。

速读

llama.cpp 新增 GGUF 回调与内存缓冲区初始化接口

相关源 (1)