← 返回信息流
更新于 2026/05/21 19:52

llama.cpp 新增 Carbon-3B 混合 DNA 分词器支持

llama.cpp 发布 b9270 版本,核心变更为新增 HybridDNATokenizer 支持,适配 HuggingFaceBio/Carbon-{500M,3B,8B} 系列模型。

该分词器基于 Qwen3-4B-Base 的 BPE,特殊之处在于对 <dna>...</dna> 区域内的序列按固定 6-mer 分块,非 ACGT 碱基映射为 <oov>,尾部不足 6-mer 时右补 'A'。实现上采用内联方式将 DNA 分词逻辑直接放入 llm_tokenizer_bpe_session,并添加了 12 组 .inp/.out 测试用例覆盖单 6-mer、多 6-mer、大小写、无效碱基、混合文本+DNA 等场景。

对生物信息学推理场景而言,llama.cpp 首次支持了领域专用分词器,为基因组学大模型在本地 CPU/GPU 上运行扫清了 tokenizer 层面的障碍。

速读

llama.cpp 新增 HybridDNATokenizer,支持 DNA 序列的 6-mer 分词

相关源 (1)