更新于 2026/05/14 00:00
Weaviate 新增 /v1/tokenize 端点,多语言 BM25 支持自定义分词与停用词
Weaviate 发布博客详解混合搜索中分词(Tokenization)对 BM25 检索效果的关键影响。核心内容包括:支持自定义停用词表(stopwords)以过滤无意义高频词;提供口音折叠(accent folding)功能,将带重音字符映射为 ASCII 等价字符,提升多语言搜索召回率;新增 /v1/tokenize REST 端点,允许用户直接查看文本被如何切分,便于调试分词行为。
这些能力主要面向多语言场景下的混合搜索(BM25 + 向量搜索),让用户能按业务需求精细控制文本分析流程。
速读
Weaviate 推出 /v1/tokenize 端点与自定义停用词,增强多语言 BM25 混合搜索
相关源 (1)
- Weaviate Blog · 2026/5/14 00:00:00https://weaviate.io/blog/tokenization-text-analysis-weaviate