根据笔记内容,向量化机制的核心是将文本转换为**高维向量**,从而捕获语义信息,实现语义搜索和跨语言理解。
**主要优势:**
- ✅ 捕获**语义信息**(相似的文本向量接近)
- ✅ 支持**语义搜索**(余弦相似度匹配)
- ✅ 容忍**拼写差异**
- ✅ 跨语言理解(多语言模型)
**核心思想:** 将文本映射到向量空间,语义相似的文本在空间中距离更近。
**主流向量化方法:**
1. **传统方法:** TF-IDF、Word2Vec、GloVe(简单快速,但无语义理解或缺乏上下文)
2. **深度学习方法:** BERT(768维,双向上下文)、text-embedding-ada-002(OpenAI,1536维)、text-embedding-v3(阿里百炼,1024维,中文优化,本项目使用)、m3e(开源中文优秀)
**本项目选择:** 阿里云百炼 `text-embedding-v3`(1024维,¥0.7/百万 token,API 调用稳定)
**向量化处理流程:**
1. 提取 frontmatter(元数据)
2. 切分文本(Chunk)
3. 调用 Embedding API
4. 存储到 SQLite(BLOB)
5. 运行时检索(余弦相似度)
**方案亮点:** 低成本、高可用性,使用 SQLite BLOB 向量存储,无需专门的向量数据库,支持增量更新,毫秒级检索。
以上内容来源于笔记《RAG向量化机制详解》。如有更具体的问题,欢迎继续提问!
📚 参考笔记:
[{"title": "RAG向量化机制详解", "similarity": 0.7288923263549805}, {"title": "RAG向量化机制详解", "similarity": 0.712888240814209}, {"title": "Ping AI上下文记忆功能实现", "similarity": 0.6874420642852783}]