💬 会话详情

根据笔记内容，向量化机制是将文本转换为**高维向量**的过程，核心思想是**将文本映射到向量空间，语义相似的文本在空间中距离更近**。 ### 向量化的优势 - ✅ 捕获**语义信息**（相似的文本向量接近） - ✅ 支持**语义搜索**（余弦相似度匹配） - ✅ 容忍**拼写差异** - ✅ 跨语言理解（多语言模型） ### 主流向量化方法 **传统方法：** - **TF-IDF**：基于词频-逆文档频率，简单快速但无语义理解 - **Word2Vec**：神经网络词向量，捕捉词义但固定维度、无上下文 - **GloVe**：全局词向量，训练快但同样无上下文 **深度学习方法：** - **BERT**（768维）：双向上下文，适合通用文本 - **text-embedding-ada-002**（1536维）：OpenAI高质量商业模型 - **text-embedding-v3**（1024维）：阿里百炼，中文优化、性价比高（**本项目使用**） - **m3e**（768/1024维）：开源、中文优秀，适合本地部署 ### 向量化处理流程 ``` Markdown 笔记 ↓ 提取 frontmatter（元数据） ↓ 切分文本（Chunk） ↓ 调用 Embedding API ↓ 存储到 SQLite（BLOB） ↓ 运行时检索（余弦相似度） ``` ### 项目亮点 本系统的向量化方案具有**低成本、高可用性**特点，适合中小规模知识库： - 使用 **SQLite BLOB** 存储向量，无需专门的向量数据库 - 增量更新机制通过 **MD5 哈希比对**，避免重复向量化，降低成本 - 使用阿里云 DashScope 的 `text-embedding-v3` 模型（1024维），单次调用仅 ¥0.0007 - 1000条向量检索仅需 **2-5ms**

根据笔记内容，我的笔记系统是一个**知识体系页面组织方案**，采用**主导航+标签过滤**的结构，帮助你高效管理和浏览学习笔记。 ### 核心设计理念 系统围绕**对话方式**对笔记进行分类，将内容分为三种主要对话类型： - 🌿 **与大自然的对话**（自然科学、观测数据类内容） - 💻 **与计算机的对话**（编程、数据分析、工具类内容） - 🗣️ **与人类的对话**（学术交流、科普写作类内容） ### 主要功能特点 **1. 入口文档导航** 每个领域（如天文地理、气象学）都有一个入口文档，内部通过标签链接快速跳转到不同对话方式的笔记。 **2. 标签过滤** 在列表页可以实现标签过滤功能，点击标签（如“自然语言”）即可筛选出对应对话方式的所有笔记。 **3. 灵活分类** 一篇笔记可以同时拥有多个标签，支持多角度切入——既可以从“学什么”（领域）进入，也可以从“怎么学”（对话方式）进入。 ### 技术实现 - 使用 `tags` 字段在 Markdown 文件的 frontmatter 中标记笔记类型 - 基于现有 tags 系统，无需大规模修改代码 - 所有内容只存储一次，通过标签自然形成关联 ### 优势总结 - ✅ **符合认知习惯**：先选领域，再看方法 - ✅ **维护成本低**：内容不重复，标签灵活组合 - ✅ **易于扩展**：未来可增加时间、难度等多维度筛选 - ✅ **向后兼容**：不影响现有笔记 如果你想进一步了解某个具体功能（如标签过滤的实现细节、入口文档模板等），我可以为你详细说明！