人工智能 笔记

• 模型精度与质量：FP16 vs INT4 实际差异有多大 模型量化 模型量化 INT4 FP16
  INT4 量化后模型质量会下降多少？从 Benchmark 数据、任务类型差异、Colab 实测三个维度回答这个问题 - 2026-10-07
• 中文分词工具全景：从 jieba 到 LTP 的选型与对比 理解式模型 中文分词 NLP预处理 jieba
  系统介绍中文分词的主要工具（jieba、pkuseg、LTP、HanLP、THULAC），对比分词精度、速度、依赖规模，并说明中文分词与 BERT WWM 全词遮盖的关系。 - 2026-10-04
• 模型权重文件与参数计算：从safetensors到参数量拆解
  模型权重文件与参数计算：从 safetensors 到参数量拆解 无论是理解式 BERT（110M）、生成式 DeepSeek（1.5B），还是序列到序列 T5，模型的全部"知识"都存储在一个 mod... - 2026-10-02
• 词向量与句向量：从逐字表示到整句表示
  词向量与句向量：从逐字表示到整句表示 词向量是每个字一个向量，句向量是每个句子一个向量。句向量是从词向量"聚合"来的，词向量是句向量的"原材料"。 一、核心区别 词向量 (Word Embedding... - 2026-10-02
• 中文BERT三变体：bert-base-chinese、MacBERT与RoBERTa-wwm-ext 理解式模型
  三个主流中文BERT变体的技术特点、下载方法、论文引用与主要区别，为领域问答模型选型提供依据 - 2026-09-30
• LaBSE：跨语言句向量编码器详解 理解式模型 LaBSE 跨语言 句向量
  LaBSE（Language-agnostic BERT Sentence Embedding）是 Google 2022 年发布的跨语言句向量编码模型，支持 109 种语言，能将不同语言的相同语义映射到同一向量空间的相近位置，是跨语言检索与计量语言学的核心工具 - 2026-09-29
• mBERT：多语言 BERT 原始模型详解 理解式模型 mBERT 多语言 BERT
  mBERT（multilingual BERT）是 Google 2018 年发布的多语言预训练 BERT 模型，支持 104 种语言，是 LaBSE、XLM-R 等后续跨语言模型的基础，在计量语言学中用于 MLM 置信度实验 - 2026-09-29
• 理解式预训练语言模型综述：从 BERT 到跨语言句向量编码器 理解式模型 综述 理解式模型 Encoder-only
  以综述论文的形式系统梳理理解式（Encoder-only）预训练语言模型的完整演进——涵盖 BERT 家族架构革新、多语言理解模型的跨语言能力扩展、句向量模型从 [CLS] 到对比学习的范式跃迁三条主线，并讨论在文本分类、跨语言检索与计量语言学中的应用 - 2026-09-28
• 理解式模型专题研究：从 BERT 到跨语言编码器的全景梳理 理解式模型 理解式模型 Encoder-only BERT
  系统梳理理解式（Encoder-only）预训练语言模型的完整家族——从原始 BERT 到多语言跨语言模型、句向量专用模型、轻量蒸馏模型，围绕两篇论文的实际使用场景（计量语言学 + BERT 知识问答），对比各模型的适用性、优劣势与选型依据 - 2026-09-28
• Jev模型：不做决策之外的任何事 理解式模型 AI Jev TypeSafe
  TypeSafe AI 发布的 System One 决策模型 Jev，不生成文本、只做结构化判断，比 LLM 快 200 倍、便宜 400 倍的"决策层"是什么 - 2026-09-19
• Q/K/V 三向量：Transformer 的核心机制 Transformer Q/K/V 注意力机制
  深入理解 Query、Key、Value 三个向量的生成过程、分工逻辑和计算机制，这是掌握 Transformer 注意力机制的关键一步 - 2026-09-18
• 预训练范式：从 BERT 到大模型时代 预训练 微调 BERT
  理解"预训练+微调"两阶段范式如何彻底改变 AI 行业，从 2018 年 BERT 发布到 GPT-4 时代的完整演进脉络 - 2026-09-18
• Transformer 模型架构图详解 Transformer 注意力机制 神经网络架构
  逐层拆解 Transformer 论文 Figure 1 的经典模型架构图，包括编码器、解码器、自注意力、交叉注意力等核心组件 - 2026-09-16
• 大模型发展简史 大模型 Transformer GPT
  从 2017 年 Transformer 论文到 2026 年大模型百花齐放，梳理 AI 大模型的关键节点、架构之争与"简单架构为何胜出"的核心洞察 - 2026-09-15
• Transformer 拆解理解 Transformer 注意力机制 序列数据
  将 Transformer 的定义拆解为"注意力机制"、"序列数据"、"神经网络架构"三部分逐一理解，建立对 Transformer 本质的直觉认知 - 2026-09-15
• bert-base-chinese 词表解剖：21,128 个词条里都有什么 理解式模型 AI BERT WordPiece
  用 Python 解析 bert-base-chinese 的 tokenizer.json，统计词表组成、验证繁简体处理、列出中文单字样本，实证 WordPiece 对中文退化为逐字切分 - 2026-09-14
• BERT 推理过程详解：第 2 步 从数字到答案 理解式模型 AI BERT 推理
  承接分词笔记，讲解 BERT 分类模型如何将 token ID 转为 logits，再通过 softmax、argmax 得到类别编号，最后查表返回预设答案 - 2026-09-14
• 大模型推理优化关键技术及应用实践研究报告（2026年） 研究报告 大模型推理 推理优化 PD分离
  信通院《大模型推理优化关键技术及应用实践研究报告（2026年）》解读：模型-引擎-系统三级优化体系、PD/AF 分离架构、KV Cache 多级存储，以及 Mooncake/Dynamo/UCM 与 DeepSeek/MegaScale-Infer/Step-3 等工业级方案与五大行业落地案例 - 2026-09-14
• BERT 的 12 层 Transformer：每层在做什么？ 理解式模型 AI BERT Transformer
  把 BERT 的 12 层 Transformer 类比为 12 位专家流水线，逐层说明从字面意思到词组含义再到句子意图的表征递进 - 2026-09-12
• BERT 分词过程详解：第 1 步 从文字到数字 理解式模型 AI BERT 分词
  拆解 BERT 分词全流程：切分为单字、查词表转 ID、填充到固定长度后送入模型，说明模型只处理数字不处理文字 - 2026-09-12