LaBSE：跨语言句向量编码器详解

一句话理解

LaBSE 是一个"句子→向量"转换器：输入任意语言的句子，输出 768 维向量；109+ 种语言的同义句在向量空间中彼此靠近（"我爱你"和"I love you"余弦相似度 ≈ 0.93）。

基本信息

论文发布平台：ACL Anthology 是国际计算语言学学会（ACL）的论文数字档案馆，收录 ACL/EMNLP/NAACL 等 NLP 顶会历年论文，开放获取。

模型发布平台：Kaggle 是 Google 旗下的数据科学平台，提供数据集、ML 竞赛与免费算力。名字来自日语"掛け算"（kakesan，乘法），寓意数据科学的组合效应。2010 年由 Anthony Goldbloom 创立，2017 年被 Google 收购。LaBSE 原发布于 TensorFlow Hub，该平台已于 2023 年 11 月整体迁入 Kaggle Models；HuggingFace 上的版本是社区将 TensorFlow 权重转为 PyTorch 格式的移植版。

目录

• 为什么需要研究句向量？
• 名称解读
• 模型架构
• 论文核心内容
• 输出形式与能力边界
• 核心能力：跨语言语义对齐
• 与 mBERT、bert-base-chinese 的对比
• 使用方法
• 在计量语言学中的应用
• 适用场景
• 概念串联：从词向量到 LaBSE
• 相关笔记

为什么需要研究句向量？

句向量的核心价值

计算机不认识文字，只认识数字。把句子的"意思"编码成一个向量（一串数字），就可以用数学运算衡量两句话的意思有多像：

"我爱猫"      → [0.82, 0.13, -0.45, ...]  (768维)
"我养了一只猫"  → [0.80, 0.15, -0.43, ...]  ← 向量很接近（同义）
"今天天气好"   → [-0.31, 0.67, 0.22, ...]  ← 向量很远（无关）

句向量的典型应用

为什么 BERT 原始句向量不好？

BERT 的预训练目标（MLM 完形填空 + NSP 下一句预测）没有显式训练模型产出好的句向量：

Sentence-BERT（Reimers & Gurevych, EMNLP 2019）首次通过孪生网络 + 三元组损失专门训练 BERT 产出好的单语句向量，证明了句向量质量可以大幅提升。

BERT vs mBERT vs LaBSE：三代句向量对比

BERT（单语）：
  "我爱猫" → 向量 A
  "I love cats" → 报错，不懂英文以外的语言 ❌

mBERT（多语言）：
  "我爱猫" → 向量 A
  "I love cats" → 向量 B
  但 A 和 B 离得很远 ❌ （按语言分帮派，不按意思分）

LaBSE（跨语言对齐）：
  "我爱猫" → 向量 A
  "I love cats" → 向量 A'
  A ≈ A' ✅ （按意思对齐，不按语言）

句向量 vs 分类：两种不同的 BERT 用法

前者用 BERT 做"选择题"（选类别），后者追求让 BERT 做"连线题"（把同义句连起来）。

名称解读

LaBSE = Language-agnostic BERT Sentence Embedding，拆开看每个词就是在描述"这是个什么东西、能干啥"：

“Sentence Embedding”算创新吗？

“把句子变成向量”不是新概念，很早就有 Doc2Vec、Skip-Thought、InferSent、Universal Sentence Encoder、SBERT 等。而且原生 BERT 直接取 [CLS] 或平均 token 向量做句向量，效果甚至不如平均 GloVe。

LaBSE 的创新不在于“句子→向量”这个动作，而在于：

• 多语言统一向量空间：109+ 种语言共享同一向量空间
• 翻译排序目标：用 dual-encoder + additive margin softmax 让翻译对靠近
• MLM + TLM 预训练：同时学习单语理解和跨语言对齐

“Language-agnostic” = 什么语言都行吗？

不是“任意语言无脑通吃”，而是：

• 在训练覆盖的 109+ 种语言内，同义句会被映射到同一向量空间
• 没见过的稀有语言 → 效果会掉
• 低资源语言 → 能凑合，但不如高资源语言

准确意思是：模型不靠语言 ID 来切换行为，也不要求你告诉它"这是中文/英文"；它用一个共享编码器把不同语言塞进同一个语义空间。不是"懂所有语言"，而是"不按语言分帮派"。

合起来一句话：LaBSE 是用 BERT 架构训练出来的、跨语言通用的句子向量模型；不同语言的同义句，在它的向量空间里会彼此靠近。

LaBSE 在 BERT 模型家族中的位置

LaBSE 横跨了 BERT 家族的两个维度（用途 + 语言），可以拆成三个组成部分：

LaBSE = Sentence-BERT 的训练方法
     + mBERT 的多语言底座
     + 跨语言翻译对训练数据

BERT 模型家族
├── 按大小 → BERT-base / DistilBERT / TinyBERT / MobileBERT ...
├── 按用途（句向量）
│   ├── Sentence-BERT → 单语句向量（英文）
│   ├── LaBSE → 跨语言句向量（109+ 语言）  ← 在这里
│   └── sentence-transformers 库 → 各种预训练句向量模型
└── 按语言 → 单语言版 / 多语言版 / 中文增强版

💡 一句话定位：Sentence-BERT 解决了"BERT 句向量差"的问题，LaBSE 在此基础上进一步解决了"跨语言句向量无法比较"的问题。

例如：
  "我爱自然语言处理"      ─┐
  "I love NLP"            ─┼─ 三句话的向量在 LaBSE 中靠得很近
  "私はNLPが好きです"    ─┘   （语义相同，不同语言）

在理解式模型谱系中的位置：

NLU（理解）
  └─ Encoder-only（BERT）
       └─ 把整句压成向量 → Sentence Embedding
            └─ 多语言版 → LaBSE

LaBSE 自己不生成句子，它做的是：把句子"理解"成一个向量，让不同语言的句子可以比较。

模型架构

与 BERT/mBERT 的关系

BERT（单语）
  ↓ 扩展词表
mBERT（104 语言，通用理解）
  ↓ 翻译对对比学习微调
LaBSE（109 语言，跨语言句向量对齐）

LaBSE 不是全新架构，而是在 mBERT 的基础上加了一个投影层（Dense layer），并通过翻译对的对比学习重新训练，使不同语言的相同语义在向量空间中靠近。

论文核心内容

论文：Fangxiaoyu Feng, Yinfei Yang, Daniel Cer, Naveen Arivazhagan, Wei Wang. Language-agnostic BERT Sentence Embedding. ACL 2022, pp. 878–891. PDF | 视频

作者背景

团队基因：Google Translate + Google Research 联合——Feng/Wang 侧重翻译系统与数据，Yang/Cer 侧重句向量表示（Yang 和 Cer 是 Universal Sentence Encoder 核心作者），Arivazhagan 是多语言 NMT 专家。LaBSE 恰好需要"翻译系统"与"句向量"两方面能力的交叉。

研究问题

BERT 在单语句向量上表现很好，但跨语言句向量尚未被系统探索。论文目标：如何让不同语言的同义句在向量空间中靠近。

方法：四种技术组合

关键发现

• 引入预训练多语言模型后，所需平行训练数据减少 80%
• 最终模型在 Tatoeba 上 112 语言双语文本检索准确率达 83.7%（LASER 仅 65.5%）
• 用 LaBSE 从 CommonCrawl 挖掘的平行数据训练 NMT 模型，中英/中德翻译质量有竞争力

与 LASER 的对比

输出形式与能力边界

输出流程

输入："我爱自然语言处理"
         ↓
LaBSE 编码器（Transformer Encoder）
         ↓
每个 token 都有一个 768 维向量
         ↓
池化（Pooling）→ 整句变成一个 768 维向量
         ↓
输出：[0.12, -0.03, 0.88, ..., 0.41]  （768 个数）

最终拿到手的就是这一个 768 维向量，代表整句话的语义。

能做什么、不能做什么

实际使用时基本就是：

sentence = "我爱自然语言处理"
vector = model.encode(sentence)  # → [768维向量]

核心能力：跨语言语义对齐

工作原理

LaBSE 的训练目标是翻译排名损失（Translation Ranking Loss）：

训练数据：翻译句子对（如 "我爱你" ↔ "I love you"）

目标函数：
  - 翻译对的向量 → 余弦相似度高（靠近）
  - 非翻译对的向量 → 余弦相似度低（远离）

实测结果（本机验证）

使用本地部署的 LaBSE 模型（sentence-transformers 库）运行：

跨语言同义句对：

跨语言无关句对：

结论： - 欧美语言翻译对：相似度 > 0.93（极高） - 北日耳曼三语：相似度 0.75~0.79（较高，可用于距离度量） - 无关句对：< 0.30（明显分离）

与 mBERT、bert-base-chinese 的对比

LaBSE vs mBERT：关键区别

mBERT 的平行句向量有一个经典问题：按语言聚类，不按意思聚类。即“我爱你”的向量和“丹麦语”的向量更近（都是中文），而不是和“I love you”更近。

LaBSE 通过翻译排序训练解决了这个问题：按意思聚类，不按语言聚类。即“我爱你”和“I love you”的向量更近，尽管它们属于不同语言。

一句话：mBERT 是“多语言理解模型”，LaBSE 是“多语言句向量模型”。

三者对比总览

使用方法

基本用法（句向量编码）

from sentence_transformers import SentenceTransformer

# 从本地路径加载（推荐，无需联网）
model = SentenceTransformer(r"d:\BYP\Project\BYP\BYPsNotes\extern\attachments\models\BERT\LaBSE")

# 编码句子
sentences = ["我爱你", "I love you", "今天天气很好"]
embeddings = model.encode(sentences)

print(embeddings.shape)  # (3, 768)

计算跨语言相似度

from sklearn.metrics.pairwise import cosine_similarity

emb_zh = model.encode(["我爱你"])
emb_en = model.encode(["I love you"])

similarity = cosine_similarity(emb_zh, emb_en)[0][0]
print(f"跨语言相似度: {similarity:.4f}")  # 约 0.93

在计量语言学中的应用

论文实验①：北日耳曼三语句向量距离

LaBSE 用于度量丹麦语（da）、挪威语（nob）、瑞典语（sv）三种近缘语言的语义距离：

实验流程：
1. 准备 150 组三语平行句（Tatoeba 语料）
2. 用 LaBSE 分别编码三个语言的句子 → 768 维向量
3. 计算每对语言的余弦相似度
4. 距离 = 1 - 相似度中位数

实验结果：

解读： - da-no 距离最小 → 符合历史语言学事实（挪威书面语源自丹麦语） - 三对距离梯度清晰 → 证明 LaBSE 能捕捉近缘语言的细微差异

适用场景

与 SBERT 的区别

一句话：SBERT 是单语句向量模型，LaBSE 是多语言跨语言句向量模型。

概念串联：从词向量到 LaBSE

词向量（Word2Vec）：词 → 向量（每个词一个固定向量，不考虑上下文）
  ↓
句向量（Sentence Embedding）：句子 → 向量（不是新概念，但要做好很难）
  ↓
BERT：出 token 向量，不直接等于好句向量
  ↓
mBERT：多语言版 BERT，能理解多语言（但句向量按语言聚类）
  ↓
LaBSE：在 mBERT 基础上，专门训成“跨语言句向量器”
       （句向量按意思聚类，不按语言聚类）

• Language-agnostic：不按语言分开关，同义不同语言句子进同一个向量空间
• 109+ 语言：覆盖很多，但不是魔法，低资源/未覆盖语言会退化
• LaBSE 不生成句子，它做的是：把句子“理解”成一个向量，让不同语言的句子可以比较

相关笔记

• bert-base-chinese：见 bert-base-chinese：中文 BERT 原始模型详解
• 理解式模型综述：见 理解式预训练语言模型综述（口令访问）
• 预训练模型全景：见 预训练语言模型全景：三大阵营与代表模型

📝 创建：2026-09-29