mBERT：多语言 BERT 原始模型详解

一句话理解

mBERT 是 Google 在 BERT 基础上用 104 种语言维基百科联合训练的多语言理解模型，是后续 LaBSE、XLM-R 等跨语言模型的"地基"，也是论文实验③（MLM 置信度）的核心模型。

基本信息

注意：还有一个 uncased 版本 bert-base-multilingual-uncased，不区分大小写。研究一般用 cased 版本，保留大小写信息。

模型架构

与 bert-base-chinese 对比

mBERT 的词表是 104 种语言共享的，因此比单语 BERT 大得多（119K vs 21K），但每种语言分到的"有效容量"相对较少。

核心能力：多语言联合表示

训练方式

mBERT 在 104 种语言的维基百科上联合训练，训练目标与 BERT 完全相同：

1. MLM（掩码语言模型）：遮住 15% 的词，根据上下文预测
2. NSP（下一句预测）：判断两个句子是否连续

关键区别：不同语言的文本会出现在同一个 batch 中，模型被迫学习跨语言的共享表示。

跨语言能力的来源

mBERT 的跨语言能力不是显式训练的，而是涌现出来的：

训练数据：104 种语言的维基百科（混合在一起）
训练目标：MLM + NSP（与单语 BERT 相同）

涌现能力：
  - 不同语言的相似语义 → 向量空间中靠近
  - 但这种对齐不如 LaBSE 精确（没有显式对比学习）

与 LaBSE 的对比

结论： - 需要高质量句向量 → 用 LaBSE - 需要 MLM 预测能力 → 用 mBERT - 两者互补，不是替代关系

在计量语言学中的应用

论文实验③-A：句向量距离（复测）

mBERT 也可用于句向量距离实验，作为 LaBSE 结果的交叉验证：

解读： - 排序一致（da-no < no-sv ≈ da-sv）→ 结论稳健 - mBERT 分辨率更粗（距离差异更大）→ 不如 LaBSE 精细

论文实验③-B：MLM 置信度

mBERT 的 MLM 头可预测被遮住的词，通过计算预测概率分布的信息熵来度量模型对该位置的"确定程度"：

输入："Jeg elsker [MASK]"（挪威语"我爱___"）

mBERT 预测：
  "deg"（你）   → 0.23
  "ham"（他）   → 0.15
  "henne"（她） → 0.12
  ...
  信息熵 = 6.25 bit

实验结果（top-1 置信度）：

解读： - da 熵最低 → 模型对丹麦语最"确定" → 语言内部一致性最高 - sv 熵最高 → 模型对瑞典语最"不确定" → 词汇变化性更大 - 这与语言的历史演化路径一致

使用方法

基本用法（MLM 预测）

from transformers import AutoTokenizer, AutoModelForMaskedLM
import torch

# 加载模型
model_name = "google-bert/bert-base-multilingual-cased"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForMaskedLM.from_pretrained(model_name)

# 准备输入（[MASK] 位置会被预测）
text = "Jeg elsker [MASK]"  # 挪威语"我爱___"
inputs = tokenizer(text, return_tensors="pt")

# 预测
with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits

# 找到 [MASK] 位置
mask_token_index = (inputs.input_ids == tokenizer.mask_token_id)[0].nonzero(as_tuple=True)[0]
mask_logits = logits[0, mask_token_index]

# 取 top-5 预测
top_k = torch.topk(mask_logits, k=5)
for i, (score, token_id) in enumerate(zip(top_k.values, top_k.indices)):
    token = tokenizer.decode([token_id])
    print(f"  {i+1}. {token} (置信度: {torch.softmax(mask_logits, dim=-1)[token_id]:.4f})")

句向量编码

from transformers import AutoTokenizer, AutoModel
import torch

tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-multilingual-cased")
model = AutoModel.from_pretrained("google-bert/bert-base-multilingual-cased")

# 取 [CLS] 向量作为句向量
text = "Jeg elsker deg"
inputs = tokenizer(text, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
    cls_vector = outputs.last_hidden_state[:, 0, :]  # [CLS] 位置
    mean_vector = outputs.last_hidden_state.mean(dim=1)  # 平均池化

print(f"CLS 向量维度: {cls_vector.shape}")  # (1, 768)

提示：mBERT 的句向量质量不如 LaBSE，因为 mBERT 没有经过句向量专项训练。如需高质量句向量，优先使用 LaBSE 或 Sentence-BERT。

支持的语言（部分）

mBERT 覆盖 104 种语言，包括：

完整列表见 HuggingFace 模型卡

适用场景

相关笔记

• LaBSE：见 LaBSE：跨语言句向量编码器详解
• bert-base-chinese：见 bert-base-chinese：中文 BERT 原始模型详解
• 理解式模型综述：见 理解式预训练语言模型综述（口令访问）
• 预训练模型全景：见 预训练语言模型全景：三大阵营与代表模型

📝 创建：2026-09-29