BERT

BERT 是 Google 于 2018 年提出的预训练语言模型，基于 Transformer 编码器架构，通过双向上下文建模捕捉词义。它广泛应用于文本分类、问答、命名实体识别等自然语言处理任务，显著提升了多项基准性能。BERT 的出现推动了预训练-微调范式在 NLP 领域的普及。