天明：创建页面，内容为“Transformer 是一种基于自注意力机制的神经网络架构，由 Vaswani 等人在 2017 年论文《Attention Is All You Need》中首次提出。最初用于机器翻译任务，其核心特点是摒弃了循环和卷积结构，通过多头注意力机制并行处理序列数据，解决了长距离依赖问题。Transformer 后续被广泛应用于自然语言处理、计算机视觉、语音识别等领域，成为 BERT、GPT 等主…”

2026-05-22T03:09:10Z

创建页面，内容为“Transformer 是一种基于自注意力机制的神经网络架构，由 Vaswani 等人在 2017 年论文《Attention Is All You Need》中首次提出。最初用于机器翻译任务，其核心特点是摒弃了循环和卷积结构，通过多头注意力机制并行处理序列数据，解决了长距离依赖问题。Transformer 后续被广泛应用于自然语言处理、计算机视觉、语音识别等领域，成为 BERT、GPT 等主…”

新页面

Transformer 是一种基于自注意力机制的神经网络架构，由 Vaswani 等人在 2017 年论文《Attention Is All You Need》中首次提出。最初用于[[机器翻译]]任务，其核心特点是摒弃了循环和卷积结构，通过多头注意力机制并行处理序列数据，解决了长距离依赖问题。Transformer 后续被广泛应用于自然语言处理、[[计算机视觉]]、语音识别等领域，成为 [[BERT]]、[[GPT]] 等主流模型的基础架构。随着预训练范式的兴起，Transformer 推动了[[大语言模型|大规模语言模型]]的发展，并逐步拓展至[[多模态]]任务。

Transformer - 版本历史