权重

在大型语言模型（LLM）中，权重是神经网络中可学习的参数，通常以浮点数矩阵形式存储，决定了模型对输入数据的响应强度。权重通过大规模训练数据优化，是模型记忆与泛化能力的核心载体。主流 LLM 使用 Transformer 架构，权重数量从数十亿到数千亿不等。权重训练依赖反向传播与梯度下降，训练完成后可冻结或微调。近年来权重共享、量化、剪枝等技术被用于降低部署成本。权重的数值分布与稀疏性直接影响模型推理性能与内存占用。