目录
LN Agg: μ, o
Layer Norm(Layer Normalization)
定义与作用
工作原理
优点
激活函数的实质作用:是调节结果分布,使结果趋于0或1,明确结果吗
归一化的实质作用,先归一化,再能激活码?
MLP权重(Weights)、偏置(Bias)
1. MLP Weights(MLP权重)
2. MLP Bias(MLP偏置)
3. MLP Activation(MLP激活)
4. MLP Projection Weights(MLP投影权重)


首先,我们需要澄清“LN Agg: μ, o”这一表述可能存在一定的误解或混淆,因为在深度学习和机器学习的上下文中,并没有直接对应的标准术语“LN Agg”。不过,我们可以从字面和可能的理解角度来解释,并结合“Layer Norm”来给出答案。