研究者仔细考虑了Transformer模型大小d和其执行计数任务能力之间的依赖性。

可以看到，对于超过d的词表m，精确计数很可能是不可能的任务。

通过实验，研究者支持了这一观察结果。

在这项实验中，任务如下。

考虑文本中描述的两个计数任务，最频繁元素（MFE）和查询计数(OC)。

研究者通过从一组m token中均匀采样长度为n的序列，来生成这些实例。

每个这样的序列用x1，……，xn表示。

预期输出y如下——

在训练和评估期间，研究者会从上述分布中抽取批次。所有情况下的评估均使用了1600个示例。

研究者使用标准架构组件（自注意力、MLP、layer norm等）训练Transformer模型。

他们使用了两层和四个头（理论上可以使用更少，但这种架构的优化速度更快）。

训练使用Adam进行优化，批大小为16，步长为10^-4。训练运行100K步。位置嵌入进行了优化。

为了预测计数y，研究者在最后一层中最后一个token的嵌入之上使用线性投影（即是说，他们没有使用词汇预测）。

训练是通过Colab完成的，每个模型大约需要15分钟，使用标准的GPU。

在实验中，对于d的每个值，研究者都会找到计数开始失败的m值。具体来说，就是计数精度低于80%的m值。

在图2a中可以看出，在两种情况下，阈值确实随d而线性增加，这就研究者们的的理论分析一致。

（a）为计数准确率降至80%以下时的阈值词表

此外，研究者还对经过训练的Gemini1.5，对于词表在计数问题中的中进行了探索。

他们为模型指定了查询计数任务，然后改变序列中使用不同token的数量m，同时将所有元素的预期计数保持为常数c=10.

对于每个m，研究者都使用上下文长度mc。

作为基线，研究者使用相同的序列长度，但二进制序列与查询token的预期计数相匹配。这样，他们就能够估计仅仅归因于词表的错误大小，而非序列长度和计数。

结果如图2b所示，可以看出，增加词表，的确会对性能产生负面影响。

（b）为使用Gemini1.5时的QC任务结果;其中x轴是词表大小，y轴是100次重复的平均绝对误差

结论

总的来说，当模型的维度足够大时，可以通过让Transformer计算输入序列的直方图来轻松完成「计数任务」。对于较小的维度，一层Transformer则无法实现。

理解这些Transformer的局限性对于新架构的开发至关重要。

从某种意义上说，除非显著增加架构的规模，否则Transformer将无法在长上下文中进行任意精确的计数。

这表明在计数任务中，我们可能需要借助于不具有相同限制的工具，例如代码解释器等。