转移学习，或一种在数据丰富的任务上先对AI模型进行预训练，然后再对另一任务进行微调的技术，已成功地应用于从机器人到对象分类的领域。但是它在自然语言处理(NLP)子领域中具有特别的希望，在自然语言处理(NLP)子领域中，它引起了各种各样的基准测试方法。为了进一步发展，Google的研究人员开发了一个新的数据集-Colossal Clean Crawled Corpus-以及一个统一的框架和模型，称为Text-to-Text Transformer将语言问题转换为文本到文本格式。他们说，在使用有史以来提交给通用语言理解评估(GLUE)基准的最大模型之一进行的实验中，他们在基准上获得了最新的结果，涵盖了问题解答，文本分类等等。

一般而言，训练模型以执行NLP任务涉及确保模型开发出使其能够“理解”文本的知识-知识的范围从低级(例如单词的拼写或含义)到高级(例如大号太大，无法容纳大多数背包。Google小组研究了一种方法，该方法将文本作为输入并产生新的文本作为输出，并将相同的目标，训练过程和解码过程应用于所考虑的每个任务。

他们编写的通用知识训练语料库中的片段(即上述的“巨大的干净爬行语料库”)来自Common Crawl项目，该项目每个月从网络上刮掉大约20 TB的英文文本。为了过滤出乱码，样板菜单和错误消息，它们仅保留以终端标点符号(句点，感叹号，问号或结束引号)结尾的文本行，同时删除带有明显填充文本和重复项的页面。所得到的集合比大约用于预训练的大多数数据集大了一个数量级，约为750 GB。

研究人员在语料库上训练了几种基于Transformer的模型，以评估其文本到文本方法的有效性。对于初学者来说，《变形金刚》是一种新型的神经架构，在2017年由Google AI研究部门Google Brain的科学家合着的论文中引入。与所有深层神经网络一样，它们包含排列在相互连接的层中的神经元(数学功能)，这些层传输来自输入数据的信号并缓慢调整每个连接的突触强度(权重)。这就是所有AI模型提取特征并学习进行预测的方式，但是Transformers的独特之处在于，每个输出元素都连接到每个输入元素。它们之间的权重是动态，有效地计算的。

最大的模型包含多达110亿个参数，或进行预测时所需的模型内部配置变量。该小组说，他们对各种语言任务进行了微调，并在GLUE和阅读理解基准SQuAD和CNN / Daily Mail上取得了最新平均分数(89.7)。并在SuperGLUE上进行了测试，该软件包含的任务超出了当前NLP系统的范围，但可以由受过大学教育的演讲者解决，它以89.8的得分几乎与人类表现相当。

团队承认，他们的模型在诸如翻译之类的语言任务中不尽人意，他们将此归咎于特定任务数据的相对缺乏和培训规模的不足。因此，他们提倡研究使用较小的模型实现更强性能的方法，以便将转移学习应用于影响最大的地方。

该论文的合著者写道：“我们的研究得出的令人惊讶的但重要的结果是，较大的模型往往表现更好。”“用于运行这些模型的硬件一直在变得越来越便宜，功能越来越强大，这一事实表明，扩大规模可能仍然是实现更好性能的有前途的方法[Sutton，2019]。但是，在某些应用程序和场景中，总是存在使用较小或较便宜的模型有帮助的情况，例如在执行客户端推断或联合学习时。”