GPT全称是生成式预训练（Generative Pre-trained Transformer）模型，是自然语言处理领域的一种强大工具。GPT系列由OpenAI（人工智能研究组织）提出，目前已经更新到第三代。GPT模型的大规模学习如同我们人类通过阅读大量书籍，从而拥有了广博的知识一样，掌握了自然语言领域的词汇、句法、语意等方面的知识。这使得 GPT 模型可以自动生成文章、问答、翻译等自然语言的任务。
与相对传统的语言模型不同，GPT模型的优点在于可以更好地利用关联性，加深对上下文的理解。采用Transformer架构，邻接小组内的单元进行自注意力调节，从而显著提高了对内容的理解。实验证明，GPT-3模型可以生成比较通顺的英文文章，且在某些自然语言处理任务上的效果优于人类。
