gpt发表的论文

gpt发表的论文

GPT（Generative Pre-trained Transformer）是一种基于深度学习的自然语言处理模型，它在自然语言理解和生成任务中取得了显著成果。以下是一些关于GPT的重要论文：

1. Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. （2018）

论文标题：Improving language understanding by generative pre-training.

来源：OpenAI.

简介：这篇论文介绍了通过生成式预训练来提高语言理解的方法。

2. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. （2018）

论文标题：BERT: Pre-training of deep bidirectional transformers for language understanding.

来源：arXiv preprint arXiv:1810.04805.

简介：这篇论文提出了BERT模型，一种用于深度双向变换器的预训练方法，用于自然语言理解。

3. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., & Polosukhin, I. （2017）

论文标题：Attention is all you need.

来源：In Advances in neural information processing systems （pp. 5998-6008）