近年來自然語言處理(Natural Language Processing；NLP)興起利用預訓練(pre-training)架構，來產生具廣泛語言認知能力的NLP語言模型(language model)，由OpenAI於2020年5月所發表的第三代基於轉換器(transformer)架構的生成式預訓練(Generative Pre-trained Transformer；GPT) NLP語言模型GPT-3，是目前規模最大的跨領域通用NLP語言模型，藉由提供應用程式介面(Application Programming Interface；API)，已大幅提升開發NLP應用的便利性，可望盡早實現以自然語言作為人機溝通基礎的目標，然OpenAI與微軟(Microsoft)的合作關係對NLP技術壟斷及對AI產業的影響程度值得持續觀察。
預訓練NLP語言模型自2018年初問世以來，隨即成為該領域的發展主流。時至今日，預訓練NLP語言模型的演算法差異不大，但其訓練所需語料(corpus)數據及模型參數(parameter)規模卻與日俱增。
日前由OpenAI發表的GPT-3 NLP語言模型已具有1,750億個參數規模，其廣泛通用性已可省去典型預訓練架構的微調(fine-tuning)步驟，同時也降低NLP應用發展過程中對於標註數據的依賴。OpenAI基於AI安全性與商轉需求，將不會公開GPT-3原始碼，而透過API形式開放業界使用，將可增加NLP技術的易用性，降低一般企業或個人用戶開發NLP應用的進入門檻。
值得注意的是，OpenAI為滿足發展GPT-3龐大語言模型所需的可觀運算資源，已於2019年轉型成立營利機構，並獲得微軟獨家投資，微軟也於日前宣布取得GPT-3獨家技術授權。DIGITIMES Research認為，儘管GPT-3未來發展仍須面臨AI倫理及商轉挑戰，然其跨領域易用性可望加速NLP技術普及，而微軟是否因取得GPT-3技術而壟斷NLP發展，對於AI技術發展影響性可持續追蹤。
