Meta Llama 3基礎模型已在AWS正式可用

Amazon Web Services（AWS）宣布，Meta剛剛發布的兩款Llama 3基礎模型Llama 3 8B和Llama 3 70B現已在Amazon SageMaker JumpStart中提供。這兩款模型的上下文長度（Context Length）為8k，能夠支持廣泛的應用案例，並在推論、程式碼生成和指令跟隨等方面有所改進。客戶可以在Amazon SageMaker JumpStart中輕鬆部署Llama 3基礎模型，並運行推論。

Llama 3提供8B和70B兩種參數大小的模型，上下文長度為8k，能夠支持廣泛的應用。Llama 3使用了僅含解碼器的Transformer架構，以及高達128k規模的新型分詞器，極大提升了模型的效能。此外，Meta改進的訓練後處理常式大幅降低了誤拒率，提高了模型回應的一致性和多樣性。

Amazon SageMaker JumpStart提供預訓練的模型、內置演算法和預建構的解決方案，幫助客戶快速開始機器學習專案。Amazon SageMaker JumpStart能夠幫助客戶從廣泛的公開可用基礎模型中進行選擇，並將基礎模型部署到專用的SageMaker實例中，這些實例位於網路隔離的環境，並可以使用SageMaker進行模型訓練和部署。

客戶現在可以在Amazon SageMaker Studio中透過點擊或透過SageMaker Python SDK程式設計方式部署Llama 3模型，還可以利用SageMaker Pipelines、SageMaker Debugger或容器日誌等功能，提升模型效能並實施MLOps控制。此外，該方式部署的模型始終處在AWS的安全環境下，由客戶的VPC（Virtual Private Cloud）控制，以確保資料安全。

Meta Llama 3基礎模型現已在Amazon SageMaker Studio的美東（北維吉尼亞州）、美東（俄亥俄州）、美西（奧勒岡州）、歐洲（愛爾蘭）和亞太（東京）區域提供部署和推論服務。