OpenAI和Azure OpenAI模型攻略&計費一次看懂 智慧應用 影音
DForum0705
COMPUTEX

OpenAI和Azure OpenAI模型攻略&計費一次看懂

  • 張丹鳳台北訊

OpenAI和Azure OpenAI一樣嗎?模型選擇攻略&計費一次看懂,建立商業級AI流程。邁達特
OpenAI和Azure OpenAI一樣嗎?模型選擇攻略&計費一次看懂,建立商業級AI流程。邁達特

由微軟投入銀彈的「OpenAI」,與微軟自身的「Azure OpenAI」到底有何不同?企業IT智能化最佳夥伴-MetaAge邁達特,透過本文解說如何以Azure OpenAI作為基本盤,延伸這些企業級AI應用。以及,用量管理&模型管理可以怎麼做?「從體驗到驗證」Azure OpenAI,企業還可以獲得哪些「從頭到尾」的導入協助?

OpenAI和Azure OpenAI有何不同?

邁達特提供Azure OpenAI導入4道工法,全程陪伴企業建立商業級AI流程。邁達特

邁達特提供Azure OpenAI導入4道工法,全程陪伴企業建立商業級AI流程。邁達特

OpenAI和Azure OpenAI一樣嗎?首先,Azure OpenAI是微軟Azure雲平台的「服務」,OpenAI則是微軟近年投資的一家「公司」。Azure OpenAI並非OpenAI API,不過,兩邊的模型一模一樣。當由微軟金援的OpenAI發布新模型時,身為授權夥伴的微軟,也會同步取得這些模型,並由微軟的RD團隊以1~2週的時間處理好安全性、可用度等SLA事宜後,再發布新版Azure OpenAI服務供企業使用。

基於資料外洩風險,全球目前有不少政府機關、民間企業宣布禁用OpenAI的ChatGPT。而微軟的Azure OpenAI、Copilot等「企業級服務」則持續推出,主要差異在於微軟的AI服務可滿足企業對SLA、資安、法遵等需求,可消除不少企業主的疑慮。

Azure OpenAI是「專為企業而生」的AI服務

儘管OpenAI也朝向推出「商務版」發展,然而Azure OpenAI是更直接地「Born for Enterprise」。目前,OpenAI無法提供在地化技術支援;也無法即時排除問題。以及,在資安控管與防護上,顯然是Born for Enterprise的Azure OpenAI能做得更全面且到位。

綜觀而言,Azure OpenAI可以讓企業用戶在更合規、更安全的前提下,使用GPT-3及其衍生模型。倘若企業需要更高的安全性、存取管理、網路傳輸、數據保護、擴展容量,以及不容忽視的在地化技術支援、即時的問題排除,Azure OpenAI和Microsoft指定的台灣代理商,都可攜手提供企業用戶上述保障。

Azure OpenAI如何計費?模型怎麼選,才不會爆預算?

自然語言模型的運算是以「Token」為單位,750至800個單字約能換算成1000個 Tokens。微軟在Azure OpenAI的使用計費,是以1000個Tokens為一個單位作計費,需要計費的項目包括「一般使用」、「Fine Tune」 與 「Hosting」。

「一般使用」是以Tokens量做計算,而「Fine Tune」 與 「Hosting」 則是以小時做計算。費用多寡以模型大小為區分,其中以Davinci為最高價;Ada則為最低價,依據使用用途選擇最適用的模型。如欲深入了解模型有哪些(Ada、Babbage、Curie、Davinci)及其性能差異,可另開新視窗閱讀此文

以下舉例說明如何評估費用:

假設某家電信業者客服App每月有20萬活躍客戶,每人每月平均10次互動,每次總計300字數(英文)。模型每週Fine tune一次30小時。以此案例作計算,使用模型為Ada,每月總費用大約為2755.7美元。

算式如下:
( 200,000 × 10 × 300 × 1.33 ) ÷ 1000 × $0.0004 + ( 30 × 4 × $20 ) + ( 730 × $0.05 ) = 319.2 + 2400 + 36.5 = 2755.7/每月

IT智能化最佳夥伴-MetaAge邁達特建議:在使用模型時,以使用較低效能的模型為優先。若此模型不符合期待,再往上調整。除了樽節成本,亦能符合使用者的期待。另外,模型管理&流量管理對企業而言至關重要,因此在MetaAge邁達特的Azure OpenAI導入服務中,我們為企業提供了模型管理與流量管理的建構環節。

從體驗到驗證!邁達特4道工法,提供「從頭到尾」導入協助

作為微軟指定的台灣代理商,MetaAge邁達特具備專業團隊,可為企業提供Azure OpenAI「從頭到尾」的全程導入協助。透過邁達特協助僅需幾個步驟,即可展開Azure OpenAI應用旅程,包括建立基礎Know-How,接續進行Fine Tune,經過POC後再正式Go Live!

針對以下每個步驟階段,IT智能化最佳夥伴- MetaAge邁達特都可提供豐富且專業的顧問與支援服務,提供在微軟最高安全保護級別之下,正式部署AIGC應用。

1. 建立Azure OpenAI基礎知識
2. 申請Azure OpenAI引導體驗
3. 學習Azure OpenAI的API Fine Tune方式
4. 最終進入商業流程

在申請階段,我們會整理企業的需求,協助設計應用流程。到了Fine Tune階段,會引導熟悉API操作、模型優化並建構流程管理機制,同時展開概念驗證(POC)。到了Go Live階段,則會協助驗證前一階段發起的POC成果。最後,在正式進入商業流程前,我們會協助建構模型管理及流量管理機制,因為這些環節對企業而言至關重要。

如果企業已有微軟帳戶,可授權MetaAge邁達特成為雲端解決方案提供者,進而開啟Azure Plan、取得Azure Subscrition ID。若沒有微軟帳戶,則可填寫申請表,由MetaAge邁達特協助建立微軟帳戶、啟動Azure Plan,再取得Azure Subscrition ID。

結合產線數據,Azure OpenAI如何為製造業賦予新靈魂?

在垂直產業應用面,則不得不提「製造業」如何透過Azure OpenAI來賦予新靈魂,其關鍵就在於「結合產線數據」。將Azure OpenAI結合產線資料,無需受限於時間或空間,即能產生更多應用。舉例而言,從前在推動自動化操作的過程中,傳統做法是仰賴Programmer撰寫大量程式,繼而讓使用者能透過系統介面下達條件,並根據條件執行後續處理,達到近似於RPA的目標與效果。

現在,有了Azure OpenAI,有沒有可能透過Azure OpenAI幫忙產生所需的自動化程式?答案是肯定的。舉例來說,從前SAP團隊要花錢請顧問協助下Query條件,進而撰寫程式,深究其因,在於顧問非常熟悉SAP的「長相」。其實Azure OpenAI也有能力像顧問一樣,理解SAP的長相和Schema,再根據使用者下達的需求條件,幫忙產生Query或是SQL敘述句(Statement),大幅提升程式開發效率。

關於Azure OpenAI實例分享,你還可以知道更多

全球使用Azure OpenAI的企業應用實例正不斷新增。如Trelent是專門編寫程式碼、協助客戶解決問題的公司,為了避免資訊外流,以及基於安全性,Trelent採用了微軟Azure OpenAI的服務。除了生成程式碼之外,該公司也屢屢搭配運用Azure平台上其他功能,使其回應客戶的時間從1.3秒加快為0.75秒,有效提升工作效率,也讓工程師將心力集中於處理核心事務。

在客服支援情境方面,則有企業利用Azure OpenAI整理客戶的提問,且把公司產品內容融入GPT模型,加速為客戶推薦產品。

此外,Farmlands公司則採用Dynamics 365進行客戶聯絡;後來加入Azure OpenAI服務後,從客戶聯絡資訊提取關鍵字、短語及傳遞的情緒價值,使客服人員能夠快速理解客戶想表達的問題,亦把此功能開放給客戶,便於客戶在系統上直接查看歷次問答結果,以掌問題解決進度,從中有效提升客戶滿意度。

IT 智能化最佳夥伴MetaAge邁達特 — Microsoft指定的台灣代理商

MetaAge邁達特具備 Microsoft MSP Indirect Provider資格,在台灣擁有實戰二十餘年的IT技術量能,​​​​可針對Microsoft Azure提供雲託管等服務,也可依照貴司環境,提供全面的客製化規劃、移轉方法、自動化流程設計和各項技術服務。

有任何Microsoft Azure、Azure OpenAI Service、M365相關使用問題及需求嗎?正在尋找兼顧成本、效能、智能、永續的 IT 解決方案嗎?歡迎聯繫邁達特 ,將有專人接洽。