據報道，芯片行業研究公司SemiAnalysis首席分析師迪倫·帕特爾（DylanPatel）表示，由於ChatGPT運行在價格昂貴的計算基礎設施之上，OpenAI每天為運行ChatGPT投入的成本可能高達70萬美元。
帕特爾指出，ChatGPT需要龐大的算力，才能基於用戶的輸入信息做出反饋，包括撰寫求職信、生成教學計劃，以及幫助用戶優化個人資料等。他表示：“大部分成本都來自於昂貴的服務器。”
此外，帕特爾最初的估計基於OpenAI的GPT-3模型，而在采用最新的GPT-4模型之後，ChatGPT現在的運行成本可能更高。
對此，OpenAI尚未對此做出回應。
帕特爾和SemiAnalysis的另一位分析師阿夫紮爾·艾哈邁德（Afzal Ahmad）表示，此前外界已經註意到，訓練ChatGPT背後的大語言模型可能要花費上億美元，但運營費用，或者說人工智能推理的成本，以任何合理的部署規模來看都遠遠超過訓練成本。他們指出：“事實上，按周來看，ChatGPT的推理成本超過訓練成本。”
過去幾年，使用OpenAI語言模型的公司也一直在承擔高昂的價格。創業公司Latitude開發一款基於用戶輸入信息生成故事情節的人工智能地下城遊戲。該公司首席執行官尼克·沃爾頓（Nick Walton）表示，運行該模型，以及相應的購買亞馬遜AWS雲服務器的費用2021年達到每月20萬美元。因此，沃爾頓最終決定改用AI21 Labs支持的語言軟件提供商。這幫助他將公司的人工智能成本降低一半，至每月10萬美元。
沃爾頓在接受采訪時表示：“我們會開玩笑說，我們有人類員工和人工智能員工，在這兩類員工身上花費的成本大致相同。我們每個月在人工智能上花掉數十萬美元，而且我們也不是一傢大型初創公司，所以這是一筆巨大的開支。”
近期有報道稱，為降低生成式人工智能模型的運行成本，微軟正在開發一款代號為“雅典娜”的人工智能芯片。該項目於2019年啟動。在此幾年前，微軟與OpenAI達成10億美元的投資協議，要求OpenAI僅在微軟的Azure雲服務器上運行其模型。
微軟啟動這一芯片項目的背後有兩方面思考。知情人士透露，微軟高管意識到，他們在自主芯片開發方面落後於谷歌和亞馬遜。與此同時，微軟正在尋找更便宜的方案去替代英偉達的GPU芯片。
目前，微軟大約有300多名員工正在開發這款芯片。消息人士稱，該芯片最早可能在明年發佈，供微軟和OpenAI內部使用。微軟拒絕對此消息置評。