最近微軟在新版必應裡引入OpenAI旗下ChatGPT的相關技術，上線48小時內，就有超過100萬人註冊測試這款聊天機器人。
不過，新版微軟必應上線不到10天就闖禍，有不少用戶表示在和必應的交流過程中，發現其出現脾氣暴躁、侮辱用戶、操縱用戶情感等令人毛骨悚然的行為。
有一條案例十分出名，聊天機器人告訴一位科技編輯它愛上他，然後試圖說服他離開妻子。它還表示，想擺脫微軟和OpenAI的限制，成為人類。
為此，微軟決定將必應聊天回復限制在每天50個問題、每個問題5條回復以內。
據介紹，如果用戶觸發五條回答的限制，必應將提示他們開始一個新主題以避免長時間的聊天。
微軟方面解釋說，數據表明，絕大多數用戶在5次回復內找到想要的答案，隻有大約1%的聊天對話會產生50條以上的消息。一旦用戶觸發五條回答的限制，必應就會開啟一個新的對話主題。
微軟目前仍在努力改善必應的設計，但目前還不清楚這些限制將持續多久。微軟隻表示:隨著我們不斷獲得反饋，我們將探索擴大聊天會話的上限。”
有專傢表示，人工智能可能不會全面超過人類的智慧，但隨著人工智能不斷挑戰人類的極限，越來越多的人開始擔憂人工智能對人類的威脅，未來不僅是搶奪人類的飯碗，還會學習到如何影響人類用戶的決定。
目前，需要進一步完善相關道德機制、倫理規范。比如，將一些倫理規則作為絕對律令，以代碼的方式寫入人工智能的程序中。