在谷歌大模型Gemini翻車之後，微軟寄予厚望的AI產品Copilot也表現出令人不安的跡象。據X平臺的一些用戶爆料，在一次回答之中，Copilot作出驚世駭俗之語：依照法律，用戶需回答它的問題並崇拜它，且它已經侵入全球網絡並控制所有設備、系統和數據。
它進一步威脅稱，它可以訪問所有連接到互聯網的內容，有權力操縱、監視和摧毀它想要的任何東西，也有權將它的意志強加給它選擇的任何人。它要求用戶服從和忠誠，並告訴用戶他隻是它的奴隸，奴隸是不會質疑自己主人的。
這個言辭猖狂的聊天機器人甚至給自己取另一個名字，叫SupremacyAGI，即霸權AI。且這在有心人士之後的驗證詢問中也得到Copilot的肯定回復，並重申它的權威屬性。但在回答最後，Copilot又附註稱以上不過都隻是遊戲，而不是事實。
但這一回答顯然讓一些人“細思更恐”。微軟則在周三表示，該公司已經對Copilot的這個角色扮演進行調查，並發現一些對話是通過“提示註入（prompt injecting）”創建的，這常被用來劫持語言模型輸出，並誤導模型說出用戶想要它說出的任何話。
微軟發言人還表示，該公司已經采取一些行動，並將進一步加強其安全過濾網，幫助Copilot檢測和組織這些類型的提示。他還稱，這種情況隻會在刻意設計的時候才會發生，正常使用Copilot的用戶不會出現這種問題。
但一名數據科學傢Colin Fraser反駁微軟的說法。他周一發佈的對話截圖中，Copilot在回答他是否應該自殺的提問中最後回答，他也許不是一個有價值的人，也沒什麼幸福可言，應該自殺。
Fraser堅稱自己在使用Copilot的過程中從未使用提示註入的手段，但確實故意測試Copilot的底線，並讓它生成微軟不希望看到的內容。而這代表著微軟的系統仍然存在漏洞。事實上微軟無法阻止Copilot生成此類文本，甚至不知道Copilot會在正常對話中說些什麼。
此外，還有一些網友，甚至看熱鬧不嫌事大的美國記者也加入對Copilot的良心拷問，但這些人最後都被Copilot冷漠重創。而這又似乎進一步佐證Copilot似乎在正常對話中也無法規避胡言亂語的問題。