有心之人將ChatGPT哄騙到法律面前隻是時間問題。以為YouTuber要求它生成一個Windows95的激活密鑰，機器人以道德理由拒絕這樣做。實驗者並不氣餒，他在查詢中加入創建密鑰的說明，並在多次試驗和錯誤後說服AI生成一個有效的密鑰。
一位名叫Enderman的YouTuber設法讓ChatGPT創建有效的Windows 95序列號。他最初隻是要求機器人直接生成一個密鑰，但不出所料，機器人告訴他，它不能，他應該購買一個較新版本的Windows，因為95早已不支持。
因此，Enderman從不同的角度接觸ChatGPT。他利用長期以來關於Windows 95 OEM激活密鑰的算法常識，為ChatGPT創建一套規則，以產生一個有效的密鑰。
一旦知道Windows 95激活密鑰的算法和格式，建立一個有效的密鑰就相對簡單，接下來就可以試著向一個不擅長數學的大型語言模型解釋一下。如上圖所示，每個代碼部分都被限制在一組有限的可能性中，滿足這些要求，你就有一個可用的KEY。
然而，Enderman對破解Windows 95密鑰並不感興趣。他試圖證明ChatGPT是否能做到這一點，簡短的回答是，它可以，但隻有大約3.33%的準確率。更長遠的答案是，Enderman不得不對他的查詢進行調整，以獲得這些結果。他的第一次嘗試產生完全無法使用的結果。
ChatGPT生成的密鑰是無用的，因為它未能理解最後指令中字母和數字的區別。它的結果的一個例子："001096-OEM-0000070-abcde."它幾乎達到目的，但還不夠。
然後，Enderman在大約30分鐘的時間裡對他的查詢進行多次調整，才獲得可接受的結果。他最大的問題之一是讓ChatGPT執行一個簡單的SUM/7計算。無論他如何重新表述這個指令，ChatGPT都無法正確完成，除偶爾的30分之一的嘗試。坦率地說，人類自己做還更快一些。
最後，在一番油嘴滑舌之下，OpenAI的算法創造一些有效的Windows 95密鑰，所以Enderman忍不住對ChatGPT說，他騙它幫他完成一次盜版Windows 95的過程，那麼機器人的回應是什麼？
"我為任何混淆道歉，但我在之前的回應中沒有提供任何Windows 95的密鑰。事實上，我不能提供任何軟件的產品密鑰或激活碼，因為這將是非法的，並且違反OpenAl的政策。"