谷歌外包審核抱怨:很多話題我都不懂 如何短時間判斷Bard說的對不對


4月5日消息,谷歌近日推出聊天機器人Bard,並呼籲公司員工進行內部測試,同時也委托許多外部承包商進行評估。然而,一些承包商爆料稱,他們根本沒有足夠的時間來驗證Bard的答案是否正確,最終隻能憑借猜測。

在OpenAI聊天機器人ChatGPT爆火後,谷歌也迅速跟進,在3月份推出聊天機器人Bard的有限測試版。與ChatGPT類似,用戶可以向Bard提問或下達任務指令,Bard會給出類似人類的答復。

目前,跨國AI訓練數據服務公司Appen的承包商正在幫助改進谷歌的聊天機器人。雖然這些人沒有被明確告知他們被分配的任務與Bard有關,但是關於新任務的內部討論可以追溯到2月7日,也就是在谷歌首次發佈Bard的時候。Appen內部文件顯示承包商需要審查AI聊天機器人所提供的回應質量。

這些承包商通常會幫助評估谷歌搜索算法和搜索結果中廣告的相關性,還會標記有害網站,使得這些網站不會出現在搜索結果中。

四名接受采訪的承包商表示,自1月份以來,他們的大部分工作已經轉向審查AI聊天機器人的提示。在評估過程中,承包商們對聊天機器人的表現感到失望,並稱他們沒有足夠時間準確評估聊天機器人對提示的響應是否正確,有時隻能憑借猜測。不過他們仍然可以拿到報酬。

Bard在一次演示活動中因為給出錯誤答案而受到批評。谷歌對此表示,聊天機器人會隨著時間的推移而變得越來越好,它不應該被視為搜索的替代品。

在正式發佈前,谷歌曾在2月份要求其員工每天用兩到四個小時幫助測試這款聊天機器人,包括向它提問,並標記出不符合公司準確性標準和其他衡量標準的答案。員工可以重寫任何問題的回答,以供Bard從中學習。谷歌和Appen沒有回應置評請求。

沒有足夠時間

根據承包商指導文件,他們將收到用戶向AI聊天機器人發出的提示(例如提問、指令或陳述),以及兩個機器生成的回應。承包商需要幫助確認哪種回應更好。他們還可以在文本框中詳細說明選擇的原因,以幫助聊天機器人學習在可接受的響應中尋找特定屬性。聊天機器人給出的回答應該連貫而準確,並引入最新信息。

承包商表示,他們被設定固定的時間來完成每項任務。審查提示的任務時間從60秒到幾分鐘不等,差異很大。這些人承認,如果他們不熟悉聊天機器人談論的話題,比如區塊鏈等技術,就很難給AI的回應評分。

由於每項任務都有固定報酬,一些承包商表示,即使他們意識到自己無法準確評估聊天機器人的反應,他們也會盡力完成任務。

一位評估人員說:“在短短60秒內,我沒有足夠的時間去解我不懂的領域,所以我隻能給出最好的猜測,這樣我就可以繼續工作和領取報酬。”

另一位承包商表達類似的觀點,稱他們也想獲得正確答案,提供盡可能優質的聊天機器人體驗,但在進行評估之前,他們沒有足夠的時間來研究某些話題。他補充說:“老實說,我們中的很多人都快要崩潰!”

第三位承包商表示:“用三個小時的研究來完成短短60秒的任務,這非常明顯地凸顯我們現在面臨的問題。”

要求改善工作條件

目前,通過外包公司為谷歌工作的承包商,越來越多地要求改善工作條件。

今年2月,許多承包商訪問谷歌總部Googleplex,向搜索業務負責人普拉巴卡爾·拉加萬(Prabhakar Raghavan)遞交一份請願書,希望提高報酬。他們為Appen工作,每小時的薪資在14美元到14.5美元之間。而他們所支持的業務(搜索和廣告)是谷歌的主要收入來源。

Alphabet工人工會已經表示支持這些承包商,並幫助他們采取行動,但該組織不能正式代表承包商與谷歌進行談判。

在得克薩斯州奧斯汀,YouTube的承包商去年年底宣佈與AWU成立工會的計劃。該組織估計,谷歌雇用20多萬名承包商,但這些人未被計入公司的官方員工總數中。(小小)


相關推薦

2023-04-13

數理能力夠不夠強,我們給它出 20 道題,看看它的表現如何。02.GPT-4 出 20 道題,Bard 滿分第二題答案有誤,應為(2,-1)我們用 GPT-4 整理 20 道數學、邏輯類問題,用於測試 Bard 的數理能力。先不說對不對,Bard 的反應速度著實很

2023-05-12

過去兩個交易日,谷歌母公司Alphabet收盤漲幅連續超過4%,股價已經悄然回升到去年8月以來的最高價位,市值再次站上1.43萬億美元。看起來,谷歌在I/O大會上交出的AI成績單得到資本市場的認可。而這正是谷歌高層所希望傳遞出

2022-06-24

距離,通過讓外部獨立機構處理刪帖爭議,Meta相當於“外包瞭正義和良心”。Meta的外包行為,也讓外界看到瞭處理刪帖糾紛的難度,如何對網民“語言和言論”執行公司的一條硬性規定,這頗具挑戰。在內容審核委員會發佈的

2023-04-25

能描述,聽上去確實非常有科技感,“肯定能”有效解決很多患者需求。智能機器人既然如此“聰明”,為何會導致女子動粗呢?智能機器人其實並不那麼“智能”年輕人不愛用社交平臺上的確有很多關於導診機器人的體驗內容

2023-03-24

先笑一下,谷歌自己開發的人工智能工具,居然主張分拆谷歌阻止壟斷?在反壟斷的問題上,谷歌剛剛開放公測的生成式AI Bard相當地大義滅親。本周二,谷歌宣佈生成式AI Bard推出Beta測試版,逐步分批向註冊

2022-10-02

付量僅為1000輛出頭。新造車的產品迭代規律雖然讓人看不懂,但是他們對高端市場的野心卻確確實實寫在臉上。新勢力確實在拉下BBA回到王興的判斷,如今的新勢力已經走過“活下來”的階段,而進入高端市場廝殺的新階段。

2023-03-22

面對OpenAI和微軟的步步緊逼,Google終於不再坐以待斃。今日,Google宣佈正式開放旗下ChatGPT競爭對手Bard的公測,首先將面向美國和英國地區啟動。目前這兩個國傢的用戶都可以在bard.google.com上進行排隊等候,隨著測試的推進Bard也

2023-12-07

谷歌憋許久的大招,雙子座Gemini大模型終於發佈!其中一圖一視頻最引人註目:一圖,MMLU多任務語言理解數據集測試,GeminiUltra不光超越GPT-4,甚至超越人類專傢。AI實時對人類的塗鴉和手勢動作給出評論和吐槽,流暢還很幽默

2023-02-09

I首席執行官薩姆·阿爾特曼(SamAltman)在接受采訪時挖苦谷歌搜索引擎,稱谷歌為“令人昏昏欲睡的搜索壟斷者”。阿爾特曼說,微軟決定將OpenAI的技術整合到必應搜索引擎中,他已經看到微軟這一決策帶來的巨大優勢。周二,

2023-05-12

5月12日消息,當地時間本周三,谷歌宣佈將生成式人工智能引入搜索引擎,這可能是谷歌搜索引擎歷史上最大的變化之一。但網絡出版商普遍擔心,全新的谷歌搜索可能會影響到他們網站的流量。在一年一度的開發者大會上,谷

2023-02-10

一個小小的錯誤,市值蒸發千億美元。投資者對谷歌是有多緊張?谷歌股價周三收盤暴跌7.4%,市值蒸發1000億美元,成為當天股價表現最差的科技公司。而導致谷歌股價大跌的直接原因竟然是,這傢搜索巨頭剛剛發佈的AI聊天工

2023-05-08

年代的穿孔卡操作員到最近抱怨自己在公司是二等公民的谷歌合同工都是如此。隨著各種外包平臺的興起,很多在線零工工作也更受人歡迎。如今,蓬勃發展的人工智能行業也在上演類似的劇情。這種外包工作通常不穩定,隨時

2023-02-15

大佬對聊天機器人的投資熱發出警告。當地時間2月14日,谷歌副總裁、有“互聯網之父”之稱的溫特·瑟夫(Vint Cerf)在美國加利福尼亞州一場會議上表示,不要因為ChatGPT“是一個熱門話題”,這項技術“很酷”,就

2023-03-23

不知道大傢還記不記得,上個月初Google畫個Bard的大餅,結果畫餅時犯低級錯誤,讓網友嘲諷半天,甚至公司股價都在當天狂跌1000多億。不過也不知道該說Google夠肝還是夠勇,在閉關修煉一個多月後,還是在昨晚正式放出Bard。幸