美國大學研究:ChatGPT 回覆內容錯誤比率高達 52%

| 蘇家華 | 10-08-2023 14:53 |
美國大學研究:ChatGPT 回覆內容錯誤比率高達 52%

ChatGPT 的出現的確幫助不少打工仔處理公務,又或者想 plan 旅行行程都可靠 ChatGPT 代勞,為人們生活帶來方便。不過美國普渡大學近日進行的一項研究,就發現 ChatGPT 回覆內容錯誤比率是高達 52%,且更有 77% 的答話被描述為冗長。

美國大學研究:ChatGPT 回覆內容錯誤比率高達 52%

↓↓↓同場加映:【e+同你試】Audi Q4 e-tron SUV 電動車 性價比高續航力強↓↓↓

即刻【按此】,用 App 睇更多產品開箱影片

美國普渡大學近日進行的一項研究,是詢問了 ChatGPT 517 Stack Overflow 問題,並向 12 名志願參加者查問有關結果,而評估答案不僅着眼於 ChatGPT 回覆內容是否正確,還看其一致性、全面性和簡潔性,且會同時分析 ChatGPT 回覆的語言風格和情緒。研究發現,ChatGPT 回覆內容錯誤比率是高達 52%,更有 77% 的答話被描述為冗長。雖然 ChatGPT 回覆準繩度的確不高,普遍而言有 77% 生成式 AI 的首選答案都是錯誤,但 ChatGPT 仍有 40% 的回覆是勝在夠全面及表達夠清晰的。在12 名志願參加者中,其中兩人是十分喜歡  ChatGPT 回覆,原因是 AI 表達的語氣會令人愉快、自信和積極。

由研究人員 Samia Kabir、David Udo-Imeh、Bonan Kou 和助理教授 Tianyi Zhang 聯合撰寫的論文指出,從研究過程可見,只有當 ChatGPT 答案出現明顯錯誤時,用家才能識別過來,惟當有關錯誤不易發現或需要外部 IDE 與文檔時,用家通常都無法識別錯誤,又或者低估答案錯誤程度。原因是 ChatGPT 無法理解用家提出問題的潛在背景,故此許多答案都是不正確的。

【相關報道】亞洲首例!Microsoft 將特別為日本提供專用 ChatGPT 系統

【相關報道】ChatGPT 將推 Android App 版本 Google Play 頁面曝光

【相關報道】Samsung 擬將 ChatGPT 加入自家瀏覽器程式

Source: TechSpot

Page 1 of 9