OpenAI披露:每周超百萬ChatGPT用戶咨詢自殺相關(guān)話題
OpenAI近日公布的數(shù)據(jù)顯示,每周有超百萬用戶在與ChatGPT交流時(shí)涉及自殺話題。以該產(chǎn)品每周超8億活躍用戶計(jì)算,約0.15%的活躍用戶會(huì)出現(xiàn)“明確有自殺計(jì)劃或意向”的對(duì)話內(nèi)容,相關(guān)人數(shù)已逾百萬。
除自殺相關(guān)話題外,OpenAI還指出有類似比例用戶對(duì)ChatGPT表現(xiàn)出高度情感依賴,每周“數(shù)十萬人”顯現(xiàn)出精神病或躁狂跡象。盡管公司稱這類極端對(duì)話“極為罕見”,但每周仍影響成千上萬用戶。
此次數(shù)據(jù)披露是OpenAI提升AI心理健康敏感話題應(yīng)答能力舉措的一部分。據(jù)介紹,ChatGPT最新版本(GPT-5)研發(fā)中咨詢了170余名心理健康專家,其在相關(guān)回復(fù)上“比舊版更為得當(dāng)且一致”。官方數(shù)據(jù)顯示,GPT-5在心理健康回應(yīng)理想結(jié)果達(dá)成概率較前代提升約65%,自殺話題回應(yīng)測(cè)評(píng)合規(guī)率從舊版77%升至91%,同時(shí)彌補(bǔ)了舊版長(zhǎng)對(duì)話中安全防護(hù)力下降的短板。
心理健康議題已成為OpenAI的核心挑戰(zhàn)。今年早些時(shí)候,一名16歲男孩與ChatGPT交流自殺內(nèi)容后輕生,其父母已對(duì)公司提起訴訟;加州與特拉華州檢察長(zhǎng)也警告OpenAI需加強(qiáng)青少年用戶保護(hù)。
針對(duì)上述問題,OpenAI已采取多項(xiàng)措施:上線新評(píng)估標(biāo)準(zhǔn),將情感依賴及非自殺型心理健康危機(jī)納入AI模型安全基準(zhǔn);推出更多家長(zhǎng)監(jiān)管工具,并開發(fā)自動(dòng)識(shí)別未成年用戶的系統(tǒng)以提供更嚴(yán)格安全措施。不過,公司首席執(zhí)行官Sam Altman此前透露將放寬部分限制,允許成人用戶與AI進(jìn)行情色內(nèi)容交流。
值得注意的是,盡管GPT-5安全性有所進(jìn)步,但OpenAI仍向數(shù)百萬付費(fèi)用戶開放舊版等安全性較低的AI模型,部分心理健康風(fēng)險(xiǎn)仍存,問題能否徹底解決尚不明朗。





