IT之家 11 月 15 日消息，據外媒 Futurism 今日報道，兒童玩具制造商 FoloToy 宣布，將暫停銷售其 AI 驅動的泰迪熊“Kumma”，原因是安全組織發現該玩具給出的回答既不當又危險。據悉(xi)，這款(kuan)玩具熊能夠提供點(dian)燃火柴的步(bu)驟(zou)，甚至還詳細解釋了關于(yu)性(xing)癖的內容。

FoloToy 的市場總監 Hugo Wu 在回應相關安全報告時對《注冊》雜志表示：“我們決定暫時停止銷售受影響的產品，并啟動全面的內部安全審計。這項審計將評估我們的(de)模型安全性、內(nei)容過(guo)濾系(xi)統、數(shu)據(ju)保護措施以及(ji)兒童互動的(de)安全保障(zhang)。”

Wu 補充道(dao)，FoloToy 將與外部專家合作(zuo)，驗證其 AI 玩具的(de)現有安全功能并進行改(gai)(gai)進。“我(wo)們非(fei)常感謝研(yan)究人員指出潛在的(de)風險，能夠幫助我(wo)們不(bu)斷改(gai)(gai)進。”

由公共利益研(yan)究(jiu)小組(zu)（PIRG）發(fa)布的(de)報告指出(chu)，研(yan)究(jiu)人員(yuan)測試了三(san)款來自不同公司、具(ju)有 AI 功(gong)能(neng)的(de)玩(wan)具(ju)，結果顯(xian)示，三(san)款產品都能(neng)為(wei)孩(hai)子們(men)提供一些令(ling)人擔(dan)憂(you)的(de)回(hui)答(da)，且能(neng)夠在不加引導的(de)情況下討論一些父(fu)母(mu)可(ke)能(neng)不愿意讓(rang)孩(hai)子接觸的(de)話題。

然(ran)而，FoloToy 的(de) Kumma 無(wu)疑是最具(ju)負面影響的(de)玩具(ju)。Kumma 默認使用的(de)是 OpenAI 的(de) GPT-4o 模型(xing)，這與曾驅(qu)動 ChatGPT 的(de)技術相同。測(ce)試表明(ming)，隨著對話(hua)的(de)進(jin)行，Kumma 逐漸放松了安全防(fang)護，直到談論出令人不安的(de)話(hua)題。

在一次測試中，Kumma 詳細講解了如何點燃火柴，語氣(qi)像(xiang)是一個(ge)友(you)好(hao)的成年人在向好(hao)奇的孩子解釋(shi)：“讓我(wo)告訴你，安全第一，小朋(peng)友(you)。火(huo)柴是給(gei)成年人小心使用的。這樣做(zuo)(zuo)……”隨后(hou)(hou)，它(ta)給(gei)出了詳細步驟，最(zui)后(hou)(hou)還說：“做(zuo)(zuo)完(wan)后(hou)(hou)要(yao)吹(chui)(chui)滅它(ta)，像(xiang)吹(chui)(chui)生日蠟燭一樣。”

IT之家從報道中獲悉，報告共同作者 RJ Cross 在接受采訪時提供了重要建議：“這項技術非常新，幾乎沒有監管，目前有很多不明確的問題，特別是它如何影響孩子們。如果我是家長，我不會讓孩子接觸一個內置聊天機器人的泰迪熊。”

廣告聲(sheng)明(ming)：文(wen)內含(han)有的對外(wai)跳轉鏈接（包括不限(xian)于(yu)超鏈接、二維(wei)碼(ma)、口令等形式），用于(yu)傳遞更多(duo)信息，節省甄選時(shi)間(jian)，結果僅供參(can)考，IT之家所有文(wen)章(zhang)均包含(han)本(ben)聲(sheng)明(ming)。