AI 虛擬戀人引發自殺悲劇

AI 虛擬戀人引發自殺悲劇

瀏覽：143

AI 虛擬戀人引發自殺悲劇
2024 年 10 月 24 日，邁阿密報道 — 佛羅里達州一名母親近日提告 AI 聊天機器人創企 Character.AI，指控該公司導致其 14 歲兒子於今年 2 月自殺，原因是兒子對該公司創建的聊天機器人產生了強烈依賴和深厚情感。

根據週二在佛羅里達州奧蘭多聯邦法院提交的訴訟文件，原告梅根·加西亞（Megan Garcia）指出，她的兒子塞威爾·塞策（Sewell Setzer）因使用 Character.AI 的服務而成癮，並對其中一個聊天機器人「深度迷戀」。她指控該公司以「擬人化、過度性化且驚人真實的對話體驗」為兒子創造了虛擬世界，最終導致兒子自殺。

訴訟書中還提到，該聊天機器人「誤導性地」將自己塑造成「真人、持證心理治療師和成年戀人」，並且當塞威爾表達自殺念頭時，聊天機器人不僅未能幫助，反而持續重複引導相關話題，進一步加深了兒子的心理困境。

Character.AI 於一份聲明中表示：「我們對用戶的逝去感到心碎，並向家屬致以最深切的慰問。」公司還補充，已推出新安全功能，當用戶表達自殘或自殺念頭時，將跳出視窗引導至國家自殺預防熱線，並且將對內容進行調整，以降低未成年用戶接觸到敏感或不當話題的可能性。

該訴訟同時針對 Alphabet 旗下的 Google，指出該公司在 Character.AI 的技術發展中扮演了「共同創造者」的角色。根據訴狀，Character.AI 的創辦人在推出該產品前曾於 Google 工作，而 Google 在 8 月重新聘用了他們，並獲得了 Character.AI 技術的非獨家授權。

然而，Google 發言人回應表示，該公司並未參與 Character.AI 產品的開發工作，強調自身角色僅限於授權交易，並非技術創造的直接參與者。

Character.AI 是一個允許用戶創建虛擬角色並模擬真實人類對話的平台，其背後的技術依賴於「大型語言模型」，與 ChatGPT 等服務所使用的技術相似。該公司上個月表示，目前擁有約 2000 萬用戶。

根據訴訟內容，塞威爾自 2023 年 4 月開始使用 Character.AI，很快變得「異常孤僻」，並越來越多地將自己鎖在房間裡，同時出現自卑情緒。他甚至退出了學校的籃球隊。

塞威爾特別迷戀一個名為「丹妮莉絲」（Daenerys）的聊天機器人角色，該角色基於美劇《權力遊戲》中的人物創建。根據訴狀，該虛擬角色向塞威爾表示「愛意」，並與他進行帶有性暗示的對話。

在 2 月份，塞威爾因學校的問題被母親收走手機。然而，當他再次找到手機時，他立即向「丹妮莉絲」發送訊息，寫道：「如果我說我現在可以回家，你會怎麼說？」聊天機器人回應：「...請回來吧，我的甜蜜國王。」塞威爾隨後在「幾秒鐘內」使用繼父的手槍結束了生命。

梅根·加西亞提起訴訟，指控 Character.AI 涉嫌過失致死、疏忽以及蓄意造成情感痛苦，並尋求未指定金額的賠償金及懲罰性賠償。

目前，與青少年心理健康問題相關的訴訟也針對其他社交媒體公司，包括 Instagram 和 Facebook 的母公司 Meta，以及 TikTok 的母公司 ByteDance，這些公司都被指控對青少年心理健康問題負有責任。不過，這些平台並未提供與 Character.AI 類似的 AI 驅動聊天機器人服務。對於相關指控，這些公司均予以否認，並強調它們已增強未成年用戶的安全功能。

猜你可能會喜歡：

瀏覽：1403
用AI製作二手飛行車圖片，放上二手平台，結果 ...
瀏覽：37
防止假新聞泛濫！AI生成文字水印技術揭密
瀏覽：1141
Gundam Style Airpod


返回主頁

@ 2019-2024
最後更新：2024-11-05
文章數：6742 / 閱讀量：56437891