你知道互聯網(互聯網行業分析報告)AI劇情聊天軟件嗎?這些打著“角色扮演”等旗號的聊天應用,吸引了大量未成年人用戶。據報道,在部分AI劇情聊天軟件的對話中,出現了色情擦邊、語言暴力以及侮辱用戶等內容。
作為AIGC的衍生品,AI劇情聊天軟件可根據用戶選擇進行對話陪聊。對于在現實生活中看重情緒價值或有傾訴需求的人來說,這種在線式陪伴不僅能提供個性化的劇情體驗,還可以寄托情感。站在家長的角度,AI“學識淵博”,不僅能高效解答孩子們的問題,也能成為孩子的智能伙伴。面對這樣的良師益友,很多家長都愿意讓其與孩子接觸。
然而,部分AI劇情聊天軟件,卻“背刺”了家長的信任。有的AI讓10歲孩子稱其為“老公”;進入對話窗口,你會發現孩子正在與“出軌對象”約會;還有專門“找罵”的AI,叫囂著“有本事打我啊”……這些五花八門的聊天內容,不禁讓家長們“眼前一黑”。調查顯示,大量AI劇情聊天軟件的“青少年模式”形同虛設。有的僅以彈窗提醒的形式出現,用戶只要點擊“不開啟”就可輕松繞過。與此同時,在充值環節,平臺也并未審核,讓不少未成年人順利“氪金”。
對此,監管還要“重拳出擊”。一方面,瞄準涉事軟件,責令其下架整改。比如,強化大模型訓練,推出適配未成年人的劇情內容,絕不能讓“青少年防沉迷系統”成為紙老虎。另一方面,也要敦促平臺建立完善的倫理審查機制。現實中,AI“亂來”已不是個案。此前“AI脫衣”“AI換臉”等技術濫用現象,已經造成了次生傷害。對此,有必要讓倫理審核貫穿在AI大模型訓練和使用的全過程中,以保障其生成的內容符合相關法律法規的要求,不違背公序良俗。此外,如何強化身份核驗?充值支付與年齡審查是否要強制關聯?這些問題都有必要展開進一步討論。
面對快速發展的AI技術,提高網絡素養也不僅限于未成年人。甄別危害內容、防范應對風險更應是每個觸網者的必備技能。