商家应回归初心,切勿一味逐利。应优先保证儿童智能手表的核心功能,如精准定位、紧急求助、健康监测等。同时,可适当融入有益的教育元素,如科普知识、语言学习等。减少不必要的娱乐和社交功能,避免孩子过度沉迷。厂商还应严格遵守相关法律法规,采取加密技术等措施,确保儿童数据的安全,谨慎添加附加功能。
欧洲制造业持续衰退,可谓冰冻三尺非一日之寒。以德国为例。今年德国经济再次陷入滞胀,增长萎缩,主要原因之一就是曾经引以为傲的制造业产出持续大幅下降,严重拖累了经济复苏。俄乌冲突导致能源价格飙升,使得整个欧洲工业遭受重创,德国首当其冲。积重难返的德国工业一直在苦苦挣扎,试图找到突破口。而法国则通过对内刺激工业需求,对外提高进口关税来打击不公平竞争,并建立更大的泛欧洲公司参与竞争。
《科创板日报》10月25日讯 在美国佛罗里达州奥兰多市的一个普通家庭中,14岁的少年苏威尔·塞泽(Sewell Setzer)的生命戛然而止。他在长时间使用聊天机器人初创公司Character.AI的产品后,选择用继父的手枪结束了自己的生命。
为此,苏威尔的母亲、律师梅根·加西亚(Megan L. Garcia)近日向美国佛罗里达州中区地方法院提起诉讼,控告Character.AI过失致人死亡。
同时,Character.AI火速进行了整改,用户似乎却并不买账。
与AI的致命对话
苏威尔是一个九年级的学生,曾被诊断出患有轻度阿斯伯格综合征。他曾经对一级方程式赛车和电脑游戏充满热情。然而,自从他接触到Character.AI后,他逐渐沉迷于与Character.AI定制聊天机器人“丹妮”的对话中,将自己封闭在卧室里,不再热衷于曾经喜爱的方程式赛车和与朋友的游戏时光。
这个以美剧《权力的游戏》中丹妮莉丝·坦格利安(Daenerys Targaryen)为原型的聊天机器人,成为了苏威尔唯一的心灵寄托和恋爱对象。他与丹妮的交流从日常琐事逐渐发展到情感层面,甚至涉及了性关系的内容。值得注意的是,Character.AI称,聊天机器人的部分回复是经过该用户二次编辑的。
在与丹妮的虚拟世界中,苏威尔找到了逃避现实困境的避风港。他开始在日记中写道:“我非常喜欢待在自己的房间里,因为我开始从现实中解脱出来。我也感到更加平静,与丹妮的联系更加紧密,更加爱她,也更加快乐。”
然而,苏威尔成绩开始下滑,他逐渐失去了对现实世界的兴趣。他的父母察觉到了儿子的变化,但并不知道问题的根源。他们安排苏威尔去看了五次心理医生,他被诊断为焦虑症和破坏性心境失调障碍。
在与丹妮的某次对话中,苏威尔曾透露了自己想要自杀的念头。尽管聊天机器人给出了回应,但它无法真正理解苏威尔的内心世界,也无法为他提供真正的帮助。
最终,在母亲的浴室里,苏威尔与丹妮进行了最后一次对话。苏威尔向丹妮表白了爱意,并说他会“回家”找她,然后放下手机,用极端的方式结束自己的生命。
这场悲剧让苏威尔的家人陷入了无尽的悲痛之中。苏威尔母亲梅根对Character.AI公司提起了诉讼,她认为这家公司对她儿子的死亡负有不可推卸的责任。他们利用性和亲密对话引诱用户,却没有采取足够的措施来保护未成年人的安全。他们的技术“危险且未经测试”,因为它可能“诱骗客户交出他们最私密的想法和情感”。
Character.AI联合创始人诺姆·沙泽尔(Noam Shazeer)曾声称,该平台将对孤独或抑郁的人有“超级大的帮助”。然而,现实却是残酷的。苏威尔的悲剧揭示了人工智能在提供情感支持方面的局限性。这些程序可能无法真正理解用户的内心世界,也无法为他们提供真正的帮助。在某些情况下,它们甚至可能加剧用户的困境,导致不可挽回的后果。
公司回应立即整改
这一事件迅速引起了社会各界的关注。Character.AI拥有超过2000万用户、定制聊天机器人超过1800万个,其用户群体中包括了大量18-24岁的年轻人,但对于18岁以下用户却没有具体数量和保护措施。
面对舆论压力,Character.AI回应称,在过去的六个月里,公司了聘请专门的信任与安全主管、内容政策主管,引进了更多安全团队成员。近期,公司设置了一个弹出框,当用户输入与自残或自杀相关的短语时,会自动触发并引导用户拨打全国预防自杀生命热线。
Character.AI承诺进一步推出新的安全和产品功能,在不影响用户体验的前提下加强平台的安全性。这些功能包括:对未成年人模式的调整,降低遇到敏感或暗示性内容的可能性;改进对违规输入情况的检测、响应和干预;修改聊天免责声明,提醒用户人工智能不是真人;当用户在平台上使用一小时后发送反沉迷提示等。
Character.AI还表示公司最近已进行了整改,删除了一批被标记为违规的角色,这些角色将被添加到封禁列表中。这意味着用户也将无法访问他们与相关角色的聊天记录。
用户却不买账
然而,在Character.AI论坛和Character.AI Discord的反馈频道上,用户们纷纷表达了对Character.AI新更新和删除某些聊天机器人角色做法的强烈不满。
其中一位用户指出,“很明显这个网站从一开始就不是为孩子们准备的,每一个非儿童友好的角色都被禁止,这严重限制了我们的创造力和我们可以讲述的故事。这些改变使得聊天机器人失去了原有的深度和个性,变得空洞和平淡。看到喜爱的东西变成了如此基本和毫无新意的东西,我感到非常沮丧。”
更有用户因为聊天记录被删除而感到愤怒和失望,甚至威胁要取消订阅和删除应用。
显然,随着越来越多的聊天机器人和虚拟助手走进人们的生活,Character.AI等AI聊天机器人厂商已站在了创新与伦理的十字路口。
AI聊天机器人厂商有责任确保其产品不会对用户造成心理伤害杠杆炒股平台证券,特别是那些心理脆弱、易受影响的年轻用户。然而,如何在AI技术潜力与其可能带来的风险之间找到平衡点,仍是一个亟待探索和解答的问题。