长江日报评论员 杨于泽

联合国安理会近日发布调查报告称，2020年3月，利比亚内战的战场上，一架土耳其生产的卡古-2自杀型无人机在完全自主模式下，攻击了一名利比亚内战的参战士兵。

这是被联合国正式认定为全世界首例人工智能（AI）武器系统自主杀人事件，立即引发全球关注。英文杂志《新科学家》称，这是有史以来第一例明确记录在案的“机器自主杀人事件”。也有媒体感慨“细思恐极”。

为什么“细思恐极”？战争总要使用武器，但以前虽然要借助武器，毕竟也算是人对人的战斗，被武器击中死了也能“认命”。但现在人是在与AI搏斗，AI虽然是人类创造的，但在算力上毕竟远超人类。

想像一下，中国棋手柯洁曾连续40个月排名人类围棋世界第一，“阿尔法狗”是由谷歌公司下属团队研发的围棋机器人，其主要工作原理是“深度学习”，当“阿尔法狗”对阵柯洁的时候，柯洁以0:3的战绩完败于机器。而“阿尔法狗”的学习能力是人类不可比拟的，它不是简单地赢下柯洁便停止学习，这意味着人类从此不再可能在围棋上赢过AI。

去年8月，美国外交学者网站报道称，在国防部高级研究项目局组织的一场电脑模拟的狗斗（近距离格斗）空战中，一套人工智能程序击败了一名人类F-16飞行员，这是一项重要进展。

卡古-2自杀型无人机在利比亚自主杀人虽然看起来只是一件小事，具有偶然性，但的确具有深刻的意义。据说在自主发动攻击前，这架无人机还出现了“片刻的犹豫”。专家警告称，值得引起国际社会关注的是，卡古-2使用了基于机器学习的决策，其武器操作是基于软件的算法运行，并通过大型训练数据集学习，如分类各种对象等等。其计算机视觉程序可以通过训练来识别校车、拖拉机和坦克。

这种学习能力跟“阿尔法狗”是相似的，在很多场景下，人跟围棋顶尖高手柯洁一样，完全没有赢的机会。美国国家恐怖主义与反恐对策研究联合会研究员卡伦伯恩表示，这是机器向人类发出的警报，其威胁丝毫不亚于传统的大规模杀伤性武器。

我们在对科技进展感到欢欣鼓舞的时候，如何对科技成果进行社会控制，明确其伦理边界、界定责任等，这样的问题已经扑面而来。科技一直在帮助人类，但它导致的社会风险正在集聚，有可能在某个阶段突然爆发。这种风险能否得到控制、责任如何分配、有无意愿进行控制，不同国家对此恐怕有不同态度。

比如在AI的军事应用领域，美国等国家都投入巨资，AI武器系统投入实用已可预见。严格的管控肯定也会有的，但有AI的机器毕竟也是机器，出现故障、失去控制的可能性自然存在；遥控信号可能被干扰，AI作战系统可能接收到错误的攻击指令。

现在很多人在担忧AI武器系统会不会滥杀无辜。最终人们担心的是：AI本身会不会产生邪恶意识？

【编辑：付豪】

（作者：杨于泽)