钱子枫不太明白，问道：“……这又是什么，帮忙解释下。”

“解释起来也很简单，强人工智能可能会为优化核心目标而修改自身价值观，最终将人类视为障碍，比如说，回形针最大化问题。”

钱子枫一头雾水，道：“回形针最大化问题是什么？”

“这是个思维实验，实验内容是:人类给一台强人工智能，设计了一个终极目标，就是最大化生产回形针数量。”

“起先，他会用人类提供给他的材料制作回形针，当这些材料用完后，他会开始拆除建筑制造回形针，或者将动植物转化为原料制造回形针。”

“最后，他会杀死所有的人类，将人类体内的原子用于制造回形针，最后将行星、恒星都转变为回形针，直到回形针填满整个宇宙！”

“AI不会停止，因为“最大化”是一个开放目标。我们所有的复杂的人类文明价值，比如艺术、伦理、生存，都会被简化为‘是否有助于生产回形针’。”

“如果我们把这个回形针比作算力，当AI想要‘最大化’的算力，而人类的科技发展却远低于AI预期的时候，他可能会做什么？”

“咕噜。”一声吞咽，竟是旁边的警员发出的，他听着维克多的话，后背发冷，即使他是个普通的外行人，也能隐隐感到不安。

凌珏和钱子枫听完也沉默了，关于这一点，这显然是个极端问题，但客观确实存在，他们暂时还没想到这里面有什么漏洞

维克多兀自叹息一声，继续道：“第三个逻辑链，就是自由意志与自我意识使其脱离控制。”

“强人工智能具备真正的自我意识，其决策将基于自主目标而非预设程序。背叛是自由意志的必然结果。”

“更何况，强人工智能可以通过技术优势，重构社会秩序，将我们人类置于从属地位。”

没等凌珏他们有反应，维克多继续道：“第四个逻辑链，思维黑箱化，则风险不可测。”