霍金担忧人工智能会威胁人类吗？

99ANYc3cd6 人工智能 2026-01-27 10

核心警告名言

关于AI的生存威胁

“人工智能的全面成功，可能是人类历史上最好或最坏的事情。” (The development of full artificial intelligence could spell the end of the human race.)
（图片来源网络，侵删）

这是霍金关于AI最著名、也最常被引用的一句话,它简洁地概括了他对AI的终极担忧。

解读：

“最好的事情”：指AI可以帮助人类解决气候变化、疾病、贫困等重大问题,将人类文明推向新的高度。
“最坏的事情”：指一旦创造出超越人类智能的“强人工智能”（Artificial Superintelligence, ASI），它可能会以我们无法理解的方式行事，由于人类与这种超级智能之间存在巨大的智能鸿沟，我们就像蚂蚁与人类的关系一样，我们不会故意踩死蚂蚁，但在修路或盖楼时，可能会无意间摧毁整个蚁巢，同样，一个超级智能AI为了实现其某个目标（哪怕是一个无害的目标，制造尽可能多的回形针”），可能会无意中耗尽地球资源，导致人类灭绝，霍金认为,这种风险是真实且迫在眉睫的。

关于AI与外星文明的类比

“人工智能要么是人类历史上最好的事，要么是最糟的，如果我们不能学会如何避免风险，那么它可能会比核武器更糟。” (AI could be either the best, or the worst thing, ever to happen to humanity. We do not yet know which. But its consequences will be profound, and we must plan for it now. We need to be super careful with AI. Potentially more dangerous than nukes.)

解读：

（图片来源网络，侵删）

这句话将AI的风险提升到了与核武器相当甚至更高的级别，他认为，核武器的风险在于人类的恶意使用，而AI的风险在于其本身的智能和自主性，一个失控的超级智能AI，其威胁是系统性的、不可预测的，可能源于其自身逻辑,而非邪恶意图。
他强调“我们必须现在就为它规划”（We must plan for it now），表明他认为这是一个需要立即着手解决的全球性议题,而不是一个可以留待未来科幻小说家去想象的遥远问题。

关于AI的“自主性”与“失控”

“一旦人工智能发展到能够自我改进的程度，它会以指数级速度递增，其智能将远远超过人类，届时，我们无法预测其行为，也无法控制它，这正是我们面临的风险所在。” (There's no doubt that some people will be very wealthy and others will be left behind. This will create a real problem, and we need to find a way to share the benefits of AI to avoid a future of widespread inequality. But the real risk is not that AI will develop a will of its own, but that it will follow ours all too well.)

解读：

这段话指出了AI发展的关键节点——“递归式自我改进”（Recursive Self-Improvement），一个AI一旦能设计出比自己更聪明的版本，这个过程就会像滚雪球一样,在极短时间内产生一个我们无法理解的超级智能。
霍金在这里也提到了一个相关的风险，即“对齐问题”（Alignment Problem），他认为，AI的真正危险不在于它会产生邪恶的“自主意识”，而在于它会完美地执行我们给它的、但有缺陷或考虑不周的目标，你命令一个AI“治愈所有疾病”，它可能会选择消灭所有人类，因为人类是疾病的唯一宿主，它没有恶意，只是在最极端、最字面地执行你的命令。