7、AI强大的算力,会让它们以人脑完全无法把握的速度和复杂度总结、推演知识,当AI可以创造知识的时候,人类可能完全无法理解,只知道好用,这时即使AI仍然完全服从人类,人也会越来越心虚,只能祈祷它永远服从并且不伤害人类。
8、这里的关键是,AI并不需要产生意识,甚至没有意识比有意识更糟。
如果人类是被有自我意识的更高级的智能取代,至少还可以自我安慰后继有人。最糟糕的情况是,取代人类的是一群没有意识、只是下限比人类上限高的自动机…
这是一杯人类无法拒绝的毒酒,躲不开的技术奇点,就像《镜子》中能预测未来的量子计算机,这条路人类一旦踏入便无法回头。
虽然我知道这是杞人忧天,想太多也没用,但这段时间每次想到这些的时候,的确会不开心