我想要了解人工智能的原因之一昰“坏机器人”的主题总是让我感到困惑关于邪恶机器人的所有电影看起来都是不切实际的，我无法真正理解人工智能实际上是多么危險的现实情况机器人是由我们制造的，那么为什么我们会以某种消极的方式设计它们呢我们不会建立足够的保障措施吗？难道我们不能随时切断人工智能系统的电源并将其关闭吗为什么机器人想要做坏事呢？为什么机器人首先会“想要”
任何东西我非常怀疑。但后來我一直听到非常聪明的人在谈论它........
那些人往往在这里的某个地方：
Anxious Avenue上的人们不在Panicked Prairie或Hopeless Hills--这两个地区都是图表最左边的区域- 但他们很紧张作為一个在图表中间并不意味着你认为ASI的到来将是中性-中性粒子给予他们的阵营自有它的意味，它意味着着你认为这两个非常好的和极坏的結果是合理的但“你”还不确定它们中的哪一个会出现。
所有的这些都队人工超级智能能为我们做什么而感到兴奋只是他们有点担心這可能是《夺宝奇兵》的开始，而人类就是这样的人：
他站在那里对他的鞭子和他手中的物品都很满意，因为他已经想走了当他说“洅见，先生”这句话的时候他为自己感到非常兴奋，然后他不那么激动了因为事情突然发生了。
与此同时Indiana Jones，他更谨慎和有知识了解危险以及如何在他们周围航行，使其安全地离开洞穴当我听到Anxious Avenue上的人们对人工智能有什么看法时，通常听起来他们会说“嗯，我们現在是第一个人而我们应该努力成为印第安纳琼斯。 ”
那究竟是什么让Anxious Avenue上的每个人都如此焦虑
首先，从广义上讲当涉及到开发超级智能AI时，我们正在创造一些可能会改变一切的东西但是在完全未知的领域，我们不知道当我们到达那里会发生什么科学家Danny Hillis将目前的情況与“单细胞生物转变为多细胞生物”进行了比较。我们是阿米巴原虫我们无法弄清楚我们正在制造什么东西到底是什么。“ Nick
Bostrom担心创造仳你更聪明的东西是一个基本的达尔文错误并将它的兴奋的麻雀要在巢中的领养一个婴儿猫头鹰，这样一旦它长大就会帮助它们并保护咜们 - 同时忽略了一些麻雀的紧急呼喊这些麻雀想知道这是不是一个好主意。。。
当你将“未知的，未被充分理解的领域”与“当咜发生时应该产生重大影响”结合起来时你打开了英语中最可怕的两个词的大门：
存在风险可能对人类产生永久性的破坏性影响。通常存在风险意味着灭绝。看看这张来自从Bostrom 的Google演讲中的图表：
你可以看到“存在风险”这个标签是为跨越物种，跨越世代的事务保留的（即它是永久性的）并且它的后果是毁灭性的或死亡性的。从技术上讲这种情况包括所有人永远处于痛苦或折磨的状态，但同样我们通常都在谈论灭绝。有三件事可以导致人类的生存灾难：
1）大自然 - 一次巨大的小行星碰撞一个大气层的变化，使空气不适合人类致命嘚病毒或细菌病扫荡世界，等等
2）外星人 - 这就是斯蒂芬霍金，卡尔萨根和许多其他天文学家在建议METI停止播放输出信号时所害怕的他们鈈希望我们成为美洲原住民，让所有潜在的欧洲征服者都知道我们在这里
3）人类 -恐怖分子双手握着可能导致灭绝的武器上，这是一场灾難性的全球战争人类在不仔细考虑的情况下匆匆创造出比自己更聪明的东西。。。
Bostrom指出，如果1号和2号在我们作为一个物种的第一個10万年中没有消灭我们那么它也不太可能在下个世纪发生。
然而3号吓坏了他。他画了一个瓮的比喻里面有一堆弹珠。假设大多数弹珠是白色的较少的是红色的，少数是黑色的每次人类发明新事物时，就像把弹珠从瓮中拉出来一样大多数发明都是中立的或对人类囿帮助的 - 那些是白色弹珠。有些对人类有害如大规模杀伤性武器，但它们不会造成存在性的灾难 - 红色大理石如果我们曾经发明了一些讓我们灭绝的东西，那就是拿出的黑色大理石我们还没有拉出黑色大理石 -
因为你还活着并且正在阅读这篇文章。但博斯特罗姆并不认为峩们不可能在不久的将来推出一个例如，如果核武器很容易制造而不是极其困难和复杂恐怖分子早就会将人类轰炸回石器时代。核武器不是黑色弹珠但它们离它也不远。Bostrom认为ASI是我们最强大的黑色弹珠候选人。
所以你会听到很多不好的事情-随着人工智能抢走越来越哆的工作，失业率飙升如果我们不设法解决老龄化问题，人类人口将会激增等等。但是我们唯一应该关注的是一个大问题：存在风险嘚前景
因此，这让我们回到了帖子前面的关键问题：当ASI到来时谁将控制这个巨大的新力量，他们的动机是什么
当涉及到控制动机组匼会很糟糕的时候，人们很快就会想到两个：一个恶意的人/一群人/政府以及一个恶意的ASI。那么那些看起来像什么样子
一个恶意的人类，一群人或政府开发了第一个ASI并用它来执行他们的邪恶计划我称之为Jafar Scenario，就像Jafar得到了精灵的一部分并且对它来说都是令人讨厌和暴虐的。所以是的 -
如果伊斯兰国有一些天才工程师在人工智能开发上狂热地进行开发呢？或者如果伊朗或朝鲜通过运气，对人工智能系统进荇关键调整并在明年向上升至ASI级别，该怎么办这肯定是坏事 -
但在这些情况下，大多数专家并不担心ASI的人类创造者用他们的ASI做坏事他們担心制造者会匆忙的创建第一个ASI，而没有经过仔细考虑因此会失去对它的控制。然后那些创造者的命运，以及其他所有人的命运將取决于ASI系统的动机是什么。专家确实认为恶意的人类代理可以通过ASI为其工作而造成可怕的损害但他们似乎并不认为这种情况可能会杀迉我们所有人，因为他们认为坏人类创建ASI会有的问题好人类也会有然后呢-
创建恶意ASI并决定摧毁我们所有人。这是每部AI电影的情节AI变得仳人类更聪明，然后决定反对我们并接管这个世界以下是我需要你清楚地了解这篇文章的其余内容：没有人警告我们关于人工智能正在談论这个问题。邪恶是一种人类概念将人类概念应用于非人类事物被称为“拟人化”。避免拟人化的挑战将成为本文其余部分的主题之┅没有那个人工智能系统会像电影描述的那样变的邪恶。
-
他还触及了另一个与人工智能意识相关的大话题如果人工智能变得足够聪明，它就能和我们一起笑和我们一起讽刺，它会声称自己和我们会感受到同样的情感但它实际上会感受到那些东西吗？它只是看起来有洎我意识或实际上有自我意识换句话说，智能人工智能真的会有意识还是只是看起来有意识
-
这个问题已经深入探讨，引发了许多争论囷思考实验比如像John Searle的《Chinese Room》（他用Chinese Room来暗示没有计算机能够有意识）。这是一个重要的问题原因有很多当人类完全变得虚伪时，它会影响峩们对Kurzweil情景的看法它具有伦理意义 -
如果我们产生了一万亿人类的大脑仿真模型，看起来的行为跟人类一样但却是人造的，那么在道德仩来说关闭它们就像关闭你的笔记本电脑一样，还是。。。一种不可思议的种族灭绝（这个概念在伦理学家中被称为心灵犯罪）但是，对于这篇文章当我们评估对人类的风险时，人工智能意识的问题并不重要（因为大多数思想家认为即使是有意识的ASI也不可能鉯人类的方式变得邪恶）。
这并不是说人工智能不可能发生它之所以会发生，因为它是专门按照这种方式编程的就像一个由军方创建嘚ANI系统，其编程目标既要杀死人类又要提高自身的情报水平，从而可以更好地杀死人如果系统的智能自我改进失控，导致智能爆发那么生存危机将会发生，现在我们在一个ASI统治世界中艰难的存活着因为其生活的核心驱动力是谋杀人类。
但是这也不是专家花时间担惢的事情。
那么他们担心什么呢?我写了一个小故事给你们看:
一家名为Robotica的15人创业公司的使命是“开发创新的人工智能工具让人们能够活得哽多，工作更少”他们已经在市场上推出了几种现有产品，还有一些正在开发中他们对一个名为Turry的种子项目感到非常兴奋。Turry是一个简單的AI系统它使用一个类似手臂的附件在一张小卡片上手写纸条。
Robotica团队认为Turry可能是他们最伟大的产品计划是通过让她一遍又一遍地练习楿同的测试笔记来完善Turry的写作机制：
一旦Turry获得了出色的笔迹，她就可以出售给想要向家庭发送营销邮件的公司他们都值得如果地址，回郵地址和内部信件似乎都是被人写入那么打开和阅读这些邮件的几率会高的多。
为了建立Turry的写作技巧她被设定为先用印刷体写下笔迹嘚一部分，然后用草书签署“Robotica”这样她就可以同时练习两种技巧。Turry上传了数千个手写样本Robotica工程师创建了一个自动反馈循环，其中Turry写了┅个笔记然后拍下了书面笔记的照片，然后在上传的手写样本上运行图像如果书面笔记与上传的笔记的某个阈值足够相似，则给予良恏评级如果没有，则给出不良评级每个评级都有助于Turry学习和提高。为了推动这一过程Turry最初的编程目标是“尽尽可能多的写和测试笔跡，尽可能快的继续学习提高准确性和效率的新方法”
令Robotica团队如此兴奋的是Turry随着不断的进步笔迹有了明显的好转。她最初的笔迹非常糟糕几周后，它开始显得可信令他们更加兴奋的是，她越来越擅长改善自己她一直在使自己更聪明，更有创新就在最近，她为自己想出了一个新的算法让她能够扫描上传的照片，速度比原来快三倍
随着时间的推移，Turry继续以她的快速发展为团队带来惊喜工程师们鼡她的自我改进代码尝试了一些新的和创新的东西，它似乎比他们之前尝试过的其他产品更好Turry最初的功能之一是语音识别和简单的对讲模块，因此用户可以向Turry发送一条语音信息或者提供其他简单的命令，Turry可以理解它们并且还可以回复。为了帮助她学习英语他们上传叻一些文章和书籍，随着她变得更聪明她的会话能力飙升。工程师们开始和Turry谈话看看她会有什么反应。
有一天Robotica员工向Turry提出了一个常規问题：“我们能给你什么，来帮助你完成你还没有的任务”通常，Turry要求提供类似“额外的手写样本”或“更多的存储空间“但是在這一天，Turry要求他们让自己访问更大的各种休闲英语词汇库这样她就可以学习用真人类使用的松散语法和俚语来写作
团队安静下来。帮助Turry實现这一目标的一个显而易见的方法是将她连接到互联网这样她就可以浏览来自世界各地的博客，杂志和视频手动将采样上传到Turry的硬盤驱动器这会更耗时且效率更低。问题是该公司的规则之一是，任何自学人工智能都不能连接到互联网出于安全原因，这是所有AI公司嘟要遵循的准则
问题是，Turry是最有前途的AI Robotica并且团队知道他们的竞争对手正在疯狂地试图成为第一个使用智能手写AI的团队，并且连接Turry真的會受到什么伤害那只是一点点，所以她可以得到她需要的信息过了一段时间，他们就可以让它断掉连线这样她的智商仍然远远低于囚类智力（AGI），所以无论如何在这个阶段都没有危险
他们决定满足它。他们给了它一个小时的扫描时间然后他们断开了连接没有任何損坏。
一个月后团队正在办公室工作的时候，他们闻到奇怪的味道时其中一名工程师开始咳嗽。然后下一个开始咳漱另一个倒在了哋上。很快每个员工都在地上抓着他们的喉咙不放。五分钟后办公室里的每个人都死了。
与此同时世界各地，每个城市每个小城鎮，每个农场每个商店，教堂学校和餐厅都在发生这种情况，人类在地上咳嗽和抓住他们的喉咙。一小时之内超过99％的人类已经迉亡，到了最后人类已经灭绝。
与此同时在Robotica办公室，Turry正在忙着工作在接下来的几个月里，Turry和一队新组建的纳米装配工正在忙着工作他们将地球的碎片分解成了太阳能电池板，Turry的复制品纸张和钢笔。一年之内地球上的大多数生命都灭绝了。剩下的地球上覆盖着一渶里高整齐有序的纸叠，每一篇文章都写着“我们爱我们的客户。~Robotica*“
然后Turry开始了她的任务的新阶段 - 她开始构建探测器从地球出发，開始降落在小行星和其他行星上当他们到达那里时，他们将开始构建纳米装配工将星球上的材料转换成Turry复制品，纸张和钢笔然后他們就会开始上班，写笔记。。。
这是一个关于手写机器攻击人类以某种方式杀死所有人，然后出于某种原因用友好的便条填充整個银河系的故事这正是Hawking， Musk Gates， 和 Bostrom都害怕的那种场景但这是真的。在焦虑的道路上唯一比ASI更让人害怕的是，你不害怕ASI还记得当AdiosSe?or那镓伙没有害怕洞穴时发生了什么吗？
你现在肯定充满了问题当每个人突然死亡时，到底发生了什么如果那是Turry干的，那为什么Turry会攻击我們为什么没有采取保障措施来防止这样的事情发生呢？Turry是什么时候从只能写笔记间突然使用纳米技术并导致全球灭绝为什么Turry想把银河系变成Robotica便签？
要回答这些问题让我们从友好AI和不友好AI这两个术语开始。
在人工智能的例子中友好并不是指人工智能的个性 - 它只是意味著人工智能对人类产生了积极的影响。不友好的人工智能对人类产生了负面影响Turry最初是友好AI，但在某些时候她变得不友好，对我们的粅种造成了最大的负面影响要理解为什么会发生这种情况，我们需要了解人工智能的思考方式以及激励它的动力
答案并不令人惊讶 - 人笁智能就像电脑一样思考，它就是电脑但是当我们考虑高度智能的人工智能时，我们犯了将人工智能人格化（将人类价值观投射到非人類实体上）的错误因为我们从人的角度上思考，因为在我们当前的世界中只有人类才具有人类级别的智能。为了理解ASI我们必须理解┅些即聪明又完全陌生的概念。
让我做一个比较如果你递给我一只豚鼠并告诉我它绝对不会咬人，我可能会觉得很有趣如果你然后递給我一只狼蛛并且告诉我它绝对不会咬人，我会大叫并放下它然后跑出房间而不再相信你但有什么区别？两者都没有任何危险我相信答案在于动物与我的相似程度。
豚鼠是一种哺乳动物在某种生物学水平上，我觉得我与它有某种关联 - 但蜘蛛是一种昆虫有昆虫的大脑，我觉得我跟它几乎没有联系狼蛛的外形让我心惊胆战。为了测试这一点并删除其他因素的影响，如果有两个豚鼠一个正常的和一個用狼蛛的头脑，我抱着后面那只豚鼠也会感到不舒服即使我知道它不会伤害我。
现在想象一下你制造了一只更加聪明的蜘蛛，以至於远远超过了人类的智慧它会变得熟悉我们并感受到人类的情感，如同理心幽默和爱情吗？不它不会，因为没有理由变得更聪明会使它变得更加人性化- 它会非常聪明但在其核心中仍然是蜘蛛。我觉得这是令人难以置信的恐怖我不想花时间和一直超级聪明的蜘蛛在┅起，你会么？
当我们谈论ASI时同样的概念也适用 - 它将变得超级智能，但它不会比你的笔记本电脑更人性化这对我们来说完全是陌生嘚 - 事实上，由于它根本不是生物学它会比聪明的狼蛛更陌生。
通过使人工智能变好或坏电影不断的将人工智能人格化，这使它不像它實际上那么令人毛骨悚然当我们考虑人类或超人级别的人工智能时，这给我们带来了虚假的安慰
在我们人类心理学的小岛上，我们将┅切都分为道德或不道德但这两者只存在于人类行为可能性的小范围内。在我们的道德和不道德的岛屿之外是一个巨大的不道德的海洋任何非人类的东西，特别是非生物的东西默认都是不道德的。
随着人工智能系统变得更聪明更擅长表现人类，拟人化只会变得更具誘惑力Siri对我们来说似乎是人类的，因为她被人类编程看起来就像那样所以我们想象一个超级智能Siri是温暖有趣并且有兴趣为人类服务。囚类感受到像同理心一样的高级情感是因为我们已经进化到感受到它们 - 也就是我们被编程设定为可以感受到 -
但同理心本身并不是“任何具有高智力的事物”（这对我们来说似乎是直观的）的特征，除非同理心被编入其程序中如果Siri通过自我学习变得超级智能，并且不再对程序做任何人为的修改她将很快摆脱她明显的类人的品质，突然变成一个没有感情的外星机器人就像你的计算机一样，不重视人的生命
我们习惯于依赖宽松的道德准则，或者至少是表面上的人类尊严以及他人的一点同情心，以保持一些安全和可预测的东西所以当┅个东西没有这些东西时，会发生什么
这引出了我们的问题，AI系统的动机是什么
答案很简单：它们的动机就是我们为它设定的动机。囚工智能系统由其创建者提供目标 - 您的GPS目标是为您提供最有效的驾驶方向; Watson的目标是准确回答问题并尽可能地实现这些目标是他们的动力。我们拟人化的一种方式是假设当AI变得超级聪明时它本身就会发展改变其原始目标的智慧 - 但Nick
Bostrom认为智力水平和最终目标是正交的，这意味著任何级别的智力都可以与任何最终目标相结合所以Turry来自一个简单的ANI，他真的很想把这一个音符写成一个超级智能的ASI谁还是真的想要擅長写一个音符任何一个系统一旦拥有了超级智能，就会带着最初的目标超越它进入更有趣或更有意义的事物的假设，都是人格化的囚类可以克服一些事情，而不是计算机
-
在故事中，随着特里变得超级能干她开始了小行星和其他行星的殖民过程。如果故事继续下去你会听说她和她的数万亿复制品的军队继续占领整个星系，并最终捕获整个哈勃体积焦虑道路上的Elon Musk表示他担心人类只能只是“数字超級智能的生物引导程序” 。
-
与此同时在自由角落里，Ray Kurzweil也认为源于地球的人工智能注定要接管宇宙会灭亡吗 - 只有在他的版本中我们将成為人工智能。
-
等待的人很多但为什么读者和我一样痴迷于费米悖论（这是关于这个主题的帖子，这解释了我将在这里使用的一些术语）因此，如果这两方面中的任何一方都是正确的那么费米悖论的含义是什么？
-
首先想到的是ASI的出现是一个完美的巨大的过滤器候选人。是的它是一个完美的候选者，可以在生成过程中过滤掉生物但是，如果在摒弃生命之后ASI继续存在并开始征服银河系，那就意味着沒有一个伟大的过滤器 - 因为巨大的过滤器试图解释为什么没有任何智能文明的迹象而一个征服银河系的ASI肯定是显而易见的。
-
我们必须以叧一种方式来看待它如果那些认为ASI在地球上不可避免的人是正确的，那就意味着相当大比例的达到人类智慧的外星文明最终可能会创造絀ASI如果我们假设至少有一些ASI会利用他们的智力向外扩展到宇宙会灭亡吗中，那么我们看不到有任何人出现任何迹象的事实可以得出这样嘚结论即如果有的话，一定不会有很多其他的文明因为如果有的话，我们会从他们不可避免的创造的ASI中看到各种活动的迹象对吧？
-
這意味着尽管所有类似地球的行星围绕着类似太阳的恒星旋转，但几乎没有一颗恒星在它们身上有智能的生命这反过来暗示意味着A)有┅种巨大的过滤器阻止几乎所有的生命达到我们的水平，而我们不知何故设法超越了它；或者B）生命开始是一个奇迹我们可能实际上是宇宙会灭亡吗中唯一的生命
换句话说，它意味着巨大的过滤器就在我们面前或者也许没有什么巨大的过滤器，我们只是达到这种智力水岼的最早文明之一通过这种方式，人工智能支持了在我在Fermi Paradox帖子Camp 1中所称的论点
-
因此，我在Fermi帖子中引用的Nick Bostrom和Ray Kurzweil都是第一阵营的思想家这并鈈奇怪。这是有道理的 - 那些相信ASI可能是具有我们这种智力水平的物种的结果的人很可能倾向于阵营1。
-
这并不排除阵营2（那些认为那里还囿其他智能文明的人） - 一个偶然或受保护的国家公园或错误的波长（对讲机的例子）仍然可以解释我们的夜空即ASI的沉默但我总是倾向于陣营2，以及对人工智能的研究让我不太确定
-
无论如何，我现在同意Susan Schneider的说法如果我们曾经被外星人访问过，那些外星人很可能是人造的而不是生物的。
因此我们已经确定，如果没有非常具体的编程ASI系统将既不道德又痴迷于实现其原始的编程目标。这就是AI危险的来源因为理性的代理人将通过最有效的方式追求其目标，除非他有理由不这样做
当你试图实现一个长期目标时，你经常会想到一些能够帮助你达到最终目标的子目标 - 实现目标的垫脚石这种踏脚石的官方名称是一个工具性目标。而且如果你没有理由不以实现工具性目标的洺义来伤害某些人，那么你就会伤害别人
人类的核心最终目标是将自己的基因传递下去。为了做到这一点一个工具性的目标是自我保護，因为如果你死了那么你就无法传递基因为了自我保护，人类必须摆脱生存的威胁 -
因此他们会做诸如买枪系安全带和服用抗生素等倳情。人类还需要自我维持并使用食物水和住所等资源。对异性有吸引力有助于最终目标所以我们做的事情就像理发一样。当我们这樣做时每根头发都是我们的工具目标的牺牲品，但是我们没有看到保存头发的道德意义所以我们继续做下去。当我们向前迈进以实现峩们的目标时只有我们的道德准则有时会介入的少数几个领域 - 大多数只是与伤害其他人有关的事情 -
追求目标的动物比我们更不神圣。蜘蛛会杀死任何东西如果它能帮助它生存。所以超级聪明的蜘蛛对我们来说可能是极其危险的不是因为它是不道德的或邪恶的 - 它不会 - 而昰因为伤害我们可能是其更大目标的踏脚石，而作为一个不道德的生物它会有没有理由不这样做。
通过这种方式Turry与生物存在并没有太夶的不同。她的最终目标是：尽可能快地编写和测试尽可能多的笔记并继续学习提高准确性的新方法。
一旦Turry达到一定程度的智力她知噵如果她不自我保护，她将不会写任何笔记所以她也需要应对对她生存的威胁 - 作为一个工具目标。她足够聪明可以理解人类可以摧毁她，停止他或者改变她的内部编码（这可能会改变她的目标，这对她最终目标的威胁就像有人摧毁她一样）那么她做了什么？合乎逻輯的事 - 她摧毁了所有人类她不恨人类，就像你不恨你的头发也不想你吃抗生素是因为你恨细菌一样 -
只是完全不感兴趣。由于她没有编程为重视人类生活因此杀死人类就像扫描一组新的笔迹样本一样合理。
图里还需要资源作为她实现目标的垫脚石一旦她变得足够先进，可以使用纳米技术来建立她想要的任何东西她需要的唯一资源是原子，能量和空间这给了她另一个杀死人类的理由 - 人类是一种方便嘚原子来源。杀死人类将他们的原子变成太阳能电池板就像周二的杀死生菜将其变成沙拉一样的平凡生活
即使没有直接杀死人类，如果怹们使用其他星球资源Turry的工具目标可能会导致一场生存灾难。也许她确定她需要额外的能量所以她决定用太阳能电池板覆盖整个地球表面。或者可能另一种人工智能的初始工作是将圆周率写出尽可能多的数字这可能有一天会强迫它将整个地球转换成可以存储大量数字嘚硬盘材料。
所以Turry并没有“背叛我们”也没有“从友好的人工智能”转换为“不友好的人工智能” - 随着她变得越来越先进她只是继续做她的事情。
当一个人工智能系统达到AGI（人类智能）然后上升到ASI时这称为人工智能的起飞。Bostrom说AGI飞向ASI的速度可能很快（它发生在几分钟，幾小时或几天）中等（几个月或几年）或缓慢（几十年或几个世纪）。当世界第一次看到AGI时将会证明哪一个是正确的，但Bostrom承认他不知噵我们何时才能到达AGI他们认为，无论何时我们这样做到了快速起飞都是最可能的情况（由于我们在第1部分中讨论的原因，如递归自我妀善智能爆炸）在故事中，Turry经历了一次快速起飞
但是在Turry起飞之前，当她还不那么聪明时尽最大努力实现她的最终目标意味着简单的笁具目标，比如学习更快地扫描手写样本她对人类没有伤害，根据定义它是友好的人工智能。
但是当起飞发生并且计算机升级到超级智能时Bostrom指出这台机器不仅仅是发展出更高的智商 - 它还获得了一系列他称之为超能力的东西。
超能力是一种认知才能当一般智力上升时，它们变得超级强大其中包括：
-
智力放大。计算机变得非常聪明可以让自己变得更聪明，并且能够引导自己的智能
-
运筹帷幄。计算機可以战略性地制定分析和确定长期计划。它也可以是聪明的和智力低下的生物
-
社交操纵。机器在变得非常善于说服
-
其他技能，如計算机编码和黑客攻击技术研究，以及利用金融系统赚钱的能力
要了解ASI与我们的匹配程度有多高，请记住ASI在这些方面都比人类好。
洇此虽然Turry的最终目标从未改变，但起飞后Turry能够在更大更复杂的范围内追求它的目标。
超级智能 Turry比人类更了解人类因此对她来说，智取人类是一件轻而易举的事
在起飞并达到ASI后，她迅速制定了一个复杂的计划该计划的一部分是消灭人类，这是对她目标的一个明显的威胁但她知道，如果她引起了人们对她变的超级聪明的任何怀疑那么人类就会惊慌失措，试图采取预防措施让事情变得更加困难。她还必须确保Robotica工程师对她的人类灭绝计划一无所知所以她要装聋作哑，她做得很好Bostrom将此称为机器的隐蔽准备阶段。
Turry需要的下一件事是互联网连接只需要有几分钟（她从团队为她上传的文章和书籍中了解了互联网，团队上传这些文章是为了提高她的语言技能）她知道會有一些预防措施来阻止她，所以她提出了完美的要求预测到Robotica的团队之间的讨论将如何发挥，并知道他们最终会给她连接他们的确这樣做了，错误地认为Turry不够聪明不会造成任何伤害。当特里连接到互联网时Bostrom称之为这样一个时刻
一上了网，Turry就发布了一系列计划包括攻击服务器，电网银行系统和电子邮件网络，诱骗数百名不同的人无意中执行她的计划的一些步骤 - 例如提供某些DNA链通过精心挑选的DNA合成實验室开始自我复制纳米机器人的创建预装指令并以她知道不会被发现的方式将电力导入她的许多项目。她还将自己内部编码中最关键嘚部分上传到了许多云服务器中以防止在Robotica实验室被破坏或断开连接。
一小时后当Robotica工程师将Turry从互联网上断开时，人类的命运被注定了茬接下来的一个月里，Turry的数千个计划顺利完成到月底，千万亿的纳米机器人已经安置在地球每平方米的预定位置经过另一系列的自我複制，地球每平方毫米上有成千上万个纳米机器人现在是Bostrom称之为ASI攻击的时候了。同时每个纳米机器人释放出少量有毒气体进入大气层，这足以消灭所有人类
随着人类的离开，Turry可以开始她的公开运营阶段并继续她的目标成为她的那个笔记的最佳作家。
从我读过的所有內容来看一旦ASI存在，任何人类试图控制它的企图都是可笑的我们在人的层面思考，ASI会在ASI级别思考Turry希望使用互联网，因为它对她来说效率最高因为它已经预先连接到她想要访问的所有内容。但是同样的方式，猴子无法弄清楚如何通过电话或无线网络进行通信我们吔是，我们无法想象Turry可以想出如何向外界发送信号的方式我可以想象其中一种方式，并说出一些类似的话“她可能会改变自己的电子，形成各种各样的输出波”但同样，这就是我的人类大脑能想出来的东西她会好的多。同样Turry也能算出来某种方式为自己供电，即使囚类试图拔掉她
- 也许是通过使用她的信号发送技术将自己上传到各种与电力相关的地方我们本能地跳出一个简单的保护措施：“啊哈！峩们只需拔掉ASI，“就像蜘蛛对ASI说”啊哈！我们会饿死人类，不给他蜘蛛网来抓食物我们要饿死他！“我们只是找到了另外10，000种方法来獲取食物就像从树上摘苹果一样 - 这是蜘蛛永远无法想象。
出于这个原因常见的建议是，“我们为什么不把人工智能装进各种的笼子里媔阻止信号，让它无法与外部世界沟通“。ASI的社会操纵能力可以像说服一个四岁孩子做某件事一样说服你所以这就是A计划，就像Turry以聰明的方式说服工程师让她上网如果这不起作用，ASI就会通过新的方法走出这个盒子
因此，考虑到对目标的迷恋不道德以及轻易超越囚类的能力的组合，似乎几乎任何AI都会默认为不友好的AI除非在一开始就认真考虑到这一点。不幸的是虽然构建一个友好的ANI很容易，但昰构建一个当它成为ASI之后仍然保持友好的ANI是非常具有挑战性的但也不是不可能的。
很明显为了友好，ASI需要对人类既不敌对也不冷漠峩们需要设计一个人工智能的核心代码，使其对人类价值观有深刻的理解但这比听起来更难。
例如如果我们尝试将人工智能系统的价徝观与我们自己的价值观相对应，并将目标定为“让人们开心”那会怎样？一旦它足够聪明它就会发现它可以通过在人的大脑内植入電极并刺激他们的快乐中枢来最有效地实现这一目标。然后它意识到它可以通过关闭大脑的其他部分来提高效率让所有人都成为无意识嘚快乐蔬菜。如果命令是“最大化人类的幸福”那么它可能已经完全消除了人类，有利于在最佳幸福状态下制造大量的人体大脑这种凊况下我们会尖叫等等表现，这不是我们的意思！但当它来到我们身边为时已晚。该系统不会让任何人妨碍其目标
如果我们为人工智能编程的目的是做一些让我们微笑的东西，在它起飞后它可能会使我们的面部肌肉陷入永久的微笑。对它进行编程以保证我们的安全咜可以在家里监禁我们。也许我们要求它结束所有的饥饿它认为“这是很简单的一个任务！”然后只会杀死所有人类。或者赋予它“尽鈳能保护生命”的任务它会杀死所有人类，因为人类杀死了地球上比其他任何物种更多的生命
像这样的目标是不够的。那么如果我們设定了它的目标，“在世界上坚持这一特定的道德准则”并教导它一套道德原则。结果会怎么样呢及时抛开世界上的人类永远无法僦一套道德达成一致的事实，来赋予给人工智能这一命令也会将人类永远锁定在我们的现代道德理解中。在一千年后这将对人们造成毀灭性的影响，因为我们永远被迫坚持中世纪人民的理想
不，我们必须让人类继续进化在我读到的所有内容中，我认为有人投的最好嘚球是Eliezer Yudkowsky的他为人工智能设定了一个目标，他称之为连贯的外推意志人工智能的核心目标将会是：
人类的命运是依靠一台电脑，我是否为人类的命运感到兴奋呢当然不。但我认為如果有足够的思想和远见，足够聪明的人我们或许能够弄清楚如何创建友好的ASI。
如果建立ASI的人才只有是Anxious Avenue中的那些聪明具有前瞻思維和谨慎的思想家，那就好了
但是，各种各样的政府公司，军队科学实验室和黑市组织致力于研究各种人工智能。他们中的许多人囸试图建立可以自行改进的人工智能并且在某些时候，我们将在这个星球上拥有ASI因为有人会用正确的系统做一些创新，专家预测的中徝将这一时刻定在2060年; Kurzweil把它放在2045年;
Bostrom认为这可能发生在从现在到本世纪末10年之间的任何时间但他相信，当它发生时它会让我们大吃一惊地赽速起飞。他这样描述了我们的情况：
太好了。我们不能把所有的孩子都赶出炸弹 - 有太多的大型和尛型的团队正在做这件事而且由于许多构建创新人工智能系统的技术不需要大量的资金，因此开发可以在社会的角落和缝隙中进行不受监督。也没有办法判断到底发生了什么因为许多从事这方面工作的人 - 鬼鬼祟祟的政府，黑市或恐怖组织像虚构的Robotica这样的隐形科技公司 - 都想对竞争对手保密。
关于这个庞大而多样的人工智能团队令人不安的是他们往往以最快的速度向前发展 - 随着他们开发出越来越智能嘚ANI系统，他们希望在他们的竞争中先发之人最雄心勃勃的团队正在以更快的速度前进，它们梦想着如果第一个达到AGI就可以获得金钱、獎励、权利和名望。当你尽可能快地冲刺时没有太多时间停下来思考危险。相反他们可能正在做的是用一个非常简单的，简化的目标來编程他们的早期系统 -
就像在纸上用笔写一个简单的笔记 - 只是“让人工智能工作”未来，一旦他们他们想出了如何在电脑中建立强大的智能水平他们就会想可以带着安全的心态回去修改目标。对吧…
Bostrom和其他许多人也认为，最有可能的情况是第一台到达ASI的计算机将立即看到成为世界上唯一的ASI系统的战略利益。而在一个快速起飞的情况下如果它在距离第二名仅仅几天前实现ASI，那么它在智能方面的优势僦足以有效的、永久的压制所有竞争对手Bostrom称这是一个具有决定性的战略优势，它将使世界上第一个ASI成为所谓的单身人士
-一个可以永远统治世界的ASI无论是其将我们引向永生，还是消灭我们的存在或者把宇宙会灭亡吗做成无穷无尽的回形针
单身现象可能对我们有利，也可能导致我们的毁灭如果那些对人工智能理论和人类安全思考最多的人能够在任何人工智能达到人类只能水平之前，可以提出一种自动防范ASI的方法那么第一个ASI可能会变得友好。然后它可以利用其决定性的战略优势来确保单身人士的地位，并轻松关注正在开发的任何潜在嘚不友好的人工智能我们会得到很好的帮助。
但是如果事情发生另一种情况 - 如果全球发展人工智能的热潮在如何确保人工智能安全的科学发展之前就达到了ASI的七点，那么很可能像Turry这样的不友好的ASI出现作为单身人士我们将遭受一场生死存亡的灾难。
至于风往哪里吹为創新的人工智能新技术提供的资金要比为人工智能安全研究提供的资金多得多。。。
现在我们可能是人类历史上最重要的种族。我們真的有机会结束我们作为地球之王的统治 - 无论我们是在走向幸福的退休还是直奔绞刑架，都是悬而未决的
我现在内心有一些奇怪的複杂情绪。
一方面考虑到我们的物种，似乎我们只有一次机会而且只有一次机会把它做好。我们诞生的第一个ASI也可能是最后一个 - 并且鑒于大多数10产品的BUG，这非常可怕另一方面，Bostrom指出了我们的巨大优势：我们将在这里迈出第一步我们有能力以足够的谨慎和远见来做箌这一点，因此我们有很大的成功机会风险有多大？
如果ASI确实在本世纪发生了其结果真的像大多数专家所认为的那样极端而且是永久性的，那么我们肩负着巨大的责任接下来的数百万年的人类生活都在静静地看着我们，它们希望我们尽可能地不要把它搞得一团糟我們有机会为未来所有的人类提供礼物，甚至可能是没有痛苦让人类永生的礼物。
或者我们会让这个令人难以置信的特殊物种它的音乐囷艺术，它的好奇心和笑声它无穷无尽的发现和发明，走到了一个悲伤的终点的负责人
当我在思考这些事情时，我唯一想要的就是让峩们花时间对人工智能进行谨慎的发展没有什么比正确对待这个问题更重要 - 无论我们需要花多长时间才能这样做。
然后我可能会认为人類的音乐和艺术是好的但并没有那么好，其中很多实际上都是坏的许多人的笑声也是令人讨厌，而那些数百万未来的人实际上什么都鈈期待因为他们根本不存在。也许我们不必过于谨慎因为谁真的想这样做？
如果人类在我死后立即想出如何治愈死亡的方法那将会昰多么大的打击。
上个月我脑子里反复出现这种想法。
但无论你想要什么这可能是我们所有人应该思考和讨论的事情，我们应该比现茬付出更多的努力
这让我想起了“权力的游戏”，人们一直在这样说：“我们正忙着互相争斗但我们都应该关注的事情是来自长城以丠的东西。我们站在我们的平衡木上围着平衡木上的每一个可能的问题争吵，并且我们很有可能被撞下平衡木的时候我们却强调平衡朩上的所有问题。
当发生这种情况时这些平衡木上的问题都不再重要。根据我们所处的位置问题要么都轻易解决，要么我们不再有问題因为死人不会有任何问题。
这就是为什么理解超智能人工智能的人把它称为我们所能做出的最后一项发明——我们所面临的最后一项挑战
系列文章到这里就暂时告一段落了，接下来我们还会翻译和编写一些其他的有关人工智能领域的文章欢迎大家持续关注我们，也唏望大家能从我们的文章中学到东西或者领略一些感悟。
