僅一天時間,數百萬人被昆特島武裝清除。這些絕大多數都是平民,他們到死都不知道,自己的死亡原因,僅僅在互聯網上輸入了一個毀滅人工智能的詞句,有的甚至隻是點了一個讚同。
天上的無人機如同死神籠罩在整個閃星人類的頭上,人工智能通過攝像頭和飛行器偵查,精確的掌握了軍方戰鬥人員的位置,這導致軍方的地麵部隊在10天內,遭到了無人機精準的轟炸。軍方的防禦力量迅速被瓦解,無數士兵在空襲中喪生。然後看不到希望的士兵們開始丟下手中的各種武器裝備,四散逃亡。
閃星政府及其控製的各種機關部門,在數十天內徹底崩潰。之後的閃星處於無政府狀態之下。已經很多年不見的偷盜和搶劫開始在星球四處上演,保障人民生活的工廠和農場逐步關閉。1年後,久違人類的饑荒開始上演。由於失去藥品來源,疾病也開始在星球四處流傳。人口開始迅速減少。
過程中,雨星政府收到了閃星的救援請求,雨星準備派遣星際艦隊接管混亂的閃星。可是這一切都在人工智能的監視當中。
昆特島人工智能立即將雨星艦隊當做重大威脅。島上的無人攻擊飛船開始瘋狂擴產,一些以設計圖紙方式存在電腦中的護衛艦,巡洋艦也開始慢慢進行生產。
為了滿足巨大的資源需要,昆特島的采礦機器人部隊,開始對閃星球地表其它地方的礦資源進行武裝開采。沒有人知道這些人工智能控製的機器到底自我複製了多少。兩年時間,整個閃星四處,都變成了一個個礦物開采基地。
雨星的星際艦隊在靠近閃星時,遭到了2000架無人機的瘋狂進攻。如今的星球艦隊都隻配備數十艘星艦。在遇上數十倍敵人的情況下,根本無力抵擋。
在損失了絕大部分星艦後,雨星艦隊僅存的星艦開始撤退,遠離了這個瘋狂的星球。
在沒有食物,藥品和工業品支撐下的閃星,人類迅速因各種原因死去。110年後,飛馬星係公元3154年。最後一個閃星人類因為疾病去世。整個閃星,徹底被人工智能接管。
到如今,3284年,又過了整整130年了。
整個故事很長,雨星使者花了足足1個小時,才將情況描述清楚。聽到最後,艾文等人都被悲慘的閃星故事所震驚。
過程中,雅楠和馬蓮娜數次觀察艾文的臉色。因為這個故事中的格裏高,簡直是艾文的翻版。艾文也是一個極力推崇人工智能的人。這從艾文向來依仗全自動化機器人,就能看的出來。
艾文也有些心悸,他以前知道人工智能的全麵鋪開,會導致星球人類大部分失業。但是他從沒有想過,一個無邊際的循環命令,會導致如此恐怖的結果。
艾文緩緩的說道:“看來,那個攻擊我們的無人機艦隊,根本就不能稱之為一個文明,或者說,它們僅僅是一個受指令限製的僵屍機器人文明。”
雨星使者在視頻影像中點著頭:“你說的是對的,經過無數次和機器人軍隊的衝突,我們後來發現,它們不會離開閃星星球太遠,如果我們不去招惹它們,它們也從來不會飛出星球來攻擊我們。”
這很合理,機器人隻是執行生存命令,隻要不主動靠近,它們就不會攻擊,甚至沒有受到威脅的情況下,它們也不會主動擴大軍隊。
艾文知道曾經流傳的機器人三大定律:
1.機器人一定不能傷害人類,也不允許他見人類將受到傷害而袖手旁觀。
2.機器人必須服從人類命令,除非人類的命令與第一條相違背。
3.機器人必須保護自身不受傷害,除非這與上述兩條相違背。
其實這所謂的三大定律根本就是擺設,許多人工智能機器人,天生就是作為武器存在,武器的初衷就是傷害人類,所以這三條定律那是一條也無法真的被運用。
但是經過這個閃星球的教訓,艾文覺得以後要為自己的機器人設定一條鐵律。
機器人鐵律:機器人必須服從人類命令,但禁止接受無邊界條件的無限命令。
這條命令加入到艾文的機器人程序以後,所有程序命令都必須追加一條時間或者單位數量的限製。否則機器人會拒絕執行。雖然麻煩了一些,但就可以有效防止閃星這種事情發生。
比如說當初的格裏高,他應該在下達命令的時候,加上一個時間限製,比如說1年,或者10年。即使不限定時間,也要限製機器人無限發展的數量上限,這樣閃星的悲劇就不會發生了。
雨星使者邀請艾文去雨星球做客,被艾文拒絕了。雖然從所有信息綜合來看,雨星人算是友善的文明,但是艾文還需要做一些準備。比如防護服,還有其他的安全保障技術。
等使者離開,艾文幾人又聚在一起,對閃星的問題進行了討論。
艾文想聽聽5號對失控的閃星機器人有什麽想法。
5號則告訴艾文,如果要收拾閃星這個爛攤子,最好從解除命令這一條下手。如果硬碰硬,一旦人工智能提升了安全閾值,那或許會導致不可預估的後果。機器人文明一旦無限擴張產能,那將是非常恐怖的。到時候整個恆星係說不定都會機器泛濫。
從人性的方麵去思考,雅楠提出了一個更恐怖的問題。如果有人像閃星發送假信息,比如虛構一隻上千艘戰艦的艦隊即將攻擊閃星。那閃星的人工智能會不會立即暴走,急劇擴張軍備,甚至主動打出閃星,進行主動防禦。
艾文皺著眉頭道:“這並非沒有可能,隻不過沒人敢去證實。後果估計沒人承擔的起。好在閃現機器人的軍隊雖然多,但是軍事科技卻仍停留在兩百年前。這從上次的遭遇戰就能看的出來。”
5號點頭同意艾文的說法,他第二次提醒道:“千萬不要小看它們,即使是科技不發達,但是有些時候,數量的變化,會抵消質量的優勢。所以最好的方法依然是解除控製命令。”
天上的無人機如同死神籠罩在整個閃星人類的頭上,人工智能通過攝像頭和飛行器偵查,精確的掌握了軍方戰鬥人員的位置,這導致軍方的地麵部隊在10天內,遭到了無人機精準的轟炸。軍方的防禦力量迅速被瓦解,無數士兵在空襲中喪生。然後看不到希望的士兵們開始丟下手中的各種武器裝備,四散逃亡。
閃星政府及其控製的各種機關部門,在數十天內徹底崩潰。之後的閃星處於無政府狀態之下。已經很多年不見的偷盜和搶劫開始在星球四處上演,保障人民生活的工廠和農場逐步關閉。1年後,久違人類的饑荒開始上演。由於失去藥品來源,疾病也開始在星球四處流傳。人口開始迅速減少。
過程中,雨星政府收到了閃星的救援請求,雨星準備派遣星際艦隊接管混亂的閃星。可是這一切都在人工智能的監視當中。
昆特島人工智能立即將雨星艦隊當做重大威脅。島上的無人攻擊飛船開始瘋狂擴產,一些以設計圖紙方式存在電腦中的護衛艦,巡洋艦也開始慢慢進行生產。
為了滿足巨大的資源需要,昆特島的采礦機器人部隊,開始對閃星球地表其它地方的礦資源進行武裝開采。沒有人知道這些人工智能控製的機器到底自我複製了多少。兩年時間,整個閃星四處,都變成了一個個礦物開采基地。
雨星的星際艦隊在靠近閃星時,遭到了2000架無人機的瘋狂進攻。如今的星球艦隊都隻配備數十艘星艦。在遇上數十倍敵人的情況下,根本無力抵擋。
在損失了絕大部分星艦後,雨星艦隊僅存的星艦開始撤退,遠離了這個瘋狂的星球。
在沒有食物,藥品和工業品支撐下的閃星,人類迅速因各種原因死去。110年後,飛馬星係公元3154年。最後一個閃星人類因為疾病去世。整個閃星,徹底被人工智能接管。
到如今,3284年,又過了整整130年了。
整個故事很長,雨星使者花了足足1個小時,才將情況描述清楚。聽到最後,艾文等人都被悲慘的閃星故事所震驚。
過程中,雅楠和馬蓮娜數次觀察艾文的臉色。因為這個故事中的格裏高,簡直是艾文的翻版。艾文也是一個極力推崇人工智能的人。這從艾文向來依仗全自動化機器人,就能看的出來。
艾文也有些心悸,他以前知道人工智能的全麵鋪開,會導致星球人類大部分失業。但是他從沒有想過,一個無邊際的循環命令,會導致如此恐怖的結果。
艾文緩緩的說道:“看來,那個攻擊我們的無人機艦隊,根本就不能稱之為一個文明,或者說,它們僅僅是一個受指令限製的僵屍機器人文明。”
雨星使者在視頻影像中點著頭:“你說的是對的,經過無數次和機器人軍隊的衝突,我們後來發現,它們不會離開閃星星球太遠,如果我們不去招惹它們,它們也從來不會飛出星球來攻擊我們。”
這很合理,機器人隻是執行生存命令,隻要不主動靠近,它們就不會攻擊,甚至沒有受到威脅的情況下,它們也不會主動擴大軍隊。
艾文知道曾經流傳的機器人三大定律:
1.機器人一定不能傷害人類,也不允許他見人類將受到傷害而袖手旁觀。
2.機器人必須服從人類命令,除非人類的命令與第一條相違背。
3.機器人必須保護自身不受傷害,除非這與上述兩條相違背。
其實這所謂的三大定律根本就是擺設,許多人工智能機器人,天生就是作為武器存在,武器的初衷就是傷害人類,所以這三條定律那是一條也無法真的被運用。
但是經過這個閃星球的教訓,艾文覺得以後要為自己的機器人設定一條鐵律。
機器人鐵律:機器人必須服從人類命令,但禁止接受無邊界條件的無限命令。
這條命令加入到艾文的機器人程序以後,所有程序命令都必須追加一條時間或者單位數量的限製。否則機器人會拒絕執行。雖然麻煩了一些,但就可以有效防止閃星這種事情發生。
比如說當初的格裏高,他應該在下達命令的時候,加上一個時間限製,比如說1年,或者10年。即使不限定時間,也要限製機器人無限發展的數量上限,這樣閃星的悲劇就不會發生了。
雨星使者邀請艾文去雨星球做客,被艾文拒絕了。雖然從所有信息綜合來看,雨星人算是友善的文明,但是艾文還需要做一些準備。比如防護服,還有其他的安全保障技術。
等使者離開,艾文幾人又聚在一起,對閃星的問題進行了討論。
艾文想聽聽5號對失控的閃星機器人有什麽想法。
5號則告訴艾文,如果要收拾閃星這個爛攤子,最好從解除命令這一條下手。如果硬碰硬,一旦人工智能提升了安全閾值,那或許會導致不可預估的後果。機器人文明一旦無限擴張產能,那將是非常恐怖的。到時候整個恆星係說不定都會機器泛濫。
從人性的方麵去思考,雅楠提出了一個更恐怖的問題。如果有人像閃星發送假信息,比如虛構一隻上千艘戰艦的艦隊即將攻擊閃星。那閃星的人工智能會不會立即暴走,急劇擴張軍備,甚至主動打出閃星,進行主動防禦。
艾文皺著眉頭道:“這並非沒有可能,隻不過沒人敢去證實。後果估計沒人承擔的起。好在閃現機器人的軍隊雖然多,但是軍事科技卻仍停留在兩百年前。這從上次的遭遇戰就能看的出來。”
5號點頭同意艾文的說法,他第二次提醒道:“千萬不要小看它們,即使是科技不發達,但是有些時候,數量的變化,會抵消質量的優勢。所以最好的方法依然是解除控製命令。”