機(jī)器權(quán)限不能超越人類控制
當(dāng)?shù)貢r間3月10日上午，一架從埃塞俄比亞飛往肯尼亞的飛機(jī)墜毀，機(jī)組人員及乘客共157人全部遇難。失事飛機(jī)為波音“737MAX-8”型客機(jī)，這已是該型飛機(jī)繼印尼獅航2018年10月29日墜毀事故后，在5個月內(nèi)的第2次失事。
初步分析，事故緣于空速管對飛機(jī)飛行狀態(tài)探測錯誤，機(jī)載“防失速系統(tǒng)”（MCAS）自動控制飛機(jī)完成了俯沖，暴露出智能化軟件設(shè)計存在的缺陷。
未來智能化作戰(zhàn)中，人類會賦予作戰(zhàn)系統(tǒng)一定權(quán)限，允許智能化系統(tǒng)在特定作戰(zhàn)背景、作戰(zhàn)條件下，滿足規(guī)定的范圍、條件或規(guī)則即可自主決策，實施機(jī)動、攻擊、防護(hù)等戰(zhàn)斗行動。但是波音“737MAX-8”事故警示我們，無論計算機(jī)系統(tǒng)的智能決策系統(tǒng)如何先進(jìn)，它的權(quán)限賦值應(yīng)該始終低于人。
首先，建立人機(jī)互信，要增強(qiáng)智能化系統(tǒng)對操作人員通過腦波意識、語音指令、手動操作等多途徑傳達(dá)的意圖的理解，使得機(jī)器與人類形成目標(biāo)的相同認(rèn)知，在此基礎(chǔ)上才能賦予智能化作戰(zhàn)的相關(guān)賦權(quán)。其次，允許行動終止。一旦出現(xiàn)人與機(jī)器的沖突，或智能系統(tǒng)之間的相互沖突，必須允許人能及時進(jìn)行干預(yù)、糾正或終止智能系統(tǒng)的行動。最后，突出人的最高賦權(quán)。系統(tǒng)邏輯中，如果多個智能系統(tǒng)相互沖突，必須將對人的信任度置于最頂層，必須交由人而非單個系統(tǒng)裁決沖突、解決矛盾；如果人與智能系統(tǒng)發(fā)生沖突，智能系統(tǒng)必須無條件服從人發(fā)出的指令。這樣，才能保證智能化系統(tǒng)的可信、可靠、可用，避免悲劇的發(fā)生。
