大多數人工智能系統都基于神經網絡,其算法受到大腦中生物神經元的啟發。然而,某些人類可以理解的視覺輸入等信息,可能被人工神經網絡(ANN)解釋為完全不同的東西,比如圖像分類系統將貓誤認為是狗,甚至是無人駕駛汽車可能將停車信號誤認為是優先通行標志。
由于不一定總是視覺性輸入,看一眼就分析出系統出錯的原因并不那么容易。攻擊者可能利用這一點來破壞基于人工神經網絡的系統,例如巧妙地改變預期輸入模式,使其被誤解。這樣系統將出現錯誤行為,甚至可能出現問題。
研究人員針對此類攻擊設計過一些防御技術,但存在一定的局限性。據外媒報道,東京大學醫學系研究科(University of Tokyo Graduate School of Medicine)的應屆畢業生Jumpei Ukita和Kenichi Ohki教授設計并測試了一種改善ANN防御機制的新方法。
Ohki表示:“神經網絡通常由虛擬神經元層組成。第一層通常負責通過識別與特定輸入相對應的元素來分析輸入信息。攻擊者可能提供一些帶有偽影(artifact)的圖像,欺騙網絡對其進行錯誤分類。針對這種攻擊的常見防御措施,可能是故意在第一層中引入一些噪聲,從而更好地適應視覺場景或其他輸入集,但是這種方法并不總是有效。研究人員認為,可以通過超越輸入層,深入到網絡內部來改善這個問題。”
除了計算機,Ukita和Ohki還研究了人類的大腦,因此在人工神經網絡中使用他們所知道的現象,不僅要在輸入層中添加噪聲,還要在更深的層中添加噪聲。這種做法通常是避免采用的,因為在正常情況下可能影響網絡的有效性。然而,結果正好相反,噪聲提高了他們測試的人工神經網絡的適應性,從而降低了其對模擬對抗性攻擊的敏感性。
Ukita表示:“第一步是設計一種假設的攻擊方法,使其攻擊深度超過輸入層。這種攻擊需要承受輸入層上具有標準噪聲防御的網絡的回彈(resilience)。這些被稱為特征空間對抗示例。這些攻擊的工作原理是,故意提供超出(而不是接近)ANN可以正確分類的輸入。其訣竅是向更深層呈現微妙的誤導性偽影。一旦這樣的攻擊表現出危險性,研究人員就會將隨機噪聲注入網絡中更深的隱藏層,以提高它們的適應性,從而提高防御能力。結果證明這是有效的。”
該團隊希望進一步開發這項技術,使其能夠更有效地抵御預期攻擊,以及尚未測試過的其他攻擊類型。目前的防御僅針對特定類型攻擊。Ukita表示:“未來的攻擊者可能會考慮避開這項研究中提到的特征空間噪聲。事實上,進攻和防御是同一枚硬幣的兩面,是一場雙方都不會退縮的競賽。因此,研究人員需要不斷迭代、改進和推出創新想法,以保護大家日常都在使用的系統。”
版權與免責聲明:
凡本站注明“來源:智能制造網”的所有作品,均為浙江興旺寶明通網絡有限公司-智能制造網合法擁有版權或有權使用的作品,未經本站授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的,應在授權范圍內使用,并注明“來源:智能制造網”。違反上述聲明者,本站將追究其相關法律責任。
本站轉載并注明自其它來源(非智能制造網)的作品,目的在于傳遞更多信息,并不代表本站贊同其觀點或和對其真實性負責,不承擔此類作品侵權行為的直接責任及連帶責任。如其他媒體、平臺或個人從本站轉載時,必須保留本站注明的作品第一來源,并自負版權等法律責任。如擅自篡改為“稿件來源:智能制造網”,本站將依法追究責任。
鑒于本站稿件來源廣泛、數量較多,如涉及作品內容、版權等問題,請與本站聯系并提供相關證明材料:聯系電話:0571-89719789;郵箱:1271141964@qq.com。