機(jī)器學(xué)習(xí)算法已成為一項(xiàng)重要的網(wǎng)絡(luò)安全技術(shù)，目前它主要用于識(shí)別惡意軟件、將經(jīng)過(guò)篩選的警告呈現(xiàn)在安全分析員面前，以及確定漏洞優(yōu)先級(jí)以打上補(bǔ)丁。研究機(jī)器學(xué)習(xí)和人工智能系統(tǒng)安全的專(zhuān)家警告稱(chēng)，未來(lái)這類(lèi)系統(tǒng)可能被專(zhuān)業(yè)的攻擊者所利用。

研究人員在去年發(fā)表的一篇研究論文中表示，神經(jīng)網(wǎng)絡(luò)的冗余特性可以讓攻擊者將數(shù)據(jù)隱藏在常見(jiàn)的神經(jīng)網(wǎng)絡(luò)文件中，占文件20%的大小，而不顯著影響模型的性能。2019年的另一篇論文表明，受感染的訓(xùn)練服務(wù)可能會(huì)在神經(jīng)網(wǎng)絡(luò)中植入實(shí)際持續(xù)存在的后門(mén)，即使該網(wǎng)絡(luò)接受訓(xùn)練以處理其他任務(wù)。

圖1 《對(duì)抗性機(jī)器學(xué)習(xí)威脅矩陣》

來(lái)源：MITRE

貝里維爾機(jī)器學(xué)習(xí)研究所（BIML）聯(lián)合創(chuàng)始人兼首席執(zhí)行官Gary McGraw表示，這兩篇研究論文表明了機(jī)器學(xué)習(xí)存在的潛在威脅，但最直接的風(fēng)險(xiǎn)還是竊取或篡改數(shù)據(jù)的攻擊。他表示：“如果將機(jī)密信息放入機(jī)器中，并讓機(jī)器學(xué)習(xí)該數(shù)據(jù)，人們會(huì)忘了機(jī)器中仍然存在機(jī)密信息，忘了會(huì)有一些更高明的手法可以取出信息。開(kāi)發(fā)人員通常只專(zhuān)注于為該技術(shù)創(chuàng)造新用途，而忽略了其開(kāi)發(fā)產(chǎn)品的安全性時(shí)，這種潛在威脅有時(shí)會(huì)更嚴(yán)重?！?/p>

2020年，微軟、MITRE等公司聯(lián)合發(fā)布了一份列出潛在攻擊清單的報(bào)告——《對(duì)抗性機(jī)器學(xué)習(xí)威脅矩陣》（Adversarial ML Threat Matrix）。報(bào)告稱(chēng)，企業(yè)需要評(píng)估依賴(lài)人工智能或機(jī)器學(xué)習(xí)技術(shù)的系統(tǒng)是否存在潛在風(fēng)險(xiǎn)。一些風(fēng)險(xiǎn)（比如將數(shù)據(jù)隱藏在機(jī)器學(xué)習(xí)文件中）與日常風(fēng)險(xiǎn)沒(méi)多大不同。除非企業(yè)測(cè)試系統(tǒng)具有彈性，否則更多針對(duì)機(jī)器學(xué)習(xí)的風(fēng)險(xiǎn)會(huì)大獲成功，比如有可能創(chuàng)建這樣的模型：攻擊者觸發(fā)后，能夠以特定的方式行動(dòng)。

軟件安全公司Sophos的首席科學(xué)家Joshua Saxe表示，造成這種后果的原因是防御者只專(zhuān)注于眼前的攻擊，而不是專(zhuān)注于那些未來(lái)且難以實(shí)施的復(fù)雜攻擊。隨著更多的安全專(zhuān)業(yè)人員依賴(lài)機(jī)器學(xué)習(xí)系統(tǒng)來(lái)完成工作，能夠意識(shí)到這種威脅形勢(shì)將變得更重要。研究人員創(chuàng)建的對(duì)抗性攻擊矩陣包括規(guī)避檢測(cè)惡意軟件和控制流量、僵尸網(wǎng)絡(luò)域生成算法（DGA）以及惡意軟件二進(jìn)制文件的工具。

McGraw指出，隨著機(jī)器學(xué)習(xí)的應(yīng)用，數(shù)據(jù)面臨更大的風(fēng)險(xiǎn)。因?yàn)槊舾袛?shù)據(jù)常?？梢詮臋C(jī)器學(xué)習(xí)系統(tǒng)中恢復(fù)，同時(shí)，通過(guò)機(jī)器學(xué)習(xí)生成的系統(tǒng)又常常以不安全的方式運(yùn)行。如果對(duì)機(jī)器學(xué)習(xí)系統(tǒng)執(zhí)行的查詢(xún)被暴露后，數(shù)據(jù)在操作過(guò)程中也會(huì)暴露，這突顯了機(jī)器學(xué)習(xí)一個(gè)至關(guān)重要但未予以強(qiáng)調(diào)的方面，即確保數(shù)據(jù)安全非常重要。

Saxe表示，機(jī)器學(xué)習(xí)威脅有別于攻擊者使用人工智能/機(jī)器學(xué)習(xí)技術(shù)來(lái)策劃更有效的攻擊。機(jī)器學(xué)習(xí)攻擊可能會(huì)更多地在機(jī)器人和自動(dòng)駕駛汽車(chē)領(lǐng)域發(fā)生，因?yàn)樗鼈儾粌H依賴(lài)算法來(lái)操作，還將人工智能決策轉(zhuǎn)化成實(shí)際動(dòng)作，安全人員需要阻止和防范破壞這些算法的行為。

雖然研究人員表明了多種類(lèi)型機(jī)器學(xué)習(xí)攻擊的可能性比較大，但大多數(shù)仍在數(shù)年后才會(huì)出現(xiàn)，因?yàn)楣粽叩墓ぞ呦渲腥杂泻?jiǎn)單得多的工具照樣可以幫助其實(shí)現(xiàn)攻擊目的。

參考鏈接：

https://www.darkreading.com/vulnerabilities-threats/machine-learning-in-2022-data-threats-and-backdoors-