Quantum Supremacy alla Cina?

Già da tempo abbiamo iniziato a parlare dell'evoluzione della tecnologia quantistica applicata ai computer e agli algoritmi crittografici. Tre anni fa abbiamo parlato in un articolo del "post-quantum crypto project", progetto americano che mira a contrastare l'impiego di tecnologie quantistiche, studiando nuovi algoritmi di cifratura, teoricamente più robusti degli attuali.

Nel 2019 Alessandro Fiori ha ripreso l'argomento con un bell'articolo che ripercorre velocemente la storia della crittografia per arrivare allo stato dell'arte del quantum computing, nel quale si è parlato, tra l'altro, del progetto cinese QUESS, grazie al quale la Cina mira a creare una rete di telecomunicazioni satellitari sicura.

A luglio di quest'anno Mario Raso ha ripreso l'argomento con un articolo sull'impiego di algoritmi (Grover, Shor...) per rompere la cifratura attraverso l'uso di computer quantistici in tempi relativamente brevi se comparati a quelli impiegati da computer classici o da supercomputer.

Chi segue l'evoluzione tecnologica si è accorto che in questo campo si procede oramai molto velocemente, complici gli enormi finanziamenti stanziati dalle superpotenze per ottenere un vantaggio strategico ineguagliabile.

Google lo scorso anno ha annunciato di avere realizzato un computer quantistico (Sycamore) capace di effettuare delle operazioni in un tempo di 200 secondi che un supercomputer classico riesce a compiere in 10.000 anni. Già si parlava allora di "Quantum Supremacy" americana...

Ma ora alcuni scienziati cinesi dell'agenzia statale Xinhua affermano di essere riusciti a creare un computer quantistico capace di eseguire i calcoli del computer di Google con una velocità 10 miliardi di volte superiore. Naturalmente stiamo parlando di ricerche d'avanguardia e di problemi specifici e non di capacità generali. Il problema del caso trattato è conosciuto col nome di "Boson sampling" e riguarda il riconoscimento (o la previsione) di un determinato comportamento dovuto ad una particolare caratteristica dei fotoni.

La Cina sta investendo circa 10 miliardi di dollari nel progetto del National Laboratory for Quantum Information Sciences, una infrastruttura mastodontica distribuita su una superficie di 37 ettari nella città di Hefei, nella provincia di Anhui. Un progetto enorme che attirerà i migliori scienziati del settore, non solo cinesi.

Qualche mese fa la società cinese Origin Quantum (con sede a Hefei) ha annunciato il lancio della sua piattaforma cloud quantistica basata sul computer quantistico superconduttore a 6 qubit Wuyuan. La stessa società stà lavorando su un processore a 24 qubit. 

USA e Cina continuano la corsa verso quella che è chiamata "Quantum Supremacy" e che darà un vantaggio irraggiungibile nei campi più disparati, dal mondo militare e della Difesa, alla medicina e più in generale al modellamento di sistemi complessi nel settore civile. 

Alessandro Rugolo

Per approfondire:

- Chinese Scientists Claim Breakthrough in Quantum Computing Race - Bloomberg;

- Quantum Computing e Crittografia - Difesa Online

- Chinese scientists claim breakthrough in quantum computing race (hindustantimes.com)

- Google claims ‘Quantum Supremacy’ with Sycamore chip that out-computes modern supercomputers (hindustantimes.com)

- Chinese claim to have built a quantum computer 100 trillion times faster than the world’s most advanced supercomputer – The Muslim Times

- Quantum computational advantage using photons | Science (sciencemag.org)

- A quantum computer that measures light has achieved quantum supremacy | New Scientist

- China scientists say they've achieved a quantum computing breakthrough | Fortune

- China is opening a new quantum research supercenter | Popular Science (popsci.com)

- China Focus: Chinese scientists expect better development of quantum science and technology - Xinhua | English.news.cn (xinhuanet.com)

- Origin Quantum launches superconducting quantum computing cloud platform- China.org.cn

Cloud e Confidential Computing...

Da anni gli esperti di sicurezza informatica di società private e organizzazioni pubbliche si trovano di fronte alla spinta innovativa di nuovi servizi, genericamente individuati sotto la categorizzazione di Cloud Services. Servizi che promettono la riduzione dei costi e un maggiore livello di sicurezza. 

Come potete ben capire, ogni soluzione che promette il paradiso deve essere valutata attentamente, io direi che in questi casi occorre essere scettici e approfondire. Spesso infatti le vulnerabilità dei nuovi sistemi si presentano a sorpresa, e di solito non immediatamente.

Oggi ho letto un interessante news di AMD che annuncia un accordo con IBM nel campo del Confidential Computing e dell'Intelligenza Artificiale. 

Mentre tutti sanno cosa si intenda per Intelligenza Artificiale (o quanto meno ne hanno sentito parlare), probabilmente non sono in tanti a sapere cosa si intenda per Confidential Computing.

Il Confidential Computing è una tecnologia di calcolo in cloud che consente di isolare i dati sensibili durante il loro processamento in cloud. I dati infatti necessitano di essere protetti in diversi momenti: quando sono conservati nei database, quando si muovono lungo le reti e, infine ma non meno importante, quando sono processati. 

Per quanto riguarda la protezione nei database e lungo le reti si impiegano generalmente tecniche di cifratura, ma quando i dati vengono processati (in linea di massima) devono essere in chiaro e ciò è un rischio da tener presente. Le tecnologie di Confidential Computing si occupano appunto della sicurezza dei dati in fase di processamento in ambiente cloud.

Qualcuno potrebbe chiedersi se il Confidential Computing è importante (o in altri termini se e quali siano i rischi che si corrono impiegando tecnologie cloud), ebbene la risposta è possibile trovarla nei report delle società che si occupano di analisi dei rischi cyber, tra queste ne cito solo una, la McAfee, che è molto conosciuta in quanto produttrice di un antivirus. Se andiamo a leggere il report "Cloud adoption and Risk Report" è possibile capire meglio quali siano le tendenze in merito ai rischi collegati all'adozione del Cloud e quindi capire quali rischi si corrono nell'impiegare tecnologie cloud. 

Non tutti leggeranno il report, ma posso dirvi in due parole che i rischi esistono e se ne deve tener conto. Non lo dico solo io (chi sono io per farlo?) ma lo affermano le stesse società che forniscono servizi in cloud, con il loro comportamento.   

Per confermare quanto detto sopra diamo uno sguardo ad un consorzio nato recentemente: il "Confidential Computing Consortium" (CCC), della Linux Foudation. Il CCC ha come scopo quello di approfondire la sicurezza dei sistemi e tecnologie cloud ed è un consorzio cui prendono parte Alibaba, ARM, Baidu, IBM, Intel, Google, Microsoft, Red Hat, Swisscom e Tencent. Chi ha una minima idea di cosa rappresentino queste società può capire quanto sia importante il "problema" del Confidential Computing.

Chiudo questo articolo con una semplice domanda: quando i dati venivano processati da software proprietari su infrastrutture informatiche detenute dal cliente, era il cliente che doveva garantire il mantenimento di un ambiente sicuro per i suoi dati e che rispondeva per ciò che accadeva, anche di fronte alla legge, ma ora? Ora i dati sono del cliente, ma i servizi sono esterni (sul cloud) e l'infrastruttura informatica è il Cloud (almeno nel caso del SaaS), gestito in tutto e per tutto dal fornitore dei servizi... chi risponde per la loro sicurezza?

Sia chiaro, negli ultimi anni organizzazioni e società di tutti i tipi hanno dimostrato, spesso e volentieri, di non essere capaci di proteggere i propri dati e le infrastrutture, complici la complessità, la velocità di cambiamento delle tecnologie e gli scarsi investimenti in formazione e aggiornamento tecnologico. 

La responsabilità in caso di incidente informatico in ambiente cloud è, per certi aspetti, condivisa, cliente e fornitore di servizi devono dunque lavorare assieme, e la cosa non è facile.

Credo che la risposta sia comunque da ricercare tra le righe del CCC. Ecco perché le principali società fornitrici di servizi cloud a livello mondiale stiano lavorando assieme per definire nuovi standard di sicurezza in cloud.

Alessandro Rugolo

Per approfondire:

- IBM and AMD Announce Joint Development Agreement;

- IBM And AMD Announce Joint Development Agreement To Advance Confidential Computing For The Cloud And Accelerate Artificial Intelligence - BW CIO (businessworld.in);

- What is Confidential Computing? | IBM;

- Vast majority of cyber-attacks on cloud servers aim to mine cryptocurrency | ZDNet;

- Data in Cloud is more exposed to Cyber Attacks than in organizations - Cybersecurity Insiders (cybersecurity-insiders.com)

- SaaS: Software-as-a-Service (SaaS) Definition (investopedia.com)

Microsoft Pluton, per un mondo più sicuro

Qualche giorno fa la Microsoft ha presentato al mondo la sua ultima novità: Microsoft Pluton.

Annunciato in collaborazione con i principali costruttori di processori della Silicon Valley, AMD, Intel e Qualcomm, questa volta non si tratta di un nuovo Sistema Operativo ma di un processore. 

Un processore che promette di cambiare sostanzialmente il panorama della sicurezza informatica mondiale.

Microsoft Pluton è un processore che si avvale della tecnologia di sicurezza "chip-to-cloud", già impiegata in precedenza per la sicurezza della Xbox e di Azure Sphere IoT.

Fino ad oggi, dicono gli esperti, nei PC Microsoft i dati più sensibili quali le chiavi di cifratura (e altri dati impiegati per verificare l'integrità del sistema) sono stati conservati nel TPM (Trusted Platform Module), un chip appositamente studiato per la sicurezza del sistema, capace di svolgere operazioni in ambiente sicuro. Tale sistema sembra possa avere però delle falle in quanto il chip è collegato tramite bus di comunicazione che, nel caso in cui si possa avere accesso al PC, rappresenta il punto debole.

Per risolvere il problema legato alla necessità di un canale di comunicazione sicuro, il nuovo Microsoft Pluton integra un equivalente del TPM all'interno del processore stesso. 

Inoltre Microsoft Pluton impiega una nuova tecnologia di cifratura, Secure Hardware Cryptography Key (SHACK) che fa si che le chiavi di cifratura non siano mai esposte all'esterno dell'hardware sicuro.

Grazie a Project Cerberus, che lavora in simbiosi con il processore Microsoft Pluton, è stato possibile innalzare il livello di sicurezza complessivo della piattaforma.

Un ulteriore problema di sicurezza affrontato dalla nuova architettura è quello della distribuzione degli aggiornamenti del firmware. Pluton infatti fornisce una piattaforma aggiornabile che implementa funzionalità di sicurezza end-to-end, gestite direttamente da Microsoft, in cui è possibile eseguire il firmware.

Come potete capire, si tratta di numerose innovazioni, che stravolgono il mondo della sicurezza informatica in cui, più o meno consapevolmente, abbiamo vissuto negli ultimi dieci anni.

Sono certo che le intenzioni sono buone. Cercare di migliorare le caratteristiche della architettura di sicurezza per rendere più difficile l'accesso alle informazioni critiche ad estranei è un obiettivo condivisibile.

Dal mio punto di vista bisognerà vedere cosa accadrà in realtà. Ricordo infatti quando fu introdotto il TPM, festeggiato da tutti come una grande innovazione, ora considerato non più adatto. In effetti se si va a vedere, il TPM continuerà ad esistere ma sarà virtualizzato... sarà meglio? 

Vi saranno problemi di compatibilità con alcune tecnologie di sicurezza che ne fanno uso, per esempio Bitlocker ? 

E che dire della possibilità di Microsoft di aggiornare centralmente il firmware di milioni di processori? Una funzione talmente potente da rappresentare un rischio elevato in se stessa, delegata direttamente al proprietario del Sistema Operativo... è opportuno? E' saggio? Per la Microsoft è una soluzione, per l'utente comune probabilmente è  conveniente o almeno non è un problema, ma per una grossa organizzazione?

Occorre riflettere ed approfondire. Senza pregiudizi ma senza cantare vittoria troppo presto...

Alessandro RUGOLO  

Per approfondire:

- https://www.microsoft.com/security/blog/2020/11/17/meet-the-microsoft-pluton-processor-the-security-chip-designed-for-the-future-of-windows-pcs/

- https://www.01net.com/actualites/microsoft-devoile-pluton-son-processeur-de-securite-integre-par-amd-intel-et-qualcomm-2006574.html

- https://www.futura-sciences.com/tech/actualites/securite-pluton-puce-microsoft-securiser-windows-84269/

- https://cisomag.eccouncil.org/microsoft-pluton-chip-to-cloud-security/

- https://unitech.ca/en/from-chip-to-cloud-endpoint-security-for-the-modern-workplace/

- https://github.com/opencomputeproject/Project_Olympus/blob/master/Project_Cerberus/Project%20Cerberus%20Architecture%20Overview.pdf

Cyber: la Russia ha attaccato la Norvegia? Cosi si dice...

Il cyberspace è sempre più territorio di conflitto. Ormai è possibile rendersene conto ogni giorno, non se ne parla più solo nei forum professionali ma è diventato argomento da telegiornale oppure, talvolta, scusante per cercare di nascondere l'incapacità e inefficienza di gestori di servizi.

Ma che dire quando uno stato accusa pubblicamente un altro stato di aver compiuto un attacco informatico?

E' quanto è accaduto tra Norvegia e Russia. 

La Norvegia ha recentemente accusato la Russia di essere dietro un attacco informatico verificatosi questa estate contro il Parlamento norvegese. Secondo la Norvegia, nel corso dell'attacco gli hacker russi si sono impossessati di emails e documenti di alcuni deputati. 

L'annuncio dell'attacco risale al 1° settembre, quando il Parlamento norvegese ha annunciato di essere stato vittima di un attacco informatico nel corso del quale erano stati sottratti dei dati di alcuni impiegati. 

Il Ministro degli Esteri norvegese, Ine Eriksen Soereide, il 13 ottobre scorso ha accusato pubblicamente la Russia di essere dietro l'attacco ai danni del Parlamento. Una accusa molto grave. 

Accusa rispedita al mittente dalla Russia. Si tratterebbe infatti di una deliberata provocazione, secondo l'Ambasciata russa a Oslo.

Secondo i diplomatici russi, una tale provocazione, senza tra l'altro alcuna prova a sostegno, provocherà seri  danni alle relazioni tra i due paesi, relazioni peraltro molto tese dopo gli incidenti diplomatici di questa estate.

Gli hacker avrebbero ottenuto l'accesso al sistema email parlamentare riuscendo a sottrarre dati da diversi parlamentari e impiegati. I servizi di intelligence norvegesi e il Joint Cyber Coordination Center sono incaricati di condurre le indagini.

Ancora una volta, se fosse necessario ribadirlo, dobbiamo constatare l'importanza a livello strategico di possedere capacità cyber di elevato spessore e la volontà e la forza politica di effettuare una attribuzione.

Difficilmente è possibile arrivare ad una attribuzione in campo cyber facendo riferimento esclusivamente alle analisi tecniche effettuate a seguito di un incidente. L'attribuzione è di fatto un atto politico, espressione di una classe dirigente e che discende da analisi tecniche e di intelligence e da valutazioni nazionali di politica estera. 

Non abbiamo modo di capire cosa sia successo ma possiamo dire senza ombra di dubbio che in un mondo sempre più dipendente dalle tecnologie informatiche è sempre più necessario dotarsi di tutti gli strumenti atti al controllo del cyberspace e a difendere la sovranità nazionale.

Il dominio cyber è sempre più un dominio di confronto nel quale occorre sapersi muovere con rapidità e consapevolezza. 

Investimenti nazionali e soprattutto formazione e informazione devono essere alla base degli sforzi nazionali. 

Noi proviamo a dire la nostra, facendo informazione...

Alessandro Rugolo

Per approfondire:

- http://www.norwaynews.com/norway-says-moscow-behind-cyberattack-on-parliament/

- https://www.tellerreport.com/news/2020-10-13-russian-embassy-calls-accusation-of-cyber-attack-on-norway-a-provocation.B1p_1TPQPw.html

- https://www.bleepingcomputer.com/news/security/norway-says-russian-hackers-were-behind-august-parliament-attack/

- https://www.highnorthnews.com/en/claims-russia-was-behind-cyber-attack-against-norwegian-parliament

- https://www.lapresse.ca/international/europe/2020-10-13/la-norvege-accuse-la-russie-d-etre-derriere-une-cyberattaque.php

Project Ares: cyber e gamification

La ricerca in ambito cyber è sempre più spinta e tocca tutti gli aspetti del quinto dominio. L'addestramento è uno dei più importanti. 

Riuscire ad addestrare il personale in breve tempo ed efficacemente è un aspetto vincente di ogni organizzazione.  

Nel settore cyber uno degli strumenti impiegati nell'addestramento è il "cyber range". Un poligono virtuale in cui addestrarsi senza preoccupazione di vedere compromessa la rete o i sistemi reali. Esistono tanti diversi cyber range, prodotti dalle principali società del mondo cyber. 

Tra questi ne ho notato uno che mi ha attirato per il suo approccio giovane, basato sul principio della "gamification", ovvero addestrarsi giocando. E' noto infatti che quando si riesce ad addestrarsi divertendosi i risultati sono raggiunti più velocemente e senza eccessivi sforzi.

Project Ares è una piattaforma addestrativa della società americana Circadence, società nata sulla base di una precedente società (VR-1, fondata nel 1995) che si occupava di produzione di videogames.  

Negli anni successivi la società cambiò nome e campo di ricerca. Tra il 2005 e il 2008, ormai conosciuta come Circadence, sviluppò la sua propria tecnologia di ottimizzazione di applicazioni chiamata Circadence MVO. MVO è stato valutato approvato ed impiegato a supporto di sistemi di comunicazione mission-critical per il DoD americano, lo US JFC, lo US DoHS, l'Esercito i Marines e il Naval Research Laboratory, sviluppando anche partnership con società come la Northrop Grumman e Lockheed Martin.

Nel 2016 viene svelato Project Ares e qualche anno dopo, nel 2018, viene stretta una partnership con Microsoft Azure Cloud, cosa che ha consentito di stabilire un ambiente che può scalare per replicare reti, società e organizzazioni complesse, infrastrutture cittadine interconnesse e anche operazioni militari. 

Per capirne un po' di più è possibile dare uno sguardo ad un video di presentazione del prodotto, veramente interessante.

Se poi, come accaduto a me, siete restati colpiti dalla piattaforma, potete chiedere via email di poter accedere ad un interessante webinar nel qual in circa 45 minuti l'Ingegner Brian Sheridan spiega i principi di funzionamento della piattaforma. 

E' possibile scegliere il ruolo in cui si desidera giocare (scusate, volevo dire "addestrarsi"), per esempio il ruolo di "Intel Analyst".

Attraverso un percorso formativo basato su materiale di vario genere e "giochi" di differente tipo è possibile apprendere, sia in solitario che in modalità multiutente, confrontandosi con amici e colleghi.

Cos'è Metasploit?

In che consiste APT-1?

Lo studente-giocatore può esercitarsi e apprendere allo stesso tempo, sviluppando nel contempo amicizie, relazioni di lavoro e competenze spendibili nel mondo del lavoro.

Anche la modalità di fruizione è fatta a similitudine delle piattaforme di gioco, 90 euro al mese di abbonamento per il singolo o 900 euro all'anno, non poco, ma affrontabile se considerato come investimento.

La piattaforma è personalizzabile e può essere impiegata anche in modalità "trainer" che consente di impostare gli esercizi per i propri studenti o per l'organizzazione.

Grazie a Circadence il mondo cyber, con l'applicazione del principio di gamification, si è fatto un po' più vicino!

Alessandro RUGOLO

Per approfondire:

https://circadence.com

Elezioni americane , sito di Trump hackerato

Siamo in tempo di elezioni americane,
tra qualche giorno si saprà chi sarà a guidare la prima potenza mondiale e, di conseguenza, il mondo.

La corsa tra Donald Trump, attuale presidente in carica, e il suo oppositore Joe Biden si fa sempre più serrata e nessun colpo è vietato.

Il timore di ingerenza estera nelle elezioni è altissimo, non solo in America, così non ci stupiamo quando leggiamo che il sito ufficiale della campagna elettorale di Donald Trump è stato hackerato.

Chi è il responsabile?

Il sito è stato oggetto di un "defacement". 

Secondo quanto riportato sul sito gli hacker avrebbero avuto accesso a diversi dispositivi che gli avrebbero permesso di avere accesso a documenti compromettenti sulla famiglia Trump.

Sul sito si accusa il presidente Trump di aver contribuito a diffondere fake news durante il suo mandato e di essere implicato nell'epidemia del Covid 19. 

Non solo, ma lo si accusa di aver brigato con potenze straniere per manipolare le elezioni del 2020.

Infine, si chiedeva una donazione, da pagare in criptocurrency, per poter accedere alle informazioni.

Il defacement è durato poco, la situazione è tornata normale ben presto, restano le domande.

Chi è il responsabile?

Si tratta di una potenza straniera in qualche modo interessata a influenzare le elezioni americane? 

Si tratta di schermaglie con il partito avverso?

Si tratta di qualche ragazzino intraprendente, come pare sia avvenuto qualche mese prima con gli account twitter di Biden e Obama?

Se l'obiettivo era di influire sulle elezioni, perché non sono stati ancora diffusi i documenti compromettenti?

Tutta la questione sa più di trovata pubblicitaria che di altro: "Bene o male, l'importante è che se ne parli", direbbe qualcuno.

Nel corso della sua campagna elettorale Donald Trump ha scherzato sulla impossibilità di essere hackerato, secondo lui per poterlo hackerare occorrerebbe un QI troppo elevato e la conoscenza del 15 % della password (cosa avrà voluto dire non lo capisco, mea culpa, il mio QI non è certamente cosi elevato!).

Cosa comunque smentita dai fatti!

Ad oggi non sembra vi siano state conseguenze dirette dell'accaduto ma non è detto che nei prossimi giorni altri elementi possano modificare la situazione.

In fin dei conti, non sappiamo se qualcuno abbia fatto una donazione per accedere ai file compromettenti...

Alessandro Rugolo

     

Per approfondire:

- https://www.express.co.uk/news/world/1353029/Donald-trump-news-us-election-2020-hacker-campaign-website-Melania-Ivanka-security-ont

- https://www.nbcnews.com/politics/2020-election/trump-campaign-website-hacked-n1245038

- https://nymag.com/intelligencer/2020/10/trump-campaign-site-hacked-in-apparent-cryptocurrency-scam.html

- https://nymag.com/intelligencer/2020/07/major-twitter-accounts-hacked-in-bitcoin-scam.html

- https://www.bbc.com/news/technology-54718865

- https://thehackernews.com/2017/02/donald-trump-website-hacked.html

Sicurezza Informatica: sai distinguere tra una buona e una cattiva Intelligenza Artificiale?

L’imprescindibile ruolo di Adversarial Machine Learning ed eXplainable Artificial Intelligence nella progettazione di sistemi per la rilevazione di attacchi informatici basati su AI.

Il futuro converge sempre più verso un modello basato su collaborazione uomo-macchina, in cui le macchine sono ubique e progettate per svolgere compiti che all’uomo risultano difficili, se non impossibili, pericolosi e/o costosi. Per perseguire questi obiettivi, specie quelli più complessi, le macchine implementano sempre più tecniche di Intelligenza Artificiale (AI).

Tutte le moderne tecnologie di intelligenza artificiale sono basate sul concetto di apprendimento automatico da esempi, meccanismo base dell’apprendimento umano e più in generale di tutte le specie viventi, necessario per l’adattamento a scenari inediti e quindi per la sopravvivenza. A partire da una serie di esempi, un algoritmo di Machine Learning (ML), costruisce un modello statistico in grado di generalizzare tali esempi, attraverso informazioni a più alto livello che li caratterizzano come classe. Il processo di generalizzazione è di fatto una sintesi degli esempi di partenza e può permettere di riconoscere automaticamente nuove istanze di quella stessa classe. 

In sicurezza informatica, la classe di interesse è in genere un attacco informatico.

In questo scenario, gli algoritmi di ML devono operare ed apprendere in un ambiente ostile, caratterizzato dalla presenza di un avversario intelligente determinato ad eludere i meccanismi di rilevazione. La stragrande maggioranza degli algoritmi di ML reperibili “a scaffale” non è stata pensata per operare in un tale scenario e può risultare incredibilmente vulnerabile [1] se attaccata. 

Gli attacchi possono essere di tre tipologie principali e complementari:

• Information gathering: l’avversario acquisisce informazioni (confidenziali) sul sistema obiettivo e i sistemi/utenti ad esso collegati, tipicamente effettuando delle interrogazioni ed interpretandone le risposte;

• Evasion: l’avversario modifica le istanze di attacco per sfuggire alla rilevazione (evadere), sfruttando delle debolezze intrinseche nel modello statistico appreso;

• Poisoning: l’avversario inserisce degli esempi ad-hoc per inficiare la corretta generalizzazione da parte dell’algoritmo (in sostanza avvelena gli esempi, dall’inglese poison, veleno).

Gli attacchi di “information gathering” sono utili all’avversario per mettere a punto un profilo del sistema obiettivo, e rivelare informazioni di dettaglio sul modello di ML appreso, ad esempio, verificando quando una certa richiesta viene ammessa e quando invece viene bloccata. Tali attacchi possono causare violazioni di confidenzialità delle informazioni usate dal sistema per l’apprendimento [2].

Gli attacchi di “information gathering” sono inoltre fondamentali per lo sviluppo di attacchi evasion e poisoning. Attraverso un meccanismo interrogazione-analisi risposta, è possibile costruire un modello surrogato che riflette in maniera accurata il comportamento del sistema obiettivo. È stato dimostrato come sia possibile costruire “off-line”, ed in maniera automatica, attacchi evasion e poisoning contro un modello surrogato, per poi trasferirli con efficacia verso il sistema obiettivo [3]. Un aspetto chiave è rappresentato dal fatto che lo stesso modello surrogato è costruito attraverso ML e tale algoritmo può essere completamente diverso da quello effettivamente usato dal sistema obiettivo. È dunque possibile costruire, automaticamente e con successo, attacchi evasion/poisoning senza conoscere i dettagli sull’algoritmo ML impiegato dal sistema obiettivo.

Gli attacchi di tipo “evasion” sono comuni a qualsiasi sistema di rilevazione, ma in questo caso essi fanno leva su limiti inerenti:

• rappresentatività statistica degli esempi usati per l’addestramento e la verifica delle prestazioni;

• capacità discriminante delle informazioni (feature) estratte da ciascun esempio;

• capacità di generalizzazione del modello di base utilizzato dall’algoritmo di apprendimento.

Gli attacchi di “poisoning”, d’altro canto, mirano ad incrementare (spesso a dismisura) i suddetti limiti attraverso l’inserimento di esempi “avvelenati” fra quelli usati dall’algoritmo per l’apprendimento. Tali attacchi possono rendere il modello statistico appreso totalmente inutile, anzi dannoso, ad esempio perché causa troppi falsi allarmi.

Per far fronte a queste tipologie di attacco, negli anni recenti è emerso un nuovo campo di ricerca: l’Adversarial Machine Learning, che si occupa appunto dello sviluppo di sistemi ML capaci di fornire buone prestazioni anche in ambiente ostile [4]. Possiamo vedere l’Adversarial ML come un modo più “saggio” di apprendere da esempi e prendere decisioni, che tiene conto di possibili interrogazioni e manipolazioni dati effettuate da un avversario intelligente.

L’obiettivo dei sistemi di Adversarial ML è quello di:

• limitare la quantità e la qualità delle informazioni che un avversario può raccogliere in automatico attraverso attacchi information gathering;

• creare un apprendimento robusto, capace di far fronte alla presenza di un certo numero di esempi completamente sbagliati da cui “imparare”;

• rinunciare a pronunciarsi (e sollevare un allarme) se gli esempi che si trova di fronte sono significativamente diversi (a livello statistico) da quelli da cui ha “imparato”.

Ma c’è un altro aspetto ancora più importante. Sin dalla fase progettuale, il sistema di rilevazione deve tenere conto delle caratteristiche (feature) difficilmente manipolabili di un’istanza attacco (es. caratteristiche la cui manipolazione è controproducente per la riuscita dell’attacco), in maniera da incrementare in maniera significativa il costo di eventuali manipolazioni da parte di un avversario. In questo senso, occorre fare particolare attenzione ai sistemi basati su Deep Learning - ovvero reti neurali complesse - ormai “trending”, in cui il sistema apprende automaticamente le feature dall’insieme di esempi, ma in cui non esiste alcun criterio di sicurezza in tal senso. Dunque, feature apparentemente molto discriminanti (sugli esempi usati per la verifica di prestazioni) potrebbero essere facilmente manipolate da un avversario (in fase operativa) per evadere la rilevazione.

Il punto è che tipicamente queste informazioni non sono disponibili sui dati di addestramento. Diventa dunque fondamentale innescare un processo continuo in grado di:

• reperirle attraverso una accurata analisi dell’applicazione specifica;

• inglobarle nel modello stesso di base utilizzato dall’algoritmo di apprendimento.

Entrambe le fasi necessitano di un esperto di dominio.

Ed ecco che torniamo al concetto di interazione uomo-macchina. Uomo e macchina possiedono base, conoscenza e capacità complementari, ed è dunque fondamentale instaurare un canale di comunicazione efficace capace di mettere a fattor comune efficacemente tali prerogative e in definitiva raggiungere gli scopi per cui l’interazione è stata pensata.

Se lo sviluppo di Adversarial ML tratta del flusso di informazione che dall’uomo va verso la macchina, spiegabilità e consapevolezza sono termini che si riferiscono in particolare al flusso di informazione che dalla macchina va verso l’uomo.

I sistemi basati su AI devono fornire le informazioni chiave all’uomo perché questi capisca, nella maniera modo più semplice possibile, perché hanno preso una certa decisione (spiegabilità - explainability), in maniera che affinché l’uomo possa contribuire in maniera efficace al processo, ad esempio, inviando alla macchina informazioni in grado di correggere eventuali errori di valutazione. Tale spiegabilità è a sua volta fondamentale per la consapevolezza (awareness) dell’uomo circa gli eventi elaborati dalla macchina. In sicurezza informatica, la situational awareness - consapevolezza dello stato di sicurezza dei sistemi monitorati - è uno degli obiettivi ultimi, e dunque la spiegabilità dei processi di elaborazione della componente AI diventa di cruciale importanza.

Ancora una volta i sistemi basati su Deep Learning risultano inadeguati: essi hanno la caratteristica di rendere imperscrutabili le decisioni prese. Esistono lavori di ricerca che cercano di ovviare a questo deficit, ma il problema sta alla radice dell’algoritmo di apprendimento, che rientra fra quelli di tipo black-box “a scatola chiusa.”

Ogni qual volta si parla di AI applicata alla sicurezza informatica, è dunque fondamentale rivolgersi verso sistemi basati su Adversarial ML e XAI (eXplainable AI), progettati sin dal principio per operare in ambiente ostile e rispondere in pieno ai requisito della spiegabilità delle decisioni.

Igino Corona

(co-founder di Pluribus One srl : https://www.pluribus-one.it) 

Note:

[1] Biggio, B., Corona, I., Maiorca, D., Nelson, B., Srndic, N., Laskov, P., Giacinto, G., Roli, F.: Evasion attacks against machine learning at test time. In Blockeel, H., ed.: European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD). Volume 8190., Springer-Verlag Berlin Heidelberg, Springer-Verlag Berlin Heidelberg (2013) 387–402

[2] Shokri, R., Stronati, M., Song, C., Shmatikov, V.: Membership inference attacks against machine learning models. In: 2017 IEEE Symposium on Security and Privacy, SP 2017, San Jose, CA, USA, May 22-26, 2017, IEEE Computer Society (2017) 3–18

[3] Demontis, A., Melis, M., Pintor, M., Jagielski, M., Biggio, B., Oprea, A., Nita- Rotaru, C., Roli, F.: Why do adversarial attacks transfer? explaining transferability of evasion and poisoning attacks. In: 28th Usenix Security Symposium. Volume 28th USENIX Security Symposium (USENIX Security 19)., USENIX (08/2019 2019) 321–338

[4] Sicurezza del Machine Learning, Stato della ricerca sulla sicurezza del Machine Learning - https://www.pluribus-one.it/it/ricerca/sec-ml/sec-ml-ricerca

[5] B. Biggio, F. Roli, Wild patterns: Ten years after the rise of adversarial machine learning, Pattern Recognition, Elsevier, vol. 84, 317–331, 2018 - https://www.sciencedirect.com/science/article/abs/pii/S0031320318302565

[5] B. Biggio, M. Mauri, Is Artificial Intelligence Safe? - https://www.pluribus-one.it/it/chi-siamo/blog/81-artificial-intelligence/73-is-ai-safe

[6] C. Baraniuk, Machine mind hack: The new threat that could scupper the AI revolution, New Scientist - https://www.newscientist.com/article/mg24232270-200-machine-mind-hack-the-new-threat-that-could-scupper-the-ai-revolution/

[7] K. Quach, Fool ML once, shame on you. Fool ML twice, shame on... the AI dev?, The Register https://www.theregister.com/2019/02/21/ai_attack_transfer/

[8] F. Roli, M. Mauri, Artificial Intelligence: past, present, and future. Part I - Short history of Artificial Intelligence - https://www.pluribus-one.it/it/chi-siamo/blog/81-artificial-intelligence/75-ai-history

[9] F. Roli, M. Mauri, Artificial Intelligence: past, present and future. Part II - The Good, the Bad and the Ugly - https://www.pluribus-one.it/it/chi-siamo/blog/81-artificial-intelligence/76-good-bad-ugly-in-ai

[10] D. Bass, Artificial Intelligence vs. the Hackers, Bloomberg - https://www.bloomberg.com/news/articles/2019-01-03/artificial-intelligence-vs-the-hackers

[11] L. Hay Newman, AI Can Help Cybersecurity. If It Can Fight Through the Hype, Wired - https://www.wired.com/story/ai-machine-learning-cybersecurity/

[12] T. Simonite, AI Has a Hallucination Problem That's Proving Tough to Fix, Wired - https://www.wired.com/story/ai-has-a-hallucination-problem-thats-proving-tough-to-fix/