Inteligência artificial é uma ameaça à segurança cibernética. Também é uma solução.

In May 2018, the New York Times reported that researchers in the US and China had successfully commanded Sistemas de Inteligência Artificial (AI) Desenvolvido pela Amazon, Apple e Google para fazer coisas como telefones e sites abertos - sem o conhecimento dos usuários dos sistemas de IA.  É um pequeno passo para comandos mais nefastos, como desbloquear portas e transferir dinheiro. E enquanto Alexa, Siri e Google Assistant podem ser os programas de IA mais usados ​​em operação, eles dificilmente são os únicos.  Não é difícil imaginar ciber-thieves visando o software de reconhecimento de clientes controlado por uma instituição financeira ou um concorrente obscuro atacando o algoritmo de preços de AI de outra empresa.  De fato, mais de 90% dos profissionais de segurança cibernética nos EUA e no Japão esperam que os atacantes usem a IA contra as empresas em que trabalham, de acordo com uma pesquisa da empresa de segurança cibernética Webroot.

Para pessoas com responsabilidade pela segurança corporativa - todo mundo de CIOs para CISOs e CROs - AI apresenta dois tipos de risco que mudam a natureza de seus empregos. A primeira é que criminosos, maus atores do estado, concorrentes sem escrúpulos e ameaças internas manipularão os programas incipientes de suas empresas. O segundo risco é que os invasores usarão a IA de várias maneiras para explorar vulnerabilidades nas defesas de suas vítimas. 

As empresas estão em uma corrida armamentista de segurança cibernética. Como o relatório de ameaças globais da empresa de segurança cibernética Crowdstrike deixa claro, os invasores têm acesso fácil a mais ferramentas, à medida que as linhas entre atores estatais e gangues criminosos desaparecem. Os kits de roubo de malware e identidade são fáceis de encontrar e baratos de comprar em trocas da Web Dark. Os kits de ataque habilitados para a AI estão a caminho, e podemos esperar que eles estejam prontamente disponíveis a preços das commodities nos próximos anos.

No entanto, para todo o risco inerente que a IA apresenta, parte da resposta pode estar em aproveitar o poder da própria IA para fortalecer as configurações existentes de segurança cibernética. Nossa experiência mostra que as empresas podem começar a proteger seus sistemas integrando a IA em sua segurança, começando agora.  Pontuação de crédito mais rápida e precisa para bancos, diagnóstico de doenças aprimorado e desenvolvimento de tratamento para empresas de assistência médica e recursos aprimorados de engenharia e produção para os fabricantes são apenas alguns exemplos. Uma pesquisa em 2017 pela BCG e pelo MIT Sloan Management Review constatou que cerca de 20% das empresas já incorporaram IA em algumas ofertas ou processos e que 70% dos executivos esperam que a IA desempenhe um papel significativo em suas empresas nos próximos cinco anos. 

A New Risk for Companies…

The list of actual AI applications is already long and growing.  Faster and more accurate credit scoring for banks, improved disease diagnosis and treatment development for health care companies, and enhanced engineering and production capabilities for manufacturers are just a few examples. A survey in 2017 by BCG and MIT Sloan Management Review found that about 20% of companies have already incorporated AI in some offerings or processes and that 70% of executives expect AI to play a significant role at their companies in the next five years. 

Com todos os benefícios, no entanto, surgem riscos substanciais.  Por exemplo, algoritmos de aprendizado de máquina e outros tipos de trabalho de IA usando dados de “treinamento” para aprender a responder a diferentes circunstâncias. Eles então aprendem fazendo, incorporando dados adicionais enquanto trabalham, refinando sua abordagem de maneira iterativa.  (Ver " Os blocos de construção de inteligência artificial= , ”Artigo do BCG, setembro de 2017 e“ O grande salto em direção à IA em escala , "Artigo do BCG, junho de 2018.) De uma perspectiva de segurança, essa metodologia apresenta dois desafios. Os modelos de tomada de decisão subjacentes e os dados não são necessariamente transparentes ou interpretáveis ​​rapidamente (embora esteja em andamento um esforço significativo para melhorar a transparência de tais ferramentas). As preocupações com a segurança cibernética são uma consideração na adoção da IA, especialmente para os pioneiros nesse campo, a cibersegurança é menos preocupante para as empresas que estão atrasadas. (Ver 

First, AI systems are generally empowered to make deductions and decisions in an automated way without day-to-day human involvement.  They can be compromised, and that can go undetected for a long time. Second, the reasons that a machine-learning or AI program makes particular deductions and decisions are not always immediately clear to overseers.  The underlying decision-making models and data are not necessarily transparent or quickly interpretable (although significant effort is under way to improve the transparency of such tools). This means that even if a violation is detected, its purpose can remain opaque.  As more machine-learning or AI systems are connected to, or placed in control over, physical systems, the risk of serious consequences—including injury and death—from malevolent interference rises.  And we have already seen that while cybersecurity concerns are a consideration in the adoption of AI, especially for pioneers in this field, cybersecurity is of less concern to companies that are lagging behind. (See  Inteligência artificial nos negócios fica real= , um relatório do MIT Sloan Management Review em colaboração com o Instituto BCG Henderson, outono de 2018.)

As iniciativas de IA das empresas apresentam uma variedade de vulnerabilidades em potencial, incluindo corrupção maliciosa ou manipulação dos dados de treinamento, implementação e configuração de componentes.  Nenhum setor é imune, e existem muitas categorias nas quais o aprendizado de máquina e a IA já desempenham um papel e, portanto, apresentam riscos aumentados. Por exemplo:

• Financial (a fraude de crédito pode ser mais fácil, por exemplo)
• Marca ou reputação (uma empresa pode parecer discriminatória)
• Safety, health, and environment (systems might be compromised that control cyberphysical devices that manage traffic flow, train routing, or dam overflow)
• Patient safety (interference might occur in medical devices or recommendation systems in a clinical setting)
• Intervenção em, ou se intrometer em dispositivos conectados à Internet das Coisas (IoT) que usam sistemas de aprendizado de máquina ou IA

… e uma oportunidade também

The good news for companies is that they can tap the power of AI to both upgrade their cybersecurity capabilities and protect their AI initiatives (so long as they layer in appropriate protections to the AI systems being used for defense). Moreover, investments in AI will likely have multiple forms of payback.

For one, companies can build in better protection and the potential to at least stay even with the bad guys. AI not only enhances existing detection and response capabilities but also enables new abilities in preventative defense.  Companies can also streamline and improve the security operating model by reducing time-consuming and complex manual inspection and intervention processes and redirecting human efforts to supervisory and problem-solving tasks.  AI cybersecurity firm Darktrace claims that its machine-learning technology has identified 63,500 previously unknown threats in more than 5,000 networks, including zero-day exploits, insider threats, and subtle, stealthy attacks.  Consider the number of cyber incidents that the average large bank deals with every day, from the ordinary and innocent (customers mis-entering passwords, for example) to attempted attacks.  They need automated systems to filter out the truly dangerous signal from the more-easily-addressed noise.  In the medium to long term, companies that invest in AI can offer operational efficiencies and potential operating-expense savings. 

Para aprimorar os sistemas e práticas de segurança cibernética existentes, as organizações podem aplicar a IA em três níveis.  Em 2014, a Agência de Projetos de Pesquisa Avançada de Defesa dos EUA anunciou seu primeiro Darpa Cyber ​​Grand Challenge, uma competição na qual hackers profissionais e pesquisadores de segurança da informação desenvolvem sistemas automatizados que podem descobrir falhas de segurança e desenvolver e implantar soluções em tempo real.  Embora ainda seja o início dos dias, o futuro da segurança cibernética provavelmente se beneficiará de mais sistemas de prevenção e proteção de AI-i-iabled que usam técnicas avançadas de aprendizado de máquina para endurecer as defesas.  Esses sistemas também provavelmente permitirão que os seres humanos interajam de maneira flexível com a tomada de decisão algorítmica.  Uma é da detecção baseada em assinatura (um conjunto de regras estáticas que se baseia em sempre estar atualizado e reconhecer uma assinatura de ataque) para melhorar os métodos mais flexíveis e continuamente melhorados que entendem de que linha de base ou atividade normal e de rede são.  Os algoritmos AI podem detectar quaisquer alterações que pareçam anormais - sem precisar de uma definição avançada de anormal.  Outra mudança é ir além das abordagens clássicas com base no aprendizado de máquina que requerem conjuntos de dados de treinamento com curadoria grande.  Algumas empresas empregaram programas de aprendizado de máquina em seus sistemas de segurança por vários anos e tecnologias de detecção mais avançadas baseadas em IA (como aprendizado de reforço e redes neurais profundas) estão agora ganhando tração, especialmente em aplicações de IoT.  A IA também pode fornecer informações sobre fontes de ameaças em potencial de sensores internos e externos ou pequenos pedaços de software de monitoramento que avaliam o tráfego digital, realizando uma inspeção profunda de pacotes. Observe que para a maioria das empresas, a detecção baseada em IA e a potencial atribuição automatizada exigirão um cuidado cuidadoso de design e supervisão de políticas para se conformar com as leis e regulamentos que regem o uso de dados.

Prevention and Protection. For some time, researchers have focused on AI’s potential to stop cyberintruders.  In 2014, the US Defense Advanced Research Projects Agency announced its first DARPA Cyber Grand Challenge, a competition in which professional hackers and information security researchers develop automated systems that can figure out security flaws and develop and deploy solutions in real time.  While it is still early days, the future of cybersecurity will likely benefit from more AI-enabled prevention and protection systems that use advanced machine learning techniques to harden defenses.  These systems will also likely allow humans to interact flexibly with algorithmic decision making.

Detection. AI enables some fundamental shifts.  One is from signature-based detection (a set of static rules that relies on always being up-to-date and recognizing an attack signature) to more flexible and continuously improving methods that understand what baseline, or normal, network and system activity look like.  AI algorithms can detect any changes that appear abnormal—without needing an advance definition of abnormal.  Another shift is to move beyond classic approaches based on machine learning that require large, curated training datasets.  Some companies have employed machine-learning programs in their security systems for several years, and more advanced AI-based detection technologies (such as reinforcement learning and deep neural networks) are now gaining traction, especially in IoT applications.  AI can also provide insights into sources of potential threats from internal and external sensors or small pieces of monitoring software that evaluate digital traffic by performing deep packet inspection. Note that for most companies, AI-based detection and potential automated attribution will require careful policy design and oversight to conform with laws and regulations governing data use.

Resposta. redirecionando os esforços humanos para atividades de maior valor.  A IA também pode facilitar as respostas inteligentes a ataques, fora ou dentro do perímetro, com base em conhecimento e aprendizado compartilhados.  Por exemplo, hoje temos tecnologia para implantar iscas semiautônomas e inteligentes ou "armadilhas" que criam uma duplicata do meio ambiente a serem infiltradas para fazer com que os atacantes acreditem que estão no caminho pretendido e, em seguida, usam o engano para identificar o culpado.  Os sistemas de resposta habilitados para a AI podem segregar redes dinamicamente para isolar ativos valiosos em "locais" seguros ou redirecionar invasores para longe das vulnerabilidades ou dados valiosos.  Isso pode ajudar na eficiência, pois os analistas podem se concentrar na investigação de sinais de alta probabilidade, em vez de gastar tempo encontrando-os.  AI can reduce the workload for cybersecurity analysts by helping to prioritize the risk areas for attention and intelligently automating the manual tasks they typically perform (such as searching through log files for signs of compromises), thus redirecting human efforts toward  higher-value activities.  AI also can facilitate intelligent responses to attacks, either outside or inside the perimeter, based on shared knowledge and learning.  For example, today we have technology to deploy semiautonomous, intelligent lures or “traps” that create a duplicate of the environment to be infiltrated to make attackers believe they are on the intended path and then use the deceit to identify the culprit.  AI-enabled response systems can segregate networks dynamically to isolate valuable assets in safe “places” or redirect attackers away from vulnerabilities or valuable data.  This can help with efficiency as analysts can focus on investigating high-probability signals rather than spending time finding them. 

A implementação da resposta automatizada orientada a IA exigirá um design cuidadoso e planejamento estratégico. Isso será especialmente verdadeiro quando se trata de usuários que devem ser isolados ou em quarentena e sistemas que funcionam na interface física digital (como vínculos críticos em cadeias de fabricação ou suprimento ou dispositivos médicos de cuidados críticos em hospitais ou configurações de emergência).  Em 2016, o então presidente da REBAMA conversou com a revista Wired sobre seus medos de um atacante habilitado para a AI que acessou os códigos nucleares dos EUA. "Se esse é o único trabalho, se é auto-ensino e é apenas um algoritmo realmente eficaz, você tem problemas", disse ele. A IA aumenta a velocidade, a resiliência, as oportunidades e as chances dos invasores de sucesso.  Como os algoritmos de AI são auto-aprendizados, eles ficam mais inteligentes a cada tentativa e falha; Seus empreendimentos são continuamente mais bem informados e mais capazes.  Assim como as empresas podem usar a IA para automatizar e melhorar os processos de negócios, os hackers podem automatizar a identificação de vulnerabilidades e explorar a escrita. 

The Race Is On

Cybersecurity has always been an arms race.  In 2016, then-US President Obama talked to Wired magazine about his fears of an AI-enabled attacker accessing the US nuclear codes. “If that’s its only job, if it’s self-teaching and it’s just a really effective algorithm, then you’ve got problems,” he said. AI increases attackers’ speed, resilience, opportunities, and chances ofsuccess.  Because AI algorithms are self-learning, they get smarter with each attempt and failure; their endeavors are continuously better informed and more capable.  Just as companies can use AI to automate and improve business processes, hackers can automate the identification of vulnerabilities and exploit-writing. 

Algoritmos AI tendem a ser públicos, geralmente de código aberto, software amplamente disponíveis na Internet e cada vez mais fáceis de usar.  Assim como o software como serviço que muitas empresas usam, o malware como serviço é comum e é um negócio viável para jogadores criminais.  Existe até um alto grau de competição entre os fornecedores cibernéticos (que podem aproveitar a IA e o aprendizado de máquina para obter vantagem competitiva) para criar malware superior.  Além disso, as bibliotecas e software de IA de código aberto, que dão às empresas uma nova fonte de inovação rápida e barata, também pode ser uma fonte de novas vulnerabilidades. 

Além disso, a IA pode realmente ajudar a malware a evitar a detecção. Embora as empresas de segurança estejam cada vez mais introduzindo recursos de IA e análises comportamentais em seus produtos, muitos softwares de proteção antivírus e pontos finais ainda dependem principalmente da detecção baseada em assinatura.  Em resposta, os invasores desenvolvem kits de ferramentas que ofusquem a natureza e as fontes do malware, dificultando o reconhecimento de sua impressão digital digital. 

Na Web Dark hoje, qualquer pessoa pode comprar um vírus personalizado garantido para não ser detectado pelas 10 ou 20 principais ferramentas antivírus. Mas sistemas defensivos ganham conhecimento ao longo do tempo. Esse conhecimento pode ser frustrado por um algoritmo de AI que aumenta a furtividade de um kit de malware ao longo do tempo, mascarando a identidade do malware com base no que aprende os sistemas de defesa estão detectando. (Consulte a exposição.)

Pense neste cenário. Os invasores costumam usar botnets - redes globais de dispositivos sequestrados (como PCs, smartphones e dispositivos IoT) - para fazer seu trabalho sujo.  Botnets são ferramentas eficazes, mas só podem fazer o que os atacantes as direcionam.  Suponha, no entanto, que o software de comando e controle direcionando uma botnet seja substituído por um algoritmo de IA que permita que ele atue de maneira semi-autônoma.  O botnet agora tem a capacidade de aprender quais de seus ataques estão funcionando e quais não estão, e se ensina a se tornar mais eficaz com base em seus resultados.  Agora, suponha que, quando o botnet descobrir uma vulnerabilidade no sistema de uma empresa, ele é capaz de elaborar seu próprio ataque, de acordo com a avaliação do esquema de maior potencial (roubo de dados, roubo financeiro ou ransomware, por exemplo)-e atualize seu kit de ferramentas de ataque. A IA oferece ao botnet a capacidade de direcionar suas próprias intervenções em série - phishing para depositar uma carga útil, por exemplo, explorar uma vulnerabilidade de software para obter acesso a dados valiosos e, finalmente, encontrar uma maneira de exfiltrar os dados.  Ele pode lidar com cada tarefa sistematicamente e por si só, não exige que alguém a conduza de fora-e sua autodireção ajuda a evitar a detecção.  Em essência, a IA permite que as botnets adaptem os métodos e os kits de ferramentas de ataque dinamicamente operem continuamente com eficácia de pico e penetrem em mais hosts.

AI aumenta as apostas, com uma vantagem para os atacantes.  Eles precisam acertar apenas uma vez para marcar enquanto os defensores precisam defender com sucesso 24/7/365.

Um desafio em duas partes

As empresas precisam abordar a IA e a segurança cibernética de duas perspectivas: protegendo suas próprias iniciativas de IA e usando a segurança cibernética (habilitada) para proteger seu conjunto completo de ativos digitais (habilitado ou não).  Ambos levantam muitas perguntas.  Aqui estão algumas das perguntas mais urgentes a serem consideradas sobre a primeira questão-protegendo iniciativas de IA:

• Como estamos protegendo nossos produtos, ferramentas e serviços à base de IA? Implementação)?
• How do we keep our training data pristine and protect against biased inputs?
• How do we protect the algorithms (or their implementation)?
• Temos procedimentos de controle que impedem que eventos anormais aconteçam e um plano B, caso percebamos que nossos programas de IA estão se comportando de forma anormal? Atribuímos os sistemas de IA uma entrada de matriz de responsabilidade apropriada? Constraímos a IA a suporte à decisão ou sistemas especializados, ou deixamos os programas de IA tomarem decisões por conta própria (e se sim, quais)? Proteguras éticas, de processo, técnico e legal em vigor? Temos controles de compensação? Como testamos? Revisão - e empregue sistemas e implementações redundantes ou algoritmos complementares (AI) que servem como um cheque um do outro.  É claro que isso tem um custo extra (semelhante ao princípio dos quatro olhos baseado em humanos ou à eletrônica redundante de controle de vôo em um avião), que pode afetar alguns casos de negócios inicialmente promissores. Portfólio?
• Do we have the technical and human monitoring capabilities to detect if our AI has been tampered with?
• Have we made conscious decisions about who (or what) can decide and control which capabilities? Did we assign AI systems an appropriate responsibility matrix entry? Do we constrain AI to decision support or expert systems, or do we let AI programs make decisions on their own (and if so, which ones)?
• Do we have the appropriate governance policies and an agreed code of conduct that specify which of our processes or activities are off-limits for AI for security reasons?
• When using AI in conjunction with decisions on cyber-physical systems, do we have appropriate ethical, process, technical, and legal safeguards in place? Do we have compensating controls? How do we test them?
• Have we aligned our cybersecurity organization, processes, policies, and technology to include AI, to protect AI, and to protect us from AI malfunctions?

Some companies might find it useful to adopt a variation of the four-eyes principle—the requirement that certain decisions or actions be approved by at least two people or processes with strict underlying policies for review—and employ redundant systems and implementations or complementary (AI) algorithms that serve as a check on each other.  This, of course, comes at an extra cost (similar to the human-based four eyes principle or the redundant flight-control electronics on an airplane), which may affect some initially promising business cases.

In a similar vein, here are some helpful questions for the second issue, leveraging AI in cybersecurity:

• Where is AI being used in our cybersecurity portfolio?
• Ele está sendo usado de uma maneira que cria eficácia, eficiência ou redução de custo operacional (pelo menos a longo a longo prazo)?
• AI não é uma panacéia; Focamos suficientemente em educar técnicos e usuários finais, pois, por um lado, os seres humanos são, em última análise, a fraqueza -chave na segurança cibernética e, por outro, eles terão que entrar quando a IA sinalizar um problema surgir ou parar de funcionar como esperado?  As empresas podem usar novos recursos poderosos para aprimorar seus esforços gerais de segurança cibernética e permanecer mesmo com bandidos na corrida armamentista de segurança.  Eles também precisam avaliar como a IA é usada em seus produtos e serviços e implementar medidas de segurança específicas para proteger contra novas formas de ataque. Cada vez mais produtos de segurança cibernética incorporarão recursos de IA, e os parceiros externos podem ajudar a integrar essa capacidade em portfólios de segurança cibernética. As empresas podem começar com uma avaliação objetiva de onde estão usando as perguntas descritas acima.  Não há boa razão para atraso. Ryan Goosen

---

The intelligence may be “artificial,” but the risks are all too real.  Companies can use powerful new capabilities to enhance their overall cybersecurity efforts and stay even with bad guys in the security arms race.  They also need to evaluate how AI is used in their products and services and implement specific security measures to protect against new forms of attack. More and more cybersecurity products will incorporate AI capabilities, and external partners can help integrate this capability into cybersecurity portfolios. Companies can start with an objective assessment of where they stand using the questions outlined above.  There is no good reason for delay.