A IA responsável cria confiança no governo

Quando os governos incorporam inteligência artificial à tomada de decisão, os resultados podem ser bons. Os governos, por exemplo, implantaram sistemas baseados em IA efetivamente para gerenciar a capacidade hospitalar, regular o tráfego e determinar a melhor maneira de distribuir benefícios sociais e prestar serviços. Uma abordagem que leva a resultados bem -sucedidos inclui governança adequada, processos cuidadosamente concebidos com base nas contribuições das partes interessadas afetadas e a transparência sobre o papel da IA ​​na tomada de decisão.

However, some government AI systems have unfairly or unwittingly targeted or disadvantaged specific portions of their constituencies—and worse.

A major difference between systems that work and those that fail is the way in which they are created and overseen. An approach that leads to successful outcomes includes proper governance, thoughtfully conceived processes based on input from affected stakeholders, and transparency about AI’s role in decision making.

Chamamos uma abordagem tão abrangente AI responsável . Para alcançá -lo, os governos devem capacitar a liderança e usar a IA para melhorar a tomada de decisão humana - não substituí -la. Uma abordagem de IA responsável deve incluir revisões regulares, integração com ferramentas e modelos de dados padrão e um plano para possíveis lapsos.

Os governos têm outra ferramenta poderosa à sua disposição. Eles podem usar compras para promover a adoção generalizada da IA ​​responsável. Ao fazer adesão aos princípios responsáveis ​​de IA, um pré-requisito para licitar os contratos de IA do setor público, as agências podem garantir que os sistemas que eles criam sejam éticos e transparentes, enquanto integrando gradualmente a IA da IA ​​em sistemas de IA do setor público. Quando os sistemas de IA do governo não são projetados, construídos ou implementados de maneira responsável.

Unintended Consequences of Government AI Systems

In the recent past, several well-publicized lapses have illustrated the unintentional harm that can befall individuals or society when government AI systems aren’t designed, built, or implemented in a responsible manner.

• Após os exames de admissão da faculdade, foram cancelados por causa da pandemia, o governo do Reino Unido usou um algoritmo que determinou notas com base no desempenho passado dos alunos. O sistema reduziu os graus de quase 40% dos estudantes e levou a acusações de que foi tendencioso contra os tomadores de testes de contestar origens socioeconômicas.
• Um tribunal holandês ordenou que o governo Pare de usar um sistema baseado em um algoritmo não revelado - O que pretendia prever se as pessoas cometeriam benefícios ou fraudes tributárias - depois que foi determinado que o sistema violou as leis de direitos humanos e o regulamento geral de proteção de dados da UE. Grupos de cidadãos iniciaram a ação legal depois de descobrir que o sistema havia sido usado para atingir bairros com os residentes principalmente de baixa renda e minorias.
• Uma ONG local processou Buenos Aires por violar os direitos da criança Depois que a cidade adotou um sistema de reconhecimento facial para encontrar suspeitos criminosos. O sistema se baseou em um banco de dados que continha informações sobre crianças a partir de quatro. Quando foi
• A US border control agency deployed a biometric scanning application built on machine-learning systems from multiple vendors. When it was Incapaz de explicar as taxas de falha Devido à natureza proprietária da tecnologia, surgiram preocupações sobre as práticas de prestação de contas e compras da agência. Nos EUA, preocupações com os sistemas de decisão algorítmicos em assistência médica, justiça criminal, educação, emprego e outras áreas resultaram em ações judiciais. Os lapsos também levaram a esforços organizados para rastrear fornecedores de "ator ruim" e promulgar políticas ou leis para limitar o uso de sistemas de IA do setor público ou, no mínimo, torná-los mais transparentes. Um relatório do comitê parlamentar de 2020 no Reino Unido sobre IA e padrões públicos constatou que as agências do governo e do setor público não estão tão abertas quanto devem ser sobre o uso da IA. O relatório pediu ao governo que defenda novos padrões de transparência e criasse processos eficazes de supervisão para mitigar os riscos. Com o tempo, essa desconexão pode prejudicar a legitimidade do governo e a crença dos cidadãos e o apoio à autoridade governamental em geral. De acordo com a pesquisa da BCG, quando as pessoas têm uma experiência positiva com a entrega on-line de serviço público, ele fortalece sua confiança no governo. Mas quando eles têm uma experiência negativa, ela tem um efeito desproporcionalmente prejudicial na confiança. Se a implantação da IA ​​pelos governos é para ganhar a confiança dos cidadãos, eles precisam acertar. A IA responsável promoverá a confiança e a licença em andamento que os governos precisam para usar o aprendizado de máquina para melhorar seu próprio desempenho.

These lapses and others like them have led to widespread criticism and legal action. In the US, concerns over algorithmic-based decision systems in health care, criminal justice, education, employment, and other areas have resulted in lawsuits. Lapses have also led to organized efforts to track “bad actor” vendors and enact policies or laws to limit the use of public-sector AI systems or, at a minimum, make them more transparent. A 2020 UK parliamentary committee report on AI and public standards found that government and public-sector agencies are failing to be as open as they should be about AI use. The report called on the government to uphold new transparency standards and create effective oversight processes to mitigate risks.

When lapses occur in government AI systems, trust in public institutions is eroded. Over time, such a disconnect can damage government legitimacy and citizens’ belief in and support for governmental authority in general. According to BCG research, when people have a positive experience with online public-service delivery, it strengthens their trust in government. But when they have a negative experience, it has a disproportionately detrimental effect on trust. If governments’ deployment of AI is to earn citizens’ trust, they need to get it right. Responsible AI will foster both trust and the ongoing license that governments need in order to use machine learning to improve their own performance.

O valor da IA ​​responsável ao governo

As governments contend with the rules that control the use of emerging technologies, those that cultivate citizens’ trust will be better situated to use AI to improve societal well-being. In addition to providing the direct benefits of AI systems, Responsible AI initiatives can foster government legitimacy, increase support for AI use, and help attract and retain people with digital skills.

Fostering Government Legitimacy. Aplicativos baseados em IA compõem uma fração de todos os sistemas e processos governamentais, mas têm um impacto enorme na percepção das pessoas das instituições governamentais. Criá -los de maneira responsável pode incentivar a crença de que o governo está servindo aos melhores interesses dos indivíduos e da sociedade. À medida que o uso governamental da IA ​​aumenta e seu impacto se torna mais difundido, os benefícios de adotar uma abordagem responsável aumentarão. Considerando múltiplas perspectivas garante que uma avaliação ou modelo baseado em IA trate todos os grupos de maneira justa e não prejudicam inadvertidamente qualquer indivíduo ou grupo. Ao buscar informações de um amplo espectro de partes interessadas - grupos de cidadãos, acadêmicos, setor privado e outros - os governos também trazem transparência para o processo, o que pode criar confiança e incentivar o diálogo produtivo sobre a IA e outras tecnologias digitais. Habilidades digitais.

A hallmark of Responsible AI is inclusive development. Considering multiple perspectives ensures that an AI-based assessment or model will treat all groups fairly and not inadvertently harm any one individual or group. By seeking input from a broad spectrum of stakeholders—citizens groups, academics, the private sector, and others—governments also bring transparency to the process, which can build trust and encourage productive dialogue about AI and other digital technologies.

Aumentando o apoio ao uso do governo da IA. em a Estudo anterior do BCG , mais de 30% dos entrevistados disseram ter sérias preocupações sobre as questões éticas relacionadas ao uso do governo da IA. Tais preocupações tornam as pessoas mais propensas a defender a IA. Se os governos quiserem realizar os benefícios potenciais da IA, eles devem tomar medidas para mostrar que os conhecimentos, processos e transparência necessários estão em vigor para resolver essas questões éticas. O programa deve incluir uma estratégia de comunicação bem projetada que detalha as medidas que estão sendo tomadas para garantir que a IA seja entregue com responsabilidade. Se acredita -se que as instituições governamentais estiverem agindo com responsabilidade, elas terão mais licença para implantar a IA para melhorar seu próprio desempenho.

A Responsible AI program can ease public resistance and smooth the way for governments to pursue long-term adoption of AI tools and services. The program should include a well-designed communications strategy that details the steps being taken to ensure that AI is delivered responsibly.

More and more, people recognize the benefits and potential harm brought about by emerging technologies. If government institutions are believed to be acting responsibly, they will have more license to deploy AI to improve their own performance.

Attracting and Retaining Digital Workers. em meio a uma escassez global de talento digital, Trabalhadores com habilidades de IA estão em demanda especialmente alta . Como as empresas do setor privado podem pagar mais, elas têm uma vantagem distinta sobre os governos quando se trata de recrutamento e retenção. Portanto, os governos devem encontrar uma maneira diferente de competir.

Uma opção é se tornar um farol de IA responsável. Os trabalhadores de tecnologia estão particularmente preocupados com as implicações éticas dos sistemas que criam. Em um estudo do pessoal de tecnologia do Reino Unido, um em cada seis trabalhadores da IA ​​disse que havia deixado um emprego em vez de participar do desenvolvimento de produtos que eles acreditavam que poderia ser prejudicial à sociedade. Oferecendo a oportunidade de trabalhar em um ambiente em que as preocupações de funcionários e cidadãos são levadas em consideração e, onde a IA é claramente usada para o bem do público, pode atrair mais pessoas com as habilidades necessárias para os empregos do setor público. Os governos podem obter os benefícios da IA ​​

Achieving Responsible AI

Pursuing AI in a responsible manner is not an either-or proposition. Governments can realize AI’s benefits e deliver technology in a responsible, ethical manner. Many have taken the initial step of creating and publicizing AI principles. A 2019 article in the journal Nature Inteligência da máquina reported that 26 government agencies and multinational organizations worldwide have published AI principles. However, the vast majority lack any guidance on how to put these principles into practice, leaving a gap that could deepen negative perceptions of government AI use.

Os governos podem criar um roteiro para a construção de um programa de IA responsável, capacitando a liderança, desenvolvendo princípios e políticas, estabelecendo um mecanismo de governança humano-mais-AI, conduzindo revisões de casos de uso, integrando ferramentas e métodos (consulte “Seis etapas para preencher a lacuna de IA responsável” Para saber mais sobre esta etapa, que não discutimos abaixo) e construindo e testando um plano de resposta em caso de lapsos. (Consulte a exposição.)

Empower Liderança. Agências governamentais não operam no vácuo. Eles trabalham juntos para desenvolver e prestar serviços públicos e devem trabalhar em silos departamentais para desenvolver IA responsável. Para gerenciar a IA com responsabilidade, o governo pode criar uma unidade de liderança central que adote abordagens e padrões consistentes e holísticos. Esta unidade pode sentar -se no centro do governo ou dentro de uma agência, departamento ou órgão regulatório. A localização não é tão importante quanto garantir que a unidade tenha uma associação diversificada e seja a autoridade reconhecida na criação e liderança de todos os esforços responsáveis ​​da IA. Pode ser uma equipe dedicada recém -formada, uma força -tarefa com pessoal de todo o governo ou uma combinação de ambos. Para garantir uma boa comunicação, cada departamento ou agência deve nomear uma ligação para a unidade de liderança de IA responsável, que deve permanecer independente. Para evitar atrasos, um diretor de análise ou diretor digital pode ter o poder de assumir a propriedade temporária do programa. Os orçamentos anuais também podem ser ajustados para explicar seu custo, embora seja possível redirecionar os orçamentos existentes para as despesas iniciais do programa.

Regardless of how the Responsible AI unit is structured, it may take time to set up because of legal requirements or the need for policymaker approval. To avoid delays, a chief analytics officer or chief digital officer can be empowered to take temporary ownership of the program. Annual budgets may also have to be adjusted to account for its cost, although it may be possible to repurpose existing budgets for initial program expenses.

desenvolver princípios e políticas. pode levar um tempo e um esforço consideráveis ​​para qualquer organização adotar novos princípios e políticas. No governo, o processo é especialmente desafiador. A implementação de uma nova política pode envolver consultas com vários departamentos, agências e reguladores, bem como feedback de especialistas acadêmicos, grupos de cidadãos, indústria e outras partes interessadas externas. Por exemplo, quando o Conselho de Inovação da Defesa propôs os princípios de ética da IA ​​para o Departamento de Defesa dos EUA, o grupo coletou informações de mais de 100 especialistas e recebeu cerca de 200 páginas de comentários públicos, um processo que levou mais de 15 meses. Essas etapas são necessárias, no entanto, para garantir a transparência e a adesão das partes interessadas. Mas o processo não deve impedir que a IA responsável seja implementada ao lado da adoção do sistema de IA inicial - ou desencorajá -lo completamente.

Para evitar atrasos, os governos podem usar os princípios éticos existentes estabelecidos pelas organizações internacionais, enquanto se concentram em como a IA responsável deve ser adaptada ao seu próprio contexto. Por exemplo, mais de 50 países adotaram princípios éticos criados pela Organização para Cooperação e Desenvolvimento Econômico. Esses princípios podem fornecer orientações de curto prazo para as nações que começam a desenvolver programas de IA responsáveis.

Establish human-plus-AI governance. Sistemas de IA de sucesso e ético combinam IA com julgamento e experiência humanos. O papel das pessoas na criação e implantação de IA responsável deve ser elevado sobre a tecnologia para garantir que a tecnologia não opere desmarcada. Os processos que acomodam a experiência e a compreensão das pessoas do contexto levam a melhores resultados. Em um exemplo do setor privado, depois de redesenhar seu modelo de preenchimento de vendas para que os compradores humanos pudessem usar sua experiência e conhecimento das próximas tendências da moda para ajustar os algoritmos, um varejista reduziu sua taxa de erro de previsão em 50% , resultando em mais de US $ 100 milhões em economia por ano. O desenvolvimento da IA ​​deve incluir avaliações abrangentes de riscos de ponta a ponta que incorporam revisões e processos humanos que permitem que qualquer pessoa da organização, ou qualquer usuário final, levante preocupações sobre um problema em potencial. Funções, responsabilidades e responsabilidades precisam ser claras.

Governments must adopt a similar human-plus-AI philosophy. AI development should include comprehensive end-to-end risk assessments that incorporate human reviews and processes that allow anyone in the organization, or any end user, to raise concerns about a potential problem. Roles, responsibilities, and accountabilities need to be clear.

Realize revisões de casos de uso. Para garantir que as revisões do programa sejam realizadas em escala e com supervisão independente, elas devem ser lideradas pela equipe de liderança da unidade. As revisões devem ocorrer regularmente, com a participação de departamentos individuais se um caso de uso específico se enquadrar em sua autoridade. Da mesma forma, os cidadãos devem fazer parte do processo quando a IA afeta um círculo eleitoral ou sociedade específica como um todo; Isso é análogo às empresas que pedem feedback do cliente sobre os produtos em desenvolvimento. Nesses casos, a revisão deve abordar possíveis consequências e sugestões não intencionais para possíveis remédios. O envolvimento dos cidadãos nas revisões gera confiança no uso da IA ​​pelo governo, enquanto o feedback coletado pode ser usado para melhorar a qualidade do serviço. Funções e responsabilidades, processos e procedimentos devem ser estabelecidos para abordá -los. Um plano de comunicação para alertar o público deve ser uma parte essencial de qualquer processo de resposta de IA responsável, pois a transparência ajudará a construir e manter a confiança a longo prazo. Os problemas de comunicação enfatizam a necessidade de a IA ser governada por padrões e supervisão comuns, para que quaisquer problemas possam ser abordados de maneira coordenada. Isso também ajuda a espalhar conhecimentos e conhecimentos em todo o governo, permitindo que todos os departamentos aprendam com os sucessos e fracassos da IA. As unidades de IA responsáveis ​​podem emprestar dos planos de resposta que os governos instituíram em outras áreas, como os adotados por muitas jurisdições para informar os cidadãos sobre violações de segurança cibernética. Os gastos com IA no Oriente Médio e África deveriam saltar 20% em 2020, para aproximadamente US $ 374 milhões, liderados em parte por compras de governos federais e centrais. No ano fiscal de 2019, o governo dos EUA gastou cerca de US $ 1,1 bilhão em IA. Em 2020, o governo do Reino Unido solicitou propostas para projetos de serviços de IA avaliados em aproximadamente US $ 266 milhões. O pedido segue o anúncio de 2018 do governo do Reino Unido de quase US $ 1,34 bilhão em gastos com IA para governo, indústria e academia.

Build and test a response plan. Mistakes happen. Roles and responsibilities, processes, and procedures should be established to address them. A communications plan to alert the public should be a key part of any Responsible AI response process, since transparency will help build and maintain trust over the long term.

Some recent government AI lapses were exacerbated by limited or poor communication. Communication problems underscore the need for AI use to be governed by common standards and oversight so that any issues can be addressed in a coordinated way. These also help spread expertise and knowledge across government, allowing every department to learn from AI’s successes and failures. Responsible AI units can borrow from the response plans that governments have instituted in other areas, such as those adopted by many jurisdictions to inform citizens about cybersecurity breaches.

Using Procurement to Promote Responsible AI

When it comes to promoting Responsible AI, governments have a key advantage: the considerable amount of money that they already spend on AI products and services. AI spending in the Middle East and Africa was expected to jump 20% in 2020, to approximately $374 million, led in part by purchases from federal and central governments. In fiscal 2019, the US government spent an estimated $1.1 billion on AI. In 2020, the UK government requested proposals for AI services projects valued at approximately $266 million. The request follows the UK government’s 2018 announcement of nearly $1.34 billion in spending on AI for government, industry, and academia.

Quando os governos gastam nessa escala, eles podem moldar as práticas de mercado. Eles podem usar seu poder de gastos para definir e exigir altos padrões éticos de fornecedores de terceiros, ajudando a impulsionar todo o mercado em direção à IA responsável. As agências podem exigir que um fornecedor forneça evidências de que instituiu seu próprio programa de IA responsável ou que possa incluir princípios responsáveis ​​de IA em seus critérios de avaliação de fornecedores. O governo do Reino Unido instituiu as diretrizes de compras de IA e os critérios de seleção de fornecedores que incluem explicitamente esses princípios. O governo canadense estabeleceu uma lista de fornecedores pré -aprovados que fornecem serviços de IA responsáveis. Esses exemplos e diretrizes como as criadas pelo

To start with, they can make a vendor’s access to public-sector procurement opportunities contingent on adopting Responsible AI principles. Agencies can require that a vendor provide evidence that it has instituted its own Responsible AI program, or they can include Responsible AI principles in their vendor evaluation criteria. The UK government has instituted AI procurement guidelines and vendor selection criteria that explicitly include such principles. The Canadian government has established a list of preapproved vendors that provide Responsible AI services. These examples, and guidelines such as those created by the Fórum Econômico Mundial , pode servir como modelos para outros governos. Visibilidade em software, algoritmos e dados são necessários para que os governos e o público possam identificar e mitigar riscos potenciais. Mas as empresas desejam manter as informações proprietárias privadas para manter uma vantagem competitiva. O Canadá enfrentou esse desafio, exigindo que os fornecedores comerciais permitam ao governo examinar o código fonte proprietário. Em troca, o governo assumiu responsabilidade por manter a confidencialidade do código -fonte e as metodologias subjacentes. Ao adotar uma abordagem ética e responsável, eles podem fortalecer sua legitimidade aos olhos de seus constituintes, ganhando a licença para implantar a IA de maneiras que ofereçam soluções mais eficazes, eficientes e justas.

Responsible AI procurement practices require governments to balance transparency with the need to protect trade secrets. Visibility into software, algorithms, and data is required so that governments and the public can identify and mitigate potential risks. But companies want to keep proprietary information private to maintain a competitive advantage. Canada confronted this challenge by requiring commercial vendors to allow the government to examine proprietary source code. In exchange, the government assumed liability for maintaining the confidentiality of the source code and underlying methodologies.

---

As governments embrace more advanced technologies such as AI, they must continue to earn the trust of their citizens. By adopting an ethical and responsible approach, they can strengthen their legitimacy in the eyes of their constituents, earning the license to deploy AI in ways that deliver more effective, efficient, and fair solutions.