Os benefícios do compartilhamento de dados agora superam os riscos

Muitos dos maiores desafios da indústria de hoje não serão resolvidos apenas por uma empresa que procura apenas, desenhando apenas seus dados proprietários. Questões complexas, como detecção de fraude, otimização da cadeia de suprimentos e descoberta de medicamentos, geralmente podem ser abordadas de maneira mais eficaz por meio da colaboração, reunindo dados de vários participantes do setor. Nesse cenário, todo mundo vence - ambas empresas individuais e a indústria em geral. E a vitória pode ser substancial: em 2019, a Organização para a Cooperação e Desenvolvimento Econômico estimou a oportunidade de valor de compartilhamento de dados em 2,5% do PIB global. Nos EUA, as companhias de seguros de automóveis estão colaborando por meio de uma troca de informações de história de reivindicação chamada Lexisnexis Clue Auto. Para essas seguradoras, compartilhando reivindicações proprietárias

Although most companies remain resistant to strategic data sharing, some industry heavyweights are already realizing the benefits. In the US, automobile insurance companies are collaborating through a claim-history information exchange called LexisNexis CLUE Auto. For these insurers, sharing proprietary claims Dados acelerou significativamente o processo de subscrição e reduziu o risco de responsabilidade; Como resultado, 99% dos subscritores dos EUA participam agora. A empresa aeroespacial européia Airbus também adotou uma abordagem colaborativa com seus fornecedores e clientes. Em 2017, lançou a plataforma digital Skywise para enfrentar os desafios operacionais em todo o setor, como manutenção preditiva e desempenho da frota, através do compartilhamento de dados. Estima -se que a plataforma gerar centenas de milhões de dólares em receita e economia de custos anualmente entre todos os participantes. Mesmo nos casos em que o compartilhamento de dados resolveria alguns problemas intratáveis ​​e geraria valor para todos os envolvidos, os medos dos executivos os impedem. Eles estão preocupados com os desafios de engenharia e regulamentação e, crucialmente, temem que os dados que compartilham possam ser usados ​​contra eles por outras empresas. Mas nossa pesquisa mostra que essas percepções estão em grande parte desatualizadas.

Such examples, however, are outliers. Even in instances when sharing data would solve some intractable problems and generate value for all involved, executives’ fears hold them back. They are concerned about the engineering and regulatory challenges and, crucially, they worry that the data they share might be used against them by other firms. But our research shows that such perceptions are largely outdated.

O que mudou? A tecnologia. Comparado com até cinco anos atrás, o software e as ferramentas de hoje, bem como novas formas de dados, podem mitigar ou resolver muitos dos desafios de engenharia e regulamentação que as empresas (com razão) citam, além de reduzir a necessidade de confiança entre empresas que se beneficiariam da colaboração. Agora é o momento certo para os executivos mais experientes revisitarem o compartilhamento estratégico de dados. Dois obstáculos comumente citados oferecem casos em questão.

New Tech Tackles Engineering and Regulatory Challenges

Today, companies can manage the traditional engineering and regulatory challenges associated with sharing data in wholly new ways. Two commonly cited obstacles offer cases in point.

Obstáculo #1: "Não temos infraestrutura, padrões comuns e talento". Ao longo dos anos, os desafios de engenharia de dados assumiram formas diferentes-por exemplo, as empresas podem não ter o conhecimento interno ou a infraestrutura digital para compartilhar dados de maneira eficiente e segura. Esses déficits foram mais pronunciados pela falta de padrões universais de formatação de dados e protocolos de compartilhamento comum. Os serviços de compartilhamento de dados oferecidos por empresas como Databricks agora estão amplamente disponíveis. Esses serviços fornecem plataformas seguras para as organizações armazenarem, compartilharem e analisarem dados, reduzindo a necessidade de experiência e infraestrutura de tecnologia interna. Além disso, o mundo digital é muito mais padronizado do que era antes, mesmo sem um padrão universal explícito para compartilhar dados. Os conectores entre sistemas, como interfaces de programação de aplicativos, são mais homogêneos e sua documentação mais facilmente acessível do que cinco anos atrás. Por exemplo, antes que os dados possam ser trocados, eles devem ser limpos e formatados. Essa é tradicionalmente uma tarefa demorada. Hoje, a IA generativa pode ser programada para identificar inconsistências e erros nos dados e gerar scripts para corrigir esses problemas, o que permite que as empresas automatizem partes do processo.

While these obstacles have stalled data sharing in the past, new technology provides solutions. Data sharing services offered by companies such as Databricks are now widely available. These services provide secure platforms for organizations to store, share, and analyze data, reducing the need for in-house tech expertise and infrastructure. Moreover, the digital world is far more standardized than it once was, even without an explicit universal standard for sharing data. Connectors between systems, such as application programming interfaces, are more homogenous and their documentation more easily accessible than even five years ago.

Emerging technologies may also soon provide a workaround for companies dealing with talent shortages. For example, before data can be exchanged, it must be cleaned and formatted. This has traditionally been a time-consuming task. Today, generative AI can be programmed to identify inconsistencies and errors within the data and generate scripts to fix these issues, which enable companies to automate parts of the process.

Obstáculo #2: "É muito difícil cumprir com os regulamentos". Eles lutaram para encontrar um caminho direto para a conformidade. Juntamente com os danos à reputação, esse tipo de vazamento tem o potencial de violar os regulamentos de privacidade de dados, como o regulamento geral de proteção de dados da UE. Hoje, no entanto, vários fornecedores oferecem ferramentas que podem ajudar as empresas a lidar com dados confidenciais. Por exemplo, as empresas podem usar ferramentas de descoberta para digitalizar e analisar seus repositórios de dados para identificar informações sensíveis ou confidenciais ocultas antes de compartilharem seus dados. As empresas também podem usar as ferramentas modernas de anonimato de dados para remover ou criptografar PII de maneira irreversível, garantindo que ele não possa ser vinculado a um indivíduo. The rise of strict regulatory frameworks, ranging from data privacy to antitrust to cross-border data flows, has made data sharing feel like more trouble than it’s worth for many companies. They have struggled to find a straightforward path to compliance.

Companies have long been wary of sharing data because of the possibility that sensitive, personally identifiable information (PII) could slip through the cracks. Along with reputational damage, this kind of leak has the potential to violate data privacy regulations like the EU’s General Data Protection Regulation. Today, however, numerous vendors offer tools that can help companies handle sensitive data. For example, companies can use discovery tools to scan and analyze their data repositories to identify hidden sensitive or confidential information before they share their data. Companies can also use modern data anonymization tools to remove or encrypt PII in an irreversible way, ensuring it can’t be linked back to an individual.

Regulação antitruste também pode ser uma preocupação, mas não deve impedir os esforços para compartilhar dados. Como já mencionado, praticamente todas as seguradoras dos EUA colaboram na plataforma automática Lexisnexis Clue. Embora essa parceria possa ter atraído o escrutínio dos reguladores, não - porque o objetivo é abordar questões legítimas em todo o setor. Da mesma forma, os maiores fabricantes automotivos da Alemanha Coccrougou a Iniciativa Catena-X, uma rede colaborativa de troca de dados que-pare por ter sido censurada em terrenos antitruste-recebeu o apoio ativo do governo alemão. Isso geralmente limita o compartilhamento de dados nos blocos regulatórios, como a UE ou os EUA - que fazem trocas de dados nesses blocos desafiadores. Vemos um caminho a seguir, no entanto, com novos tipos de dados que surgiram com o aumento da IA, como recursos, incorporação ou parâmetros do modelo de IA. Essas novas formas de dados, usadas em vez de dados brutos, podem permitir o compartilhamento seguro que respeita os objetivos dos reguladores, como proteger a privacidade de dados individuais - embora isso exigir que os reguladores atualizassem suas políticas para assumir essas novas formas de dados em conta.

There is one caveat: in many parts of the world, regulations governing cross-border data flows are highly fragmented and restrictive. This often limits data sharing to within regulatory blocs, such as the EU or the US––making data exchanges across these blocs challenging. We see a path forward, however, with new types of data that have emerged with the rise of AI, such as features, embeddings, or AI model parameters. These new forms of data, used in lieu of raw data, could allow for safe sharing that respects regulators’ objectives, such as protecting individual data privacy––although this would require regulators to update their policies to take these new forms of data into account.

Trust Is Still Paramount

Advances in technology make handling sensitive data more secure, but companies are still squeamish por causa do risco estratégico percebido. Essa percepção cria um problema de ação coletiva; As empresas veem o valor e o risco, mas raramente um incentivo para serem os primeiros motores. Esse senso de risco pode assumir formas diferentes, dependendo do parceiro de compartilhamento de dados, seja um concorrente direto, um cliente ou fornecedor na cadeia de suprimentos ou um agregador.

Quando as contrapartes de compartilhamento de dados também são concorrentes, as empresas temem revelar sua propriedade intelectual (IP) ou "molho secreto" escondidos nos dados. Por exemplo, as seguradoras de automóveis dos EUA que contribuem para o banco de dados Auto do LexisNexis Clue se preocupam com o fato de que poderiam indiretamente revelar informações confidenciais. Os dados de reclamação contêm informações como o valor pago ou o tipo de veículo que, quando reunidos, podem revelar informações valiosas sobre a base de clientes de uma empresa. No entanto, o Lexisnexis, em seu papel de intermediário de compartilhamento de dados, também fornece confiança- criando recursos. Crucialmente, apenas os membros que relatam seus dados à plataforma podem retirar informações, e o serviço controla estritamente quais informações podem ser retiradas. e (2) os benefícios substanciais do sistema de compartilhamento de dados superam qualquer risco estratégico persistente.

Data sharing therefore works within the industry, despite the risk, because (1) the auto insurers have sufficient trust in one another and the data sharing system; and (2) the substantial benefits of the data sharing system outweigh any lingering strategic risk.

Em outras instâncias, como quando as empresas compartilham dados em suas cadeias de suprimentos, os executivos temem que fornecedores e clientes possam usar dados compartilhados para obter uma vantagem nas negociações comerciais. No caso do banco de dados Skywise do setor de avião, as companhias aéreas participantes estão compartilhando detalhes confidenciais sobre suas operações, como dados de engenharia e engenharia. Esses detalhes podem ser usados ​​pela Airbus ou por outras empresas da cadeia de suprimentos para avaliar coisas como o espaço de uma empresa antes das negociações de preços. No entanto, apesar da existência de risco estratégico, o compartilhamento é possível pela confiança que a Airbus, seus fornecedores e clientes em cada lugar no sistema de compartilhamento de dados e sua capacidade de melhorar o funcionamento da cadeia de suprimentos de uma maneira neutra.

This trust can be explained by Vários mecanismos . Por exemplo, a Airbus construiu transparência na plataforma através da governança de dados, o que torna o comportamento dos participantes observável para outros participantes. A Airbus também criou um ecossistema de participantes confiáveis ​​através do treinamento e da certificação que a Skywise entrega aos parceiros que examinou através de um sistema de verificação intensivo. Considere o pedido de serviço agregado com o Google. Este serviço coleta dados, incluindo preços e itens de menu mais populares, de vários serviços de entrega de alimentos. Mas o Google também possui equipes internas que usam esses dados para entender o mercado e oferecer informações sobre serviços de entrega de alimentos para melhorar os negócios de seus clientes. Essa pode ser a principal razão pela qual o Uber come, por exemplo, não participa do serviço agregado do Google. O Uber provavelmente se beneficiaria das idéias e ordens incrementais, mas sem dúvida não desejariam que seus dados sejam usados ​​para ajudar os concorrentes.

Conversely, when companies don’t trust each other enough, the perceived risk of data sharing outweighs the expected benefits. Consider the aggregator service Order with Google. This service collects data, including pricing and most popular menu items, from multiple food delivery services. But Google also has internal teams that use this data to understand the marketplace and offer the food delivery services insights to improve their clients’ business. This may be a primary reason why Uber Eats, for example, does not participate in Google’s aggregator service. Uber would likely benefit from the insights and incremental orders, but arguably would not want its data used to help competitors.

Como a tecnologia facilita a confiança

The good news is, when trust doesn’t come naturally, technology can help to lower the “trust threshold.” In other words, technology can act as a partial substitute for trust, especially at the start, to ignite the relationship between prospective data sharing partners in the following ways:

• A tecnologia fornece transparência para a governança e uso de dados dos parceiros. A tecnologia pode ajudar a aumentar a confiança entre as empresas, criando sistemas de compartilhamento de dados que são confiáveis. Por exemplo, quando as empresas decidem colaborar, estabelecem acordos de compartilhamento de dados. Esses acordos especificam padrões mínimos de governança de dados - os processos e políticas que cada parceiro deve implementar para gerenciar e proteger quaisquer dados que se enquadram em suas mãos. Historicamente, tem sido difícil monitorar como esses padrões são implementados na prática, mas hoje o software moderno pode ajudar a fornecer transparência para todas as partes envolvidas. Por exemplo, ferramentas especializadas podem criar registros irrevogáveis ​​do histórico de transações de dados para automatizar vários aspectos do monitoramento da governança de dados, incluindo a revisão e a aplicação das políticas de governança de dados de cada parceiro.

  Além da governança, os acordos de compartilhamento de dados também normalmente descrevem como os parceiros podem usar os dados compartilhados. Mas também aqui, esses acordos têm sido difíceis de aplicar, porque é difícil monitorar o que os parceiros fazem com os dados depois de terem acesso a eles. Salas de dados virtuais, como Snowflake Global Data Clean Room, são espaços on -line seguros para armazenamento e distribuição de dados que podem resolver esse problema. Esses espaços incluem ferramentas que definem permissões e restrições nos dados ou rastreiam o acesso e o uso de dados - - permitindo que o proprietário de dados controla como seus dados são usados ​​e analisados, mesmo depois de serem compartilhados.

• A tecnologia reduz o risco de vazamentos de informações estratégicas com dados sintéticos. Além do risco de liberar inadvertidamente dados protegidos pelos regulamentos de privacidade, também existe o risco de liberar dados brutos erroneamente que contêm informações e IP confidenciais da empresa. Uma solução emergente é o uso de dados sintéticos, criados para ter as mesmas características que um conjunto de dados do mundo real, mas sem incluir dados do mundo real. A pesquisa mostrou que os dados sintéticos são muito difíceis de reverter a engenharia quando sintetizados adequadamente, o que permitiria que as empresas cautelosas compartilhassem dados sem medo de um vazamento prejudicial. Ele usa dados de várias empresas, mas os dados não deixam as instalações de cada empresa.

• A tecnologia circunda os dados da empresa de compartilhamento diretamente empregando treinamento de modelo descentralizado. Estamos observando uma fome cada vez maior de dados para treinar modelos de IA. Algumas empresas estão começando a obter os benefícios de treinar em conjunto um modelo de IA com outras empresas, em serviço de abordar questões do setor. Com acesso a um conjunto de dados mais amplo, o modelo conjunto fornecerá informações mais valiosas além da capacidade de uma única empresa. Os modelos conjuntos são normalmente treinados por uma única organização confiável - uma joint venture ou terceiros - carregados para coletar os dados de cada empresa e usar os dados consolidados para treinamento. A aprendizagem federada está emergindo como uma abordagem alternativa e descentralizada. Ele usa dados de várias empresas, mas os dados não deixam as instalações de cada empresa. Isso permite que as empresas compartilhem as idéias incorporadas em seus dados e contribuam para um esforço coletivo sem os riscos associados ao compartilhamento dos dados em si com outras empresas. As empresas codificaram a plataforma para aprimorar os modelos de aprendizado de máquina com dados de cada empresa, mas sem expor diretamente suas informações proprietárias. O interesse dessas empresas farmacêuticas não deve apenas estar em conformidade com os regulamentos de dados de pacientes, mas também para permitir a colaboração em um ambiente de baixa confiança, em que as empresas que colaboram ganham uma vantagem competitiva. O uso de salas de dados virtuais, por exemplo, pode permitir que as empresas monitorem as análises realizadas lá, mas não podem controlar como as contrapartes usarão as idéias derivadas dessas análises. Algum risco permanecerá. As empresas devem aproveitar a tecnologia de hoje para abordar questões em todo o setor, começando a colaborar com as empresas em que ainda não confiam totalmente. À medida que os parceiros se beneficiam do valor de compartilhar dados e ganhar confiança no processo, eles se sentirão incentivados a continuar compartilhando e, em alguns casos, para aprofundar esses relacionamentos ou procurar novos parceiros que possam adicionar mais riqueza e profundidade. Para alguns líderes, esse cenário pode parecer absurdo-mas o software e as ferramentas de hoje fizeram algo que todas as empresas podem alcançar. Inscreva -se

  A recent example of federated learning is the shared platform MELLODDY, developed by a European consortium of ten pharmaceutical companies aiming to accelerate drug discovery. The companies codeveloped the platform to enhance machine learning models with data from each company, but without directly exposing their proprietary information. The interest for these pharmaceutical companies is not only to be compliant with patient data regulations, but also to enable collaboration in a low-trust environment wherein firms that collaborate gain a competitive edge.

---

Technology alone won’t be able to fully overcome the trust gap between companies. The use of virtual data rooms, for instance, may allow companies to monitor the analyses conducted there, but they can’t control how counterparties will use the insights derived from these analyses. Some risk will remain.

But the potential benefits of data sharing increasingly outweigh such risks. Companies should take advantage of today’s technology to address issues across their industry by starting to collaborate with firms they may not yet fully trust.

Over time, technology itself may begin to create a “trust flywheel.” As partners benefit from the value of sharing data and gain confidence in the process, they will feel encouraged to keep sharing, and in some cases, to deepen these relationships or seek out new partners that can add more richness and depth. For some leaders, this scenario may seem far-fetched––but today’s software and tools have made it something all companies can achieve.

The authors would like to thank Gaurav Jha for his contribution to this article.