As novas ferramentas tecnológicas no compartilhamento de dados

Este é o artigo final de nossa série sobre a criação de valor na economia de dados. Mas ele ficaria igualmente decepcionado, a menos que fosse capaz de navegar no anfitrião de

“There’s gold in them thar hills,” cried Yosemite Sam in the old Bugs Bunny cartoons, but he never got to enjoy it.

“There’s gold in them thar data,” Sam might say today. But he’d be equally disappointed unless he was able to navigate the host of compartilhamento de dados Desafios que detalhamos em artigos anteriores nesta série. (Veja a barra lateral abaixo.)

Aqui está o enigma de Sam em poucas palavras. O compartilhamento de dados, por definição, envolve várias partes que tendem a coalescer em torno dos ecossistemas. À medida que esses ecossistemas crescem, eles compartilham mais tipos de dados e dados mais detalhados, entre os membros de uma comunidade em expansão. Eles também desenvolvem soluções que abordam uma gama em expansão de casos de uso, alguns dos quais eram totalmente imprevistos quando os dados foram originalmente gerados ou compartilhados. Cada um desses fatores introduz seu próprio conjunto de compensações de valor de risco. A extensão das compensações depende dos recursos específicos de compartilhamento de dados da plataforma subjacente. (Veja a apresentação de slides.) Essas soluções mudam a fronteira entre o valor, por um lado, e risco e atrito, por outro, em direção ao valor. As equipes de gerenciamento prospectivas devem se educar sobre as questões em jogo e as soluções de tecnologia que entram no mercado.

The good news is that the technology companies that enable many ecosystems either have developed or are developing a host of technological solutions to facilitate data sharing by mitigating risk, enhancing value, and reducing the sources of friction that inhibit sharing. (See the slideshow.) These solutions shift the tradeoff frontier between value, on the one hand, and risk and friction, on the other, toward value. Forward-looking management teams should educate themselves on the issues at stake and the technology solutions coming into the marketplace.

Comece com suas necessidades e metas

Antes de se aprofundar nos detalhes de soluções de tecnologia complexas, as equipes de gerenciamento precisam considerar seu contexto de compartilhamento de dados (por exemplo, seus objetivos, parceiros prospectivos e contribuições potenciais para valorizar) e, em mais prioridades (por exemplo, um eco. Três perguntas têm investigação.

What sharing issues are raised by the underlying data needs, use cases, and scope? Cada setor e ecossistema de compartilhamento de dados tem seus próprios desafios. Por exemplo, o compartilhamento de dados do paciente em uma rede de hospitais apresenta desafios tecnológicos muito diferentes do que compartilhar dados de emissões de carbono entre empresas em um setor ou país específico. Embora ambos possam ter casos de uso claro, o primeiro envolve dados mais particulares e, portanto, sensíveis, que elevam preocupações com a segurança. Ao mesmo tempo, o número relativamente pequeno de empresas que compartilham os dados reduzem o risco e a complexidade. Numa veia semelhante, as empresas que trabalham com dados pessoais podem precisar proteger pontos de dados individuais, enquanto as empresas que compartilham dados da empresa podem querer mascarar informações agregadas para manter vantagem competitiva.

são boas procedimentos de governança de dados em vigor? Desafios comuns, como violações de dados, geralmente ocorrem não devido a déficits tecnológicos, mas devido ao erro do usuário. A gerência deve considerar os facilitadores de compartilhamento de dados e a governança de dados como parte de um processo estratégico. Algumas das ferramentas mais eficazes, como as de gerenciamento e classificação de dados, ajudam as empresas a estabelecer boas práticas de governança, identificando o nível certo de segurança para um determinado tipo de dados. Por exemplo, o gerenciamento de consentimento de dados e os controles de acesso a dados são formas automatizadas de gerenciar a governança. Entre os substitutos da confiança, tecnologias como blockchain, sistemas de classificação, ambientes de execução e interfaces de programas de aplicativos (APIs) diminuem o risco, impondo controles ou criando transparência, introduzindo um intermediário tecnológico no qual todas as partes têm confiança. Entre os obviadores de confiança, tecnologias como aprendizado federado, processamento de borda e interseções privadas reduzem a necessidade de confiança, criando alternativas para o compartilhamento de dados direcionados. Para melhorar o compartilhamento, é importante identificar lacunas de confiança, determinar se você deseja substituir ou reduzir a necessidade de confiança e adotar as soluções tecnológicas corretas. Good data governance practices ensure that technology is used appropriately and consistently. Common challenges such as data breaches often occur not because of technological shortfalls but because of user error. Management should consider data-sharing enablers and data governance as part of one strategic process. Some of the most effective tools, such as those for data management and classification, help companies establish good governance practices by identifying the right level of security for a given type of data. For example, data consent management and data access controls are automated ways of managing governance.

Where do gaps in trust inhibit data sharing? Trust is a prerequisite in many data exchanges, and a good number of data-sharing technologies function as trust substitutes or trust obviators. Among trust substitutes, technologies such as blockchain, ratings systems, execution environments, and application program interfaces (APIs) decrease risk by imposing controls or by creating transparency, introducing a technological intermediary in which all parties have confidence. Among trust obviators, technologies such as federated learning, edge processing, and private set intersections reduce the need for trust by creating alternatives to direct data sharing. To enhance sharing, it’s important to identify trust gaps, determine whether you want to replace or reduce the need for trust, and then adopt the right technological solutions.

Soluções de tecnologia disponíveis

Provedores de nuvem estão integrando recursos de compartilhamento de dados em seus suítes de produtos e investindo em P&D Isso aborda novos recursos, como diretórios de dados, ambientes de execução confiáveis ​​e criptografia homomórfica. Eles também estão em parceria com os orquestradores de ecossistemas específicos do setor para fornecer soluções conjuntas. Em 2018, por exemplo, a Microsoft se uniu à Oracle e Sap para iniciar sua iniciativa de dados abertos, que se concentra na interoperabilidade entre as três grandes plataformas. A Microsoft também iniciou uma campanha de dados abertos para fechar os dados dividir e ajudar as organizações menores a obter acesso aos dados necessários para

Cloud providers are moving beyond infrastructure to enable broader data sharing. In 2018, for example, Microsoft teamed up with Oracle and SAP to kick off its Open Data Initiative, which focuses on interoperability among the three large platforms. Microsoft has also begun an Open Data Campaign to close the data divide and help smaller organizations get access to data needed for Inovação em inteligência artificial (AI) . A Amazon Web Services (AWS) iniciou vários projetos projetados para promover dados abertos, incluindo o AWS Data Exchange e o Programa de Patrocínio de Dados Open. Além desses grandes fornecedores, as empresas de tecnologia especializada e as startups também estão investindo em soluções que mais compartilhamento de dados. A seguir, é apresentada uma lista não -compresa de soluções em cada categoria.

Technology solutions today generally fall into three categories: mitigating risks, enhancing value, and reducing friction. The following is a noncomprehensive list of solutions in each category.

1. Mitigando os riscos do compartilhamento de dados

potenciais riscos financeiros, competitivos e de marca associados ao compartilhamento de dados de divulgação de dados. Para abordar esses riscos, as plataformas de dados estão incorporando soluções para controlar o uso, limitar o acesso dos dados, criptografar dados e criar dados substitutos ou sintéticos. (Consulte Slide 2 na apresentação de slides.)

violações de dados. Aqui estão algumas das soluções tecnológicas projetadas para Evite violações de dados e acesso não autorizado a dados sensíveis ou privados:

• Técnicas de modificação de dados alteram elementos de dados individuais ou conjuntos de dados completos durante a integridade dos dados. Eles fornecem níveis crescentes de proteção, mas a um custo: perda de granularidade dos dados subjacentes. Desidentificação e máscara de máscara Informações do identificador pessoal e Use criptografia, permitindo que a maioria do valor dos dados seja preservada. Criptografias mais complexas podem aumentar a segurança, mas também removem a resolução das informações do conjunto de dados. Soluções em nuvem, como o Microsoft Azure e a AWS, investiram em segurança e interoperabilidade significativas da plataforma. A IOTA, por exemplo, é uma plataforma de contabilidade distribuída para aplicativos de IoT suportados por players industy como Bosch e Software AG. Isso pode ser feito em um nível de software, com técnicas como
• Secure data storage and transfer can help ensure that data stays safe both at rest and in transit. Cloud solutions such as Microsoft Azure and AWS have invested in significant platform security and interoperability.
• Distributed ledger technologies, such as blockchain, permit data to be stored and shared in a decentralized manner that makes it very difficult to tamper with. IOTA, for example, is a distributed ledger platform for IoT applications supported by industy players such as Bosch and Software AG.
• Secure computation enables analysis without revealing details of the underlying data. This can be done at a software level, with techniques such as Computação multipartidária segura (MPC) que permitem que partes potencialmente não confiáveis ​​calculem uma função em conjunto sem revelar suas entradas privadas. Por exemplo, com o MPC, duas partes podem calcular a interseção de seus respectivos dados de dados criptografados, apenas revelando informações sobre a interseção. O Google, por um lado, está incorporando o MPC em suas ferramentas de união e computação privadas de código aberto. A Startup Decentriq está em parceria com a Intel e a Microsoft para explorar a computação confidencial por meio de camisetas. Há uma oportunidade significativa para os provedores de equipamentos de IoT integrarem tees em seus produtos.
• Trusted execution environments (TEEs) are hardware modules separate from the operating system that allow for secure data processing within an encrypted private area on the chip. Startup Decentriq is partnering with Intel and Microsoft to explore confidential computing by means of TEEs. There is a significant opportunity for IoT equipment providers to integrate TEEs into their products.

Data Mis-Sharing and Misuse. As plataformas estão incorporando uma série de funções para controlar o acesso e a distribuição de dados:

• APIs são a forma mais amplamente adotada de controle de acesso. Por exemplo, o Data Middle Office da Alibaba usa APIs para fornecer uma plataforma centralizada de dados e análise que atua como a única fonte de verdade para os dados da empresa. As startups como a Immuta estão construindo controles de acesso de granulação fina, além de ferramentas de máscara e máscara inteligentes para garantir que dados sensíveis sejam usados ​​apenas por aqueles com permissão para fazê-lo.
• Aprendizagem federada permite que os algoritmos AI viajem e treinem dados distribuídos que são retidos pelos colaboradores. Essa técnica foi usada para treinar algoritmos de aprendizado de máquina para detectar câncer em imagens que são retidas nos bancos de dados de vários sistemas hospitalares sem revelar dados sensíveis ao paciente. Os dados podem ser compartilhados com os parceiros para treinar algoritmos ou testar software. Uma plataforma chamada principalmente IA foi projetada para gerar conjuntos de dados sintéticos.
• Synthetic data, a relatively new approach, mirrors the properties of an original data set without disclosing any private information. The data can then be shared with partners to train algorithms or test software. A platform called Mostly AI is designed to generate synthetic data sets.

Riscos de qualidade de dados. A marca d'água de dados, por exemplo, pode documentar a origem precisa dos dados provenientes de terceiros, e qualquer violação removerá ou distorcerá a marca d'água. A Adobe anunciou recentemente sua iniciativa de autenticidade de conteúdo, que incorpora uma cadeia criptografada de metadados na mídia digital para revelar proveniência e potencial adulteração. Before using data, it’s critical to understand its provenance, relability, and authenticity. Data watermarking, for example, can document the precise origin of data sourced from third parties, and any tampering will remove or distort the watermark. Adobe recently announced its Content Authenticity Initiative, which embeds an encrypted chain of metadata into digital media to reveal provenance and potential tampering.

2. Aprimorando o valor do compartilhamento de dados

Apesar da analogia frequentemente citada, os dados não são uma mercadoria bem com preços como o petróleo. Os dados têm valores muito diferentes, dependendo de sua singularidade, o caso de uso ou problema de uso específico que pode ajudar a resolver e o grau em que os clientes estão dispostos a pagar pela solução. Valorizar dados é difícil. As plataformas de dados estão criando ferramentas para ajudar a avaliar e capturar esse valor. (Consulte Slide 3 na apresentação de slides.)

Identificação do valor. Por exemplo, o corretor de dados Dawex está construindo soluções de IA que correspondem aos vendedores e compradores de dados. A empresa também fornece um serviço para ajudar a avaliar conjuntos de dados usando fatores como volume, histórico, integridade, validade e raridade. As competições de dados são outra maneira de ajudar os proprietários a encontrar casos de uso para seus dados. Embora a IA seja tradicionalmente vista como um meio de obter informações de dados, ela também pode ser usada para valorizar os próprios dados. Inteligência coletiva e aumentada contra a Covid-19, uma nova coalizão de pesquisadores e organizações sem fins lucrativos (incluindo o Instituto Stanford de inteligência artificial e UNESCO centrada em humanos), estão alavancando a IA para analisar os conjuntos de dados concorrentes, a fim de organizar e avaliar a qualidade dos dados disponíveis. Outras ferramentas de validação de dados, como classificações, também podem ajudar na avaliação de valor e estão sendo aplicadas em mercados de dados em blockchain emergentes. Semelhante às matérias -primas que são transformadas ao longo de uma cadeia de valor em um produto utilizável, os dados podem ser manipulados e combinados - e seu valor aumentado. Funções como micropagamentos, contratos inteligentes e sistemas de assinatura estão sendo incorporados em plataformas de dados para capturar valor. Soluções de controle de acesso, permissões e rastreamento de dados garantem que os dados sejam roteados apenas para o uso pretendido. Novas startups como Digi.me e Solid, uma tecnologia de código aberto desenvolvido em parte pelo inventor da World Wide Web Tim Berners-Lee, ajudam os consumidores a controlar e monetizar seus dados por meio de tecnologias de contêineres de dados pessoais. Solid, por exemplo, armazena dados em "Pods" em um formato interoperável e fornece aos usuários as ferramentas para controlar quais organizações e aplicativos podem acessar seus dados. Esse tipo de tecnologia também pode ser aplicado aos dados corporativos. Some data marketplaces are employing AI to match data to potential use cases. For example, data broker Dawex is building AI solutions that match sellers and buyers of data. The company also provides a service to help evaluate data sets using factors such as volume, history, completeness, validity, and rarity. Data competitions are another way to help owners find use cases for their data.

Value Assessment. Once use cases have been identified, how can enterprises determine the value they should receive in exchange for sharing their data? While AI is traditionally viewed as a means of deriving insights from data, it can also be used to value the data itself. Collective and Augmented Intelligence Against COVID-19, a new coalition of researchers and nonprofits (including the Stanford Institute for Human-Centered Artificial Intelligence and UNESCO), are leveraging AI to sift through competing data sets in order to organize and evaluate the quality of available data. Other data validation tools, such as ratings, can likewise help with value assessment and are being applied in emerging blockchain data marketplaces.

Value Capture. As data travels from it point of origin to use, it can pass through multiple entities. Similar to raw materials that are transformed along a value chain into a usable product, data can be manipulated and combined—and its value enhanced. Functions such as micropayments, smart contracts, and subscription systems are being embedded into data platforms to capture value. Access control, permissions, and data-tracing solutions ensure that data is routed only for the intended use. New startups such as Digi.Me and Solid, an open-source technology developed in part by World Wide Web inventor Tim Berners-Lee, help consumers control and monetize their data through personal data container technologies. Solid, for example, stores data in “pods” in an interoperable format and provides users with the tools to control which organizations and applications can access their data. This type of technology could be applied to enterprise data as well.

3. Reduzindo o atrito no compartilhamento de dados

Os dados geralmente estão ocultos atrás das paredes corporativas, por isso pode ser difícil saber quais dados existem. As soluções estão surgindo para pesquisar dados potencialmente valiosos e depois transferi -los e transformá -los em formulários utilizáveis. (Consulte Slide 4 na apresentação de slides.)

Dados escuros. Os diretórios de dados cruzados de entrada, como os fornecidos por mercados como Azure e AWS, podem fornecer visibilidade dos tipos de dados que existem. Por exemplo, a Dawex está construindo uma tecnologia de mercado de dados que pode pesquisar em uma variedade de fontes de dados (entre dimensões como tipos de dados, atributos e séries temporais) fornecidas por colaboradores individuais. In a data-sharing ecosystem, there is a need to both discover unknown (or “dark”) data behind enterprise walls and aggregate data from disparate sources. Cross-enterprise data directories, such as those provided by marketplaces like Azure and AWS, can provide visibility into the types of data that exist. For example, Dawex is building a data marketplace technology that can search through a variety of data sources (across dimensions such as data types, attributes, and time series) provided by individual contributors.

Complexidade da agregação. Dados de diferentes fontes terão diferentes definições, formatos e significados. Empresas como TAMR e Trifacta estão desenvolvendo "disputa de dados" e ferramentas de curadoria de dados para identificar, limpar e interpretar dados para que possam ser facilmente compreendidos e combinados.

Barreiras à interoperabilidade. Devido à prevalência de tipos de dados heterogêneos e fontes de dados, as empresas estão investindo em padrões de dados e modelos de dados harmonizados. Por exemplo, em meados de 2020, a Microsoft adquiriu o ADRM Software, uma empresa de análise de dados com um grande conjunto de modelos de referência de dados do setor que facilitam a agregação e análise de dados para empresas. Outras arquiteturas de referência, como o LF Edge, o Modelo de Arquitetura de Referência do IDS e o ISHARE, podem permitir transações de ponto a ponto seguras e escaláveis. Essas iniciativas estão definindo metadados semânticos, que atribuem contexto e significado a um conjunto de dados e criando registros para facilitar a interpretação, a agregação e a análise dos dados.

Barriers to Transfer. Fundamental para o compartilhamento é a capacidade de transferir dados de seu ponto de origem para o uso pretendido com velocidade suficiente e sem tanta sobrecarga que o valor dos dados está comprometido. Ferramentas tradicionais, como APIs, plataformas de streaming (Apache Kafka, por exemplo), soluções de conectividade (5G) e recursos do fornecedor da nuvem, como o compartilhamento de dados do Azure, já levaram a muitos avanços nessa área. Os provedores de plataforma de dados e orquestradores de ecossistemas estão investindo em soluções para impulsionar o limite da troca de valor de valor de risco no compartilhamento de dados, permitindo o acesso e a análise controlados e protegendo os dados subjacentes. É um mercado complexo que está tomando forma e as equipes de gerenciamento corporativo com interesses ou ambições de compartilhamento de dados precisam se atualizar. O think tank de estratégia do grupo, dedicado a explorar e desenvolver novas idéias valiosas de negócios, tecnologia e ciência, adotando a poderosa tecnologia das idéias. O Instituto envolve os líderes em discussões e experimentações provocativas para expandir os limites da teoria e prática dos negócios e traduzir idéias inovadoras de dentro e além dos negócios. Para mais idéias e inspiração do Instituto, visite nosso

---

There is gold in data sharing, which leads quickly to more efficiencies for companies, new services for customers, and new models and revenue streams. Data platform providers and ecosystem orchestrators are investing in solutions to push out the boundary of the risk-value-friction tradeoff in data sharing by enabling controlled access and analytics while protecting the underlying data. It’s a complex marketplace that’s taking shape, and corporate management teams with data-sharing interests or ambitions need to get up to speed.

The authors thank their colleague Aldo Ninassi for contributions to this article.