Para onde está o compartilhamento de dados?

Este é o nono artigo de uma série multipart.

por si só, a maioria dos dados tem valor limitado. Mas, quando agregados com outros dados e forjados em insights e aplicativos, os dados podem transformar negócios, criar um valor enorme e ajudar a resolver alguns de nossos maiores problemas sociais. Mas todos esses casos de uso poderosos dependem do compartilhamento de dados, que contém riscos e tem ramificações que podem impedir que muitas empresas agem sobre possíveis oportunidades.

The challenges of data aggregation have led to the emergence of Plataformas e ecossistemas que facilitam o compartilhamento de dados . Eles estão crescendo em tamanho e número (pense em Smart Cites), e mais e mais delas estão permitindo soluções integradas e centradas em cidadãos e negócios que usam dados de fontes díspares. Os gigantes da tecnologia, sendo empresas centradas em dados, se estabeleceram como iniciantes na formação do mercado de compartilhamento de dados. As empresas que estão pensando em participar de ecossistemas de dados precisam considerar as oportunidades - e os riscos - que cada um se apresenta. Inovação, dados e o conto de advertência de Henrietta Lacks

As the benefits of data aggregation increase, four models appear most likely to facilitate broad data sharing within and across industries. Companies that are thinking about participating in data ecosystems need to consider the opportunities—and the risks—that each one presents.

As primeiras plataformas verticais já estão estabelecidas. Dois outros - plataformas mais sujas e infraestrutura compartilhada - estão começando a tomar forma. Estes são todos os modelos nos quais os dados são centralizados, o que tem muitos benefícios. Mas como essas abordagens podem concentrar dados em apenas alguns repositórios, elas potencialmente levantam questões sobre controle sobre o mercado, acesso aos dados e valor que os dados gera. Acreditamos que no horizonte é um quarto modelo descentralizado viável, no qual os dados sindicalizados residem em sua fonte e são acessíveis a outros. (Consulte a exposição.)

Vertical Platforms

Within individual industries, vertical platforms have formed in order to Compartilhe dados e forneça soluções às necessidades direcionadas, como manutenção preditiva, otimização da cadeia de suprimentos, eficiência operacional e otimização de rede. O Skywise da Airbus e a Fleet Insight da Penske, por exemplo, fornecem benchmarking e outros serviços usando dados agregados de companhias aéreas e provedores de logística, respectivamente. A Volkswagen abriu recentemente sua nuvem industrial para empresas externas, convidando os parceiros da plataforma a contribuir com aplicativos de software que aumentam a eficiência da produção da montadora e melhoram suas próprias operações, dimensionando suas aplicações. Plataformas verticais são

According to a recent BCG global survey, three-quarters of manufacturing managers are considering data sharing to improve operations. Vertical platforms are redefinindo a concorrência e desenvolvendo novas oportunidades , particularmente nas indústrias B2B, mas, novamente, seu escopo tende a se limitar a clientes, fornecedores ou parceiros direcionados em um único setor ou setor. Super plataformas agregam dados em verticais e entidades de dados para apoiar o desenvolvimento de aplicativos que abordam novos conjuntos de casos de uso. (Consulte “Sobre as entidades de dados”.) As plataformas de dados abertas da cidade inteligente são exemplos nascentes dessa tendência. Pessoas ou coisas que geram dados para os quais existem inúmeros casos de uso potencialmente valiosos-como serviços de mobilidade, eficiência da grade elétrica e otimização da cadeia de suprimentos, entre muitos outros exemplos-são chamadas de entidades de dados. Eles incluem cidades, residências, carros, fábricas, fazendas e, é claro, indivíduos. A otimização das operações da planta, por exemplo, requer a combinação de dados operacionais de cadeia de suprimentos, clientes, pessoal e máquina. A medição da pegada de carbono de um indivíduo requer dados sobre o consumo de energia doméstica, uso de carros, viagens pessoais e de negócios e consumo de alimentos, entre outros fatores.

Super Platforms

Big companies, both tech giants and traditional industry incumbents, have recognized the value in data sharing and are positioning themselves to capture a significant share by expanding their existing vertical platforms to become super platforms. Super platforms aggregate data across both verticals and data entities to support the development of applications that address new sets of use cases. (See “About Data Entities.”) Smart-city open data platforms are nascent examples of this trend.

Considere, por exemplo, os movimentos da Amazon, Apple e Google para agregar dados de smartphones, assistentes domésticos e carros (eventualmente). Em 2015, o Google lançou o Sidewalk Labs, que trabalhou com o Departamento de Transportes dos EUA para desenvolver uma plataforma de dados de mobilidade e serviços que melhoram o uso de estradas, estacionamento e transporte público, empregando uma variedade de fontes de dados. Alexa, Siri e Google Home estão lutando para construir a maior base de usuários - porque são os usuários que geram os dados que dão valor a esses sistemas. A MindSphere, a ABB Hability de Siemens e a Honeywell Forge, entre outros, estão competindo para ser o ponto de entrada digital da fábrica. Da mesma forma, o John Deere Operations Center, o AGCO's Fuse, o Monsanto Climate Fieldview e a Startup Farmers Business Network estão se posicionando como a super plataforma agrícola, agregando dados agrícolas e aplicando-os a tarefas como gerenciamento de operações, gerenciamento de equipamentos e preparação e plantio de terras. A Schneider Exchange conecta os clientes da Schneider Electric a um ecossistema aberto de provedores de análise e solução que podem desenvolver aplicativos explorando diretamente os dados de todo o sistema elétrico, de geração à transmissão e uso comercial e residencial. O ecossistema de troca permite inovações que podem melhorar a eficiência energética e reduzir as emissões de gases de efeito estufa. A Apple tem sido rigorosa sobre não compartilhar dados de clientes com terceiros. Muitas plataformas, como o John Deere Operations Center for Precision-Agriculture e os sistemas de gerenciamento de permissão da Otonomo para dados de carros inteligentes, adotaram uma política de transparência e anunciar sua segurança, privacidade e uso de procedimentos. Os hiperescaladores, como a Amazon Web Services (AWS) e Microsoft Azure, alguns dos quais também fornecem super plataformas. Os hiperescaladores facilitam o compartilhamento de dados, fornecendo infraestrutura de armazenamento em nuvem e os aplicativos que colocam dados em uso para consumidores e empresas. Eles já hospedam quantidades enormes de dados de todos os tipos de indústrias e estão em uma posição natural para agregar dados construindo conexões entre as empresas.

Most super platforms so far have been consumer focused, but there are also early examples that aggregate data for industrial and B2B uses. Siemens’ MindSphere, ABB Ability, and Honeywell Forge, among others, are competing to be the digital entry point for the factory. Similarly, John Deere Operations Center, AGCO’s Fuse, Monsanto’s Climate FieldView, and startup Farmers Business Network are positioning themselves as the go-to agriculture super platform by aggregating farm data and applying it to such tasks as operations management, equipment management, and land preparation and planting.

Super platforms can also address big societal issues, such as energy efficiency. Schneider Exchange connects Schneider Electric customers with an open ecosystem of analytics and solution providers that can develop applications by tapping directly into data from the entire electrical system, from generation to transmission to commercial and residential use. The Exchange ecosystem enables innovations that can improve energy efficiency and reduce greenhouse gas emissions.

A big issue for super platforms is assuring data entities that they will have some say in where and how their data is used—and that it will not be misused. Apple has been strict about not sharing customer data with third parties. Many platforms, such as the John Deere Operations Center for precision-agriculture data and Otonomo’s permission management systems for smart-car data, have adopted a policy of transparency and advertise their security, privacy, and use procedures.

Shared Infrastructure

Most large companies are migrating at least some of their data and IT infrastructure to cloud services provided by so-called hyperscalers, such as Amazon Web Services (AWS) and Microsoft Azure, some of which also provide super platforms. Hyperscalers facilitate data sharing by providing both cloud storage infrastructure and the applications that put data to use for consumers and businesses. They already host massive amounts of data from all kinds of industries, and they are in a natural position to aggregate data by building connections across companies.

A Microsoft fez uma parceria com vários titulares do setor para alimentar suas plataformas e ecossistemas com armazenamento em nuvem, ferramentas e capacidade de processamento do seu conjunto de produtos do Azure. A AWS busca uma estratégia semelhante, e outros players de tecnologia estão competindo para se tornarem provedores preferidos de nuvem e plataforma. Em 2019, a Microsoft lançou o compartilhamento de dados do Azure, que permite que os usuários do Azure compartilhem seus conjuntos de dados. A Microsoft anunciou recentemente sua aquisição da ADRM Software, um desenvolvedor de modelos de dados específicos da indústria em larga escala. A Microsoft acredita que a combinação da capacidade de modelagem da indústria da ADRM e do poder de armazenamento e computação do Azure permitirá criar um "Data Lake inteligente, onde dados de várias linhas de negócios podem ser harmonizados juntos mais rapidamente". Juntamente com outras duas potências de software corporativo, SAP e Adobe, ele lançou a iniciativa de dados Open, que oferece aos clientes "uma plataforma para uma visão única e abrangente" de seus dados. Outros reconhecem o potencial: a AWS, a IBM Cloud e o Google Cloud estão facilitando o fluxo de dados comuns, como dados climáticos e do mercado financeiro. No caminho, os provedores de nuvem podem oferecer recursos adicionais que permitem que as empresas controlem o acesso aos seus dados, rastreem -os à medida que estão sendo compartilhados nos ecossistemas e monitoram - e potencialmente cobrar - são usados. Os orquestradores de ecossistemas que desejam reforçar o compartilhamento de dados podem mudar todo o ecossistema para a plataforma em nuvem com a melhor funcionalidade de compartilhamento. Da mesma forma, empresas com plataformas focadas em um único objetivo, como a otimização da cadeia de suprimentos, podem explorar os recursos da infraestrutura compartilhada, como a Volkswagen fez com a AWS no estabelecimento de sua “nuvem industrial automotiva”

Cloud hyperscalers are also moving into data sharing. In 2019, Microsoft launched Azure Data Share, which enables Azure users to share their data sets. Microsoft recently announced its acquisition of ADRM Software, a developer of large-scale industry-specific data models. Microsoft believes that the combination of ADRM’s industry modeling capability and Azure’s storage and computing power will enable it to create an “intelligent data lake, where data from multiple lines of business can be harmonized together more quickly.”

Microsoft has clearly made “open data” one of its strategic priorities. Along with two other enterprise software powerhouses, SAP and Adobe, it has launched the Open Data Initiative, which offers customers “a platform for a single, comprehensive view” of their data. Others recognize the potential: AWS, IBM Cloud, and Google Cloud are all facilitating the streaming of common data such as weather and financial market data.

As data sharing generates more value, and as more data migrates to the cloud, providers can differentiate themselves by offering data connectivity services that help clients capture and retain business. Down the road, cloud providers can offer additional features that allow companies to control access to their data, trace it as it is being shared across ecosystems, and monitor—and potentially charge for—its use. Ecosystem orchestrators looking to bolster data sharing can shift the entire ecosystem to the cloud platform with the best sharing functionality. Equally, companies with platforms focused on a single purpose, such as supply chain optimization, can tap the capabilities of shared infrastructure, as Volkswagen has done with AWS in establishing its “automotive industrial cloud.”

Uma alternativa potencial: espaço de dados distribuído

Existem dois drivers de inovação do compartilhamento de dados: agregação e acesso. A agregação de dados de fontes díspares pode levar a mais inovação à medida que os relacionamentos ocultos são revelados. A agregação de mais e mais dados da mesma fonte ao longo do tempo e do espaço pode facilitar as comparações de referência e gerar informações sobre as tendências. Da mesma forma, maior acesso e mais plataformas abertas desbloqueiam a inovação, permitindo que uma base mais ampla de talentos resolva problemas. Concursos de inovação como Kaggle e Drivendata podem ajudar a conectar conjuntos de dados e problemas com talentos analíticos. À medida que os gigantes da tecnologia e outros desenvolvem infraestrutura e serviços para consolidar dados, o impacto dos efeitos da rede os impulsiona em posições poderosas no mercado.

But data concentrated in a few companies’ hands can also hamper innovation if those companies aggregate only limited data types or seek to control access. As tech giants and others build out infrastructure and services to consolidate data, the impact of network effects propels them into powerful positions in the market.

Os governos estão buscando diferentes maneiras de supervisionar essa concentração de informação e capacidade. Uma solução tecnológica poderia emergir na forma de um quarto modelo de compartilhamento de dados que chamamos de espaço de dados distribuído, uma estrutura na qual os dados são gerados, armazenados e compartilhados de maneira descentralizada.

For example, as the EU seeks to bolster data sharing in order to maintain AI competitiveness in the face of US and Chinese tech giants, the need for such a decentralized model is implied in the European Commission’s Estratégia de dados europeus , emitido no início de 2020 com regulamentos propostos após o final do ano. Enquanto muitos detalhes ainda precisam ser esclarecidos, a proposta inicial afirma que “o objetivo é criar um único espaço de dados europeu-um mercado único genuíno para dados, aberto a dados de todo o mundo-onde os dados pessoais e não pessoais, incluindo dados de negócios sensíveis, são seguros e as empresas e o valor de um valor de um valor de alta qualidade. e serviços para consolidar dados, o impacto dos efeitos da rede os impulsiona em posições poderosas no mercado.

Há grandes questões, no entanto, entre onde todos esses dados serão hospedados e quais são as alternativas européias viáveis ​​para super plataformas e hiperescaladores. Aqui estão cinco exemplos que abordam diferentes estágios da jornada de dados.

A number of initiatives and startups may provide some answers and contribute to versions of a distributed data space model coming to market. Here are five examples that address different stages of the data journey.

Coleção. “Sensing de cidadãos” é uma maneira emergente de multidão de dados de origem, permitindo que os indivíduos coletem dados para fins de busca de fatos e formulação de políticas. Os pilotos na Europa e nos EUA, como o projeto de fazer sentido, capturaram dados sobre poluição, ruído e radiação, entre outros tipos de dados. Várias sessões no fórum de dados mundiais da ONU de 2020 abordaram o valor de sensores distribuídos, tanto para aumentar a captura de dados quanto para incentivar a formulação de políticas participativas. A Dfinity, uma base sediada em Zurique, está construindo o "computador da Internet", que usa data centers independentes para combinar o poder de computadores individuais na tentativa de "reverter a monopolização da Internet da Big Tech". A aprendizagem federada é uma abordagem do compartilhamento de dados no qual os dados subjacentes não deixam o controle de seus proprietários. Em vez disso, os algoritmos são treinados remotamente com sua cooperação e as idéias são centralizadas para o uso dos proprietários. A IOTA, uma organização sem fins lucrativos com sede na Alemanha, está construindo uma plataforma de dados baseada em blockchain para aplicativos de IoT. Ele tem o apoio de grandes players industriais, como Bosch, Volkswagen e Schneider Electric.

Computation. Distributed computing creates a virtual network of machines that provides an alternative to cloud computing. DFINITY, a foundation based in Zurich, is building the “Internet Computer,” which uses independent data centers to combine the power of individual computers in an attempt to “reverse Big Tech’s monopolization of the internet.”

Learning. Federated learning is an approach to data sharing in which the underlying data doesn’t leave the control of its owners. Instead, algorithms are remotely trained with their cooperation, and insights are then centralized for the owners’ use.

Storage and Sharing. Distributed ledger technology can enable trusted, distributed data storage and sharing. IOTA, a not-for-profit organization based in Germany, is building a blockchain-based data platform for IoT applications. It has the support of large industrial players, such as Bosch, Volkswagen, and Schneider Electric.

Propriedade. O professor do MIT, Tim Berners-Lee, o inventor da World Wide Web, está tentando reinventar a Internet, armazenando dados do consumidor em “pods” altamente descentralizados controlados pelos indivíduos que geram os dados. Esse conceito, chamado de "estrutura sólida", está sendo perseguida por uma startup, inocente. Outro professor do MIT, Sandy Pentland, criador do MIT Media Lab, está explorando as cooperativas de dados dos cidadãos, que ajudam as pessoas a manter o controle de seus dados, mantendo os benefícios do agrupamento e agregação.

ainda não está pronto para o horário nobre

Esses cinco exemplos são etapas iniciais interessantes, mas, para se manter, essas iniciativas precisarão fornecer mais do que apenas coleta e armazenamento de dados. Os dados de fontes díspares geralmente requerem contexto adicional (na forma de definições de dados, modelos de dados e metadados, por exemplo) para serem reunidos, compreendidos e usados ​​de maneira eficaz. Grande parte desse contexto é dependente do uso de uso e sob um modelo distribuído-sem controle ou curadoria centralizada-pode ser difícil de alcançar. Os espaços de dados distribuídos também requerem fortes ferramentas de governança, padrões e "disputa" para renderizar os dados adequados para uso. Por exemplo, no projeto Making Sense, os cidadãos participantes foram fornecidos não apenas com sensores, mas também com o treinamento necessário sobre calibração, coleta de dados e manutenção de registros.

O conceito de espaço de dados distribuído está capturando a atenção de think tanks, acadêmicos, pesquisadores e investidores. Por exemplo, o Open Data Institute do Reino Unido está explorando o valor do compartilhamento de dados, bem como modelos como trusts de dados e outras instituições de dados. O Govlab da Universidade de Nova York está catalogando diferentes formas de uso de dados para o bem público, incluindo colaboradores de dados de acesso aberto. Venture Capital Fund Outlier A Ventures está apoiando tecnologias que permitem uma economia de dados abertos. Participantes

While the early initiatives are encouraging, it will take a combination of government policy, technical and governance innovation, research, and investment for distributed data platforms to emerge as viable alternatives to super platforms and shared infrastructure.

Implications for Ecosystem Participants

Os vários modelos de compartilhamento de dados apresentam diferentes opções e desafios, dependendo do papel desejado da empresa em um determinado ecossistema. Nós definimos anteriormente três principais Participantes do ecossistema de compartilhamento de dados - orquestradores, colaboradores e facilitadores - e cada um enfrenta seu próprio conjunto de problemas.

orquestradores. Estes são os organizadores e gerentes do ecossistema. Eles definem as regras de governança e captura de valor, fornecem a plataforma para compartilhamento e inovação de dados, coordenam as atividades dos participantes e fornecem um canal para os produtos e serviços dos colaboradores. Os orquestradores normalmente aproveitam soluções de plataforma e infraestrutura como serviço dos hiperescaladores. Alguns orquestradores tentarão estabelecer super plataformas. Em um espaço de dados distribuído, os orquestradores precisarão repensar suas prioridades. Do ponto de vista estratégico, eles precisam avaliar se seus modelos de negócios funcionarão se a propriedade e o controle dos dados se distribuírem e como eles podem continuar agregando valor neste modelo. Em todos os modelos, os orquestradores precisarão incentivar a confiança e a participação protegendo os dados dos colaboradores de maneira transparente. Os colaboradores têm a opção de ecossistemas para participar e provavelmente trabalharão com alguns simultaneamente. Eles devem considerar o modelo de compartilhamento de dados subjacente a cada ecossistema, como esse modelo suportará sua própria estratégia de dados e como o poder será compartilhado com o orquestrador do ecossistema. A super plataforma e os modelos de infraestrutura compartilhada podem atender à necessidade de os colaboradores de sindicizar facilmente dados em vários ecossistemas. Os colaboradores podem então se concentrar no desenvolvimento de soluções de valor agregado em vez de gerenciar dados. Se os espaços de dados distribuídos amadurecerem, os colaboradores poderão recorrer a essas soluções para reduzir sua dependência de hiperesseres e evitar o bloqueio do fornecedor. Vários facilitadores serão necessários para suportar os diferentes modelos. Os gigantes da Tech HyperScaler têm claramente um papel crítico a desempenhar em plataformas verticais e super plataformas. Vários grandes fornecedores de nuvem e plataforma estão fazendo grandes investimentos, e o mercado está reconhecendo a importância do compartilhamento de dados, com empresas de plataforma de dados em nuvem, como Snowflake, se tornando públicas em altas avaliações. Os facilitadores de espaços de dados seguros e distribuídos estão sendo perseguidos por startups e titulares de tecnologia. A IBM, por exemplo, está construindo uma plataforma de dados distribuída com base na tecnologia blockchain. A aceleração do compartilhamento de dados cria oportunidades para os facilitadores criarem soluções mais sofisticadas de compartilhamento de dados com base em modelos centralizados ou distribuídos.

From the point of view of technology, orchestrators need to select partners with sophisticated data-sharing capabilities or explore emerging distributed data space solutions in order to avoid supplier lock-in. From the strategic point of view, they need to evaluate whether their business models will work if data ownership and control become distributed and how they can continue to add value under this model. Under all models, orchestrators will need to encourage trust and participation by protecting contributor data in a transparent manner.

Contributors. Contributors provide data and services to the ecosystem and build products and services using the data that it makes available to them. Contributors have a choice of ecosystems in which to participate and are likely to work with a few simultaneously. They should consider the data-sharing model underlying each ecosystem, how that model will support their own data strategy, and how power will be shared with the ecosystem orchestrator. The super platform and shared-infrastructure models can address the need for contributors to easily syndicate data across multiple ecosystems. Contributors can then concentrate on developing value-added solutions instead of managing data. If distributed data spaces mature, contributors can turn to these solutions to reduce their dependence on hyperscalers and avoid vendor lock-in.

Enablers. These companies provide the ecosystem with infrastructure and tools, such as connectivity, security, or computing resources. Multiple enablers will be needed to support the different models. The hyperscaler tech giants clearly have a critical role to play in vertical platforms and super platforms. Several large cloud and platform providers are making major investments, and the market is recognizing the importance of data sharing, with cloud data platform companies, such as Snowflake, going public at high valuations. Enablers of secure, distributed data spaces are being pursued by startups and technology incumbents alike. IBM, for example, is building a distributed data platform based on blockchain technology. The acceleration of data sharing creates opportunities for enablers to build more sophisticated data-sharing solutions based on either centralized or distributed models.

---

À medida que o valor realizado a partir do compartilhamento de dados cresce, os modelos discutidos aqui evoluirão e outros podem surgir para desbloquear o potencial de valor da economia de dados. Entendendo quais modelos estão disponíveis e como eles se alinham com estratégias específicas de compartilhamento de dados ajudarão as empresas a decidir qual o papel que desejam desempenhar no mundo de crescimento rápido dos ecossistemas de compartilhamento de dados. Tecnologia e ciência abraçando a poderosa tecnologia das idéias. O Instituto envolve os líderes em discussões e experimentações provocativas para expandir os limites da teoria e prática dos negócios e traduzir idéias inovadoras de dentro e além dos negócios. Para mais idéias e inspiração do Instituto, visite nosso