Few infrastructure technology markets have moved as quickly as data management, analytics, and Inteligência Artificial (Ai). Com os volumes de dados crescendo exponencialmente e a pilha de dados continuando a sofrer uma rápida inovação em uma variedade de áreas de silício a algoritmos, as empresas estão lutando para acompanhar o ritmo. É um dilema que os executivos devem superar não apenas porque Dados e análises são imperativos estratégicos, mas também porque os custos associados são enormes e insustentáveis. Os gastos com software, serviços e hardware relacionados a dados-que já representam cerca de meio trilhão de dólares em todo o mundo-deve dobrar nos próximos cinco anos. Essa combinação de complexidade e custos está abordando muitas empresas em relação a um penhasco que pode prejudicar as operações.
To avoid falling off this precipice, most companies must adopt a fundamentally different approach to their Arquiteturas : um paradigma mais federado e distribuído. A BCG Research determinou que, em muitos casos, essa abordagem permitirá que as empresas resolvam os desafios do acesso e integração de dados em um cenário de dados em silêncio e acelere a inovação, mantendo a capacidade de alavancar lojas de dados legados. Estamos nos primeiros dias desse movimento (que é conhecido por nomes como produtos de dados e malhas de dados) e estamos entrando em uma época emocionante, na qual surgirão novos padrões, categorias de mercado e plataformas de gerenciamento de dados. O planejamento proativo para arquiteturas federadas é crucial para as empresas permanecerem à frente e capitalizar totalmente o potencial desses novos desenvolvimentos. Embora muitas empresas tenham conseguido Jerry-Rig suas arquiteturas de dados ao longo dos anos para acomodar novos tipos de casos de uso, fontes de dados e ferramentas, as novas tendências em breve sobrecarregarão esses esforços e exigirão uma solução mais abrangente. Aumentando
Three Trends Reshaping the Data Landscape
A few key trends are driving profound changes in the data landscape. While many companies have been able to jerry-rig their data architectures over the years to accommodate new types of use cases, data sources, and tools, the new trends will soon overwhelm these efforts and demand a more comprehensive solution.
Trend 1: The Volume and Velocity of Data Are Increasing
O volume de dados gerou aproximadamente dobrou de 2018 para 2021 para cerca de 84 ZB, uma taxa de crescimento que deve continuar. Estimamos que o volume de dados gerados aumentará a uma taxa de crescimento anual composta (CAGR) de 21% de 2021 a 2024, atingindo 149 ZB. De todos os novos dados gerados, muito pouco é realmente armazenado. A porcentagem de dados armazenados aumentará de 6% em 2021 a 7% até 2024, com o armazenamento de dados de arestas e nuvem projetados para crescer em CAGRs de 38% e 40%, respectivamente, de 2021 a 2024 (consulte o STRAPORT 1.). do que o dos dados não estruturados, pois as empresas continuam a expandir os casos de uso de inteligência de negócios, que normalmente usam dados mais estruturados. Além disso, mais de 50% dos dados que algumas empresas armazenam são os chamados dados escuros (o que significa que não são usados de nenhuma maneira para obter informações ou para tomada de decisão), de acordo com entrevistas do setor. Gerenciar esses dados apresenta um enorme desafio, mas também uma tremenda oportunidade.
About 95% of that 84 ZB of data is unstructured, including video streams, voice, and text, yet the storage rate of structured data is growing faster than that of unstructured data as companies continue to expand business intelligence use cases, which typically use more structured data. In addition, more than 50% of the data that some companies store is so-called dark data (meaning it’s not used in any manner to derive insights or for decision making), according to industry interviews. Managing this data poses an enormous challenge but also a tremendous opportunity.
Trend 2: Data Use Cases Are Becoming Both More Accessible and More Specialized
Hyperscalers (como Amazon Web Services, Microsoft Azure, Google Cloud Platform) e fornecedores de plataforma de código aberto (Red Hat, por exemplo) continuaram a tornar a IA e o desenvolvimento de aplicativos orientados a dados mais acessíveis a desenvolvedores e usuários técnicos. Mas a tendência mais emocionante tem sido o crescimento de “cientistas de dados cidadãos” e o empoderamento de usuários não técnicos. Líderes empresariais (como gerentes gerais e
Business users and teams are now more empowered than ever to make both strategic and buying decisions related to data. Business leaders (such as general managers and Oficiais de marketing -chefe ) estão usando ferramentas de relatório e análise de autoatendimento para desbloquear informações orientadas a dados. Por exemplo, as equipes de marketing podem usar fornecedores de aprendizado de máquina de automóveis (ML) como o DataROBOT para fornecer experiências individuais de clientes, e ferramentas de IA embutidas, como o einstein, a inteligência do Salesforce podem ajudar as equipes de vendas a aumentar a análise prevista e a mais que se alferia a uma análise prevista e a mais que se alferia a uma análise prevista e a mais que se alferia a uma análise prevista e a mais que se alferia a uma análise prevista para a possibilidade de aumentar as vendas e aumentar as conversões e aumentar as conversas. difundido entre funcionários não técnicos. Em uma pesquisa recente do BCG, enquanto apenas 45% dos entrevistados afirmaram que sua empresa promove a alfabetização de dados entre todos os funcionários, 73% esperam que o número de consumidores não técnicos de dados aumentará nos próximos três anos. A IA da empresa e o ML começaram como técnicas básicas de ML, como regressão e agrupamento de dados estruturados, para prever clientes de rotatividade e segmento, mas o escopo de problemas e valor comercial que a IA e os dados podem abordar e desbloquear mudaram substancialmente nos últimos dois a três anos. Embora ainda seja cedo, os avanços em aprendizado profundo, hardware acelerador e o surgimento de modelos de IA fundamentais como Bert e
Accessibility will continue to increase as data literacy and a basic understanding of programming languages such as SQL become more widespread among nontechnical employees. In a recent BCG survey, while only 45% of respondents stated that their company promotes data literacy among all employees, 73% expect the number of nontechnical consumers of data will increase in the next three years.
Data, analytics, and AI-related use cases are also getting more sophisticated. Enterprise AI and ML began as basic ML techniques such as regression and clustering on structured data to predict churn and segment customers, but the scope of problems and business value that AI and data can address and unlock have changed substantially in the past two to three years. Although it’s still early, advancements in deep learning, accelerator hardware, and the emergence of foundational AI models like BERT and OpenAI estão redefinindo a arte do possível processamento de idiomas e IA generativa (em outras palavras, a IA que pode gerar conteúdo novo, em vez de simplesmente analisar ou agir em dados existentes), como análise de conversação, atendimento automatizado ao cliente e geração de conteúdo. As empresas ainda estão lidando com fontes de dados e pilhas de tecnologia herdadas, e geralmente não têm talento para gerenciar as enormes alterações do processo de negócios necessárias para utilizar totalmente os casos de uso disponíveis e desbloquear a proposta de valor de dados. De acordo com uma pesquisa recente, apenas 54% dos gerentes acreditam que as iniciativas de IA de sua empresa criam valor comercial tangível. Os modelos de preços de pagamento e pagamento baseados em uso permitem que as empresas escalarem o uso de dados juntamente com o crescimento dos dados, permitindo que eles paguem apenas compuções e análises à medida que o usam. As empresas não estão mais vinculadas por investimentos em infraestrutura ou prazos de compras. (Ajudou que os custos de hardware por megabytes caíram mais de 20% ano a ano de 2013 a 2021.) Os custos de armazenamento em nuvem em declínio incentivam as empresas a coletar e armazenar mais dados para consumo. Os hiperescaladores também estão aumentando os custos de computação e treinamento de IA, desenvolvendo o silício personalizado (AWS Graviton e Google TPUs, por exemplo). De fato, de acordo com nossa pesquisa, alguns clientes reduziram os custos de 25% a 30%, passando para serviços de hiperscaler e computam em execução em silício personalizado.
But our research shows that the technology is evolving faster than some companies can adapt. Companies are still grappling with legacy data sources and technology stacks, and often lack the talent to manage the massive business process changes required to fully utilize available use cases and unlock the data value proposition. According to a recent survey, only 54% of managers believe that their company’s AI initiatives create tangible business value.
Trend 3: Technology Advancements Are Shifting Data Economics
Cloud not only has substantially increased the speed with which companies can adopt newer data technologies but also has shifted the economics. Usage-based, pay-as-you-go pricing models enable companies to scale data usage alongside data growth, allowing them to pay for compute and analytics only as they use it. Businesses are no longer bound by infrastructure investments or procurement timelines.
At the same time, hyperscalers are continuing to shift the economics of data and AI by driving storage costs down. (It helped that hardware costs per megabyte fell by more than 20% year-over-year from 2013 to 2021.) Declining cloud storage costs encourage companies to collect and store more data for consumption. Hyperscalers are also pushing the costs of compute and AI training down by developing custom silicon (AWS Graviton and Google TPUs, for example). Indeed, according to our research, some customers lowered costs by 25% to 30% by moving to hyperscaler services and compute running on custom silicon.
Além da infraestrutura, a camada de software progrediu significativamente. A análise da camada de armazenamento e consumo é cada vez mais dissociada uma da outra, o que oferece aos clientes a flexibilidade de aplicar análises, independentemente do formato e local de armazenamento de dados. Avançar, código aberto continua a avançar a camada de dados. A mesa de código aberto e os formatos colunares, como Apache Iceberg, Parquet e Arrow, estão acelerando essa tendência. The influence of open source goes beyond just storage: it has fundamentally changed the entire data stack, including database management (examples include Cassandra and MongoDB), database-processing engines (Presto, Trino, Spark, Hive), pipelines and integration (Airflow, Dbt), AI and analytics (PyTorch, Spark), and streaming (Kafka). Nossa pesquisa mostra que o uso de código aberto cresceu em mais de 13% ano a ano na última década (com base no número de instalações de código aberto observadas em grandes organizações), o que expande ainda mais os recursos para alavancar dados, incluindo dados escuros e dados não retirados.
Arquiteturas corporativas se estendiam aos limites
Essas três tendências estão criando novas oportunidades interessantes, mas também enormes desafios. Vários problemas internos e externos estão colocando tensão nas arquiteturas atuais. Externamente, o aumento dos regulamentos de privacidade de dados e um ambiente macroeconômico difícil estão criando pressão sobre os gastos com TI. Enquanto isso, a escassez perpétua de dados e o talento da IA está dificultando a lida com esses desafios internos e externos. Em uma pesquisa do BCG, mais de 50% dos líderes de dados disseram que a complexidade arquitetônica é um ponto de dor significativo. Como resultado, muitas empresas se encontram em um ponto de inflexão, em risco de se afogar em um dilúvio de dados, sobrecarregado com complexidade e custos. Mas nem todas as categorias de dados estão atraindo a mesma atenção dos fornecedores. A IA e ML, juntamente com a análise, viram o maior número de novos fornecedores, enquanto o crescimento do fornecedor tem sido plano em outras categorias de dados, incluindo bancos de dados relacionais, como a indústria se consolida em torno de algumas empresas de mercado comercial e de mercado. Aqui estão apenas dois exemplos de fornecedores que competem em mais de uma categoria: o Ataccama começou com a governança de dados e se expandiu para a integração de dados e o mestre de gerenciamento de dados (MDM), enquanto o Snowflake começou como um data warehouse em nuvem e se expandiu para análises e nuvem de dados mais amplas. Infelizmente, pesquisas e entrevistas com os clientes sugerem que os clientes estão lutando para entender essas ofertas sobrepostas, e a paisagem em constante evolução está contribuindo para o mercado
Internally, most enterprises are struggling with the exponential data growth across multicloud and edge, adapting to new data and AI platforms, managing legacy data architectures, and servicing increasingly complex use cases. Externally, the rise in data privacy regulations and a difficult macroeconomic environment are creating pressure on IT spending. Meanwhile, the perpetual shortage of data and AI talent is making it difficult to cope with these internal and external challenges. In a BCG survey, more than 50% of data leaders said architectural complexity is a significant pain point. As a result, many companies find themselves at a tipping point, at risk of drowning in a deluge of data, overburdened with complexity and costs.
One big issue for companies is vendor proliferation across all data categories. According to PitchBook, US investment dollars for companies related to the data stack grew at 36% from 2012 to 2021, with investments totaling about $245 billion during that period. But not all data categories are attracting the same attention from vendors. AI and ML, along with analytics, have seen the greatest number of new vendors, while vendor growth has been flat in other data categories, including relational databases, as the industry consolidates around a few commercial and open-source players.
A potentially more interesting trend is that several companies are coming to market with a data-platform value proposition as they try to redefine traditional data market categories and cross boundaries. Here are just two examples of vendors competing in more than one category: Ataccama started with data governance and has expanded into data integration and master data management (MDM), while Snowflake started as a cloud data warehouse and has expanded into analytics and broader data cloud. Unfortunately, BCG research and interviews with customers suggest that customers are struggling to understand these overlapping offerings, and the ever-evolving landscape is contributing to market Confusão. por maturidade. As empresas de maturidade de dados mais baixas geralmente usam menos fornecedores, têm uma arquitetura centralizada e têm poucos casos de uso. Empresas maiores com uma pilha de dados mais madura experimentam uma fragmentação de pilha mais extrema, geralmente com várias pilhas de dados paralelas que atendem a vários casos de uso. Nessas empresas, o número total de fornecedores de dados exclusivos quase triplicou na última década - de cerca de 50 a quase 150 hoje. (Consulte Anexo 2.) A fragmentação também varia por categorias e submercados. A IA e a inteligência de negócios viram a maior proliferação de fornecedores, enquanto categorias de dados mais maduras, como bancos de dados relacionais, tiveram menor proliferação com a maioria das empresas que padronizam em torno de alguns bancos de dados comerciais e de código aberto. Nossa pesquisa mostra que, à medida que as empresas crescem, diferentes unidades de negócios e equipes constroem pilhas de dados independentes e geralmente isoladas para resolver suas necessidades específicas, criando uma teia de aranha quebradiça de pipelines de integração, armazéns e lagos de dados e fluxos de trabalho da ML. À medida que as empresas aumentam a curva de vencimento, desde orientadas a dados até organizações orientadas pela IA, a complexidade arquitetônica e a fragmentação aumentam inevitavelmente.
This vendor proliferation is driving stack fragmentation and technological complexity at companies of all sizes, but these vary by maturity. Lower data maturity companies typically use fewer vendors, have a centralized architecture, and have few use cases. Larger companies with a more mature data stack experience more extreme stack fragmentation, often with multiple parallel data stacks servicing multiple use cases. At these companies, the total number of unique data vendors has nearly tripled in the past decade—from about 50 to close to 150 today. (See Exhibit 2.) The fragmentation also varies by categories and submarkets. AI and business intelligence have seen the most vendor proliferation, while more mature data categories like relational databases have seen lesser proliferation with most enterprises standardizing around a few core commercial and open-source databases.
And the number of vendors isn’t the only problem—another issue is the way companies use these vendors and evolve their overall enterprise data architecture. Our research shows that as companies grow, different business units and teams build independent, often siloed data stacks to solve their specific needs, creating a brittle spider web of integration pipelines, data warehouses and lakes, and ML workflows. As companies move up the maturity curve, from data-driven to AI-driven organizations, the architectural complexity and fragmentation inevitably rise.
As companies move up the maturity curve, from data-driven to AI-driven organizations, the architectural complexity and fragmentation inevitably rise.
Juntamente com esse aumento na complexidade do fornecedor, há um crescimento de dois dígitos no custo total de propriedade (TCO) de dados, que esperamos dobrar nos próximos cinco a sete anos. Esse ambiente de custo terá três características principais. Primeiro, continuaremos a ver uma grande mudança do local para a nuvem, enquanto certas subcategorias, como o hardware de IA, aumentarão um pouco. Nossa análise sugere que as categorias de software local permanecerão relativamente planas, enquanto a nuvem-não surpreendentemente-crescerá ao norte de 25% ano a ano. Segundo, até 80% dos gastos com a nuvem de dados de uma empresa continuarão com custos de recursos de computação baseados em uso (como treinamento de IA e consulta e análise de dados). Portanto, enquanto o total de dados armazenados na nuvem aumentará, os custos de armazenamento não serão um grande fator de crescimento do TCO. Terceiro, os custos de pessoas, que incluem gastos de terceiros em integradores de sistemas e empresas de consultoria, além de equipes de dados internas, dobrarão nos próximos cinco anos, impulsionados pela complexidade dos dados. (Veja o Anexo 3.)
Despite the price and performance improvements in data, the growth in volume, the increased querying and analytics on that data, and the people investments needed outpace the efficiency gains. In a BCG survey, 56% of managers said managing data-operating costs is a pain point, but they are continuing to boost their investments in modernizing and building new data architectures. In other words, the benefits outweigh the pain—for now. But these cost increases have been regularly outpacing IT budget growth, and data operation costs could come under intense pressure in a recessionary environment or period of belt-tightening.
Just like in the past, we expect economics to influence how enterprise data architectures evolve (shifting away from capital expenditure with cloud, for example). To manage the costs of a modern data architecture, several short-term, tactical options are popular, including deduplication, restricting use, and tiered storage and analytics (such as using cheaper cold-storage options for less critical data instead of always using a data warehouse). In the longer term, however, a fundamentally different approach is needed to manage the spiraling complexity and to scale the architecture more effectively.
Lessons for a New Data Architecture
Given the rapid growth of data and use-case volume, increasing architectural complexity, and rising costs of data, more companies are reaching a breaking point. Tactical fixes will no longer suffice. What’s needed is a data architecture that provides flexibility for the future but is built with today’s requirements and realities in mind. For companies willing to take this on, we have codified three key lessons.
Lesson 1: Architecture Will Become More Decoupled, Federated, and Service-Oriented
The underlying scalability and efficacy of an enterprise data architecture depends on two related functions: transferring data between applications and across clouds in a systematized and real-time manner; and making the production and consumption of data for AI and analytics easier. To overcome the current challenges, companies must adopt a more federated and distributed architecture paradigm. (See Exhibit 4.)
This is akin to moving to a more service-oriented or microservices-based architecture in software. This setup will allow organizations to share data more easily; it will also facilitate the interaction between data services and data products through well-architected APIs. There are many names for this architecture setup (including data mesh or data products), but the core underlying principle is to apply abstraction and service orientation to data. According to our 2022 Future of Data survey, 68% of data leaders aspire to implement such an architecture in the next three years.
In this new model, domain experts can curate their data products and, if necessary, provide other domains access to the data in a secure manner. Data stack fragmentation remains, but because the complexity is hidden behind a service, the company can decouple the underlying architectures and use different substacks without inhibiting data usage. Moreover, an organization does not need to have a single architecture design. Companies can build some data products and services on traditional warehouses and others on data lakes to optimize for business needs.
This new paradigm obviously has implications for how data is managed. Data movement and data duplication will be minimized. Because individual services can control access and adopt a zero-trust posture, they can more easily handle data lineage and security issues, thus lessening the wholesale movement of data. Importantly, product thinking will underpin how companies build data services, and data products will be viewed through a value lens (data ROI) with a focus on the end user.
Another advantage of this federated approach is that companies can leverage existing infrastructure investments for new use cases and upgrade and update individual data products as needed. Different teams also have the freedom to pick the right tools for the right job. One team might use an in-memory columnar database for low-latency reads, while another might use a data lake built on low-cost storage.
As empresas precisam ser pragmáticas. Uma arquitetura de dados com malha ou orientada a serviços não é uma panacéia ou bala de prata.
As empresas precisam ser pragmáticas, no entanto. Uma arquitetura de dados com malha ou orientada a serviços não é uma panacéia ou bala de prata. As empresas devem sempre avaliar sua arquitetura de maneira fonte a fonte e uso por uso do uso, em vez de tentar usar a mesma ferramenta para todos os problemas. Para casos de uso mais simples, como o painel, uma arquitetura centralizada pode ser suficiente e mais adequada. O setor deve definir padrões e ferramentas para formatos de transferência de dados, definições de serviço, descoberta de serviços e registro (entre outros). Por exemplo, novos padrões semelhantes a XML, JNDI, REST, GRPC e SOAP devem surgir para que diferentes serviços de dados possam se comunicar.
Lesson 2: New Standards, Protocols, and Market Categories Will Emerge
We are in the very early innings of this shift to a new data architecture, and there are no openly defined standards or protocols on how these services are defined or talk to one another. The industry must define standards and tools for data transfer formats, service definitions, service discovery, and registry (among others). For example, new standards similar to XML, JNDI, REST, gRPC, and SOAP must emerge so that different data services can communicate.
Lições da evolução da arquitetura de software são instrutivas. Empresas de adotantes e pioneiros, como Google e Netflix, estabeleceram padrões para DevOps e microsserviços (levando a projetos comunitários como Kubernetes e Spinnaker). Esperamos o mesmo arco evolutivo nos dados. Novos projetos de código aberto, padrões orientados para a comunidade e ferramentas comerciais surgirão à medida que mais empresas adotam serviços distribuídos, produtos de dados e arquiteturas de malha de dados. À medida que as ferramentas melhoram, os padrões de melhor prática surgirão e as barreiras para adotar essa abordagem continuarão a cair. Inscreva -se
Subscribe to receive the latest insights on Technology, Media, and Telecommunications.
Com isso em mente, os fornecedores de dados precisam ir além do gerenciamento e análise de dados e começar a desenvolver muitas novas ferramentas, como:
- Middleware to help with data format conversion, data production, and consumption
- Tooling for data versioning and time travel for data, which is akin to source control management in software
- Next-generation data observability, operations, and MLOps platforms for service-oriented architectures
- Um novo paradigma de ferramentas ETL com automação de dados e mecanismos de acionamento para vincular automaticamente diferentes serviços de dados, treinar e implantar novos modelos de AI ||. Acesso seguro de dados
- Platforms to compose, introspect, discover, and govern data products and services
- New types of identity access and identity governance tools to secure data access
Lição 3: O código aberto e os hipers escaladores continuarão influenciando as opções de tecnologia
A necessidade de gerenciar custos em espiral impulsionará muitas opções de arquitetura de dados corporativas. Nossa pesquisa indica que múltiplas dinâmicas impulsionaram o crescimento do código aberto: o surgimento de código aberto comercial como um atraente
On the software side of data management, open source will continue to be critical. Our research indicates that multiple dynamics have driven the growth of open source: the emergence of commercial open source as a compelling Modelo de negócios , Big Tech e Hiperscalers jogando seu peso por trás de código aberto, e o poder do desenvolvimento e surgimento de múltiplas fundações orientadas pela comunidade, incluindo Apache, a Fundação de Computação Nativa de Cloud (CNCF) e a Fundação Linux. Além desses drivers, o código aberto diminui os custos totais da pilha de dados. Nossa pesquisa mostra uma redução de custo de 15% a 40% para alguns clientes. Cloud está se tornando o centro de gravidade para dados e análises. De fato, várias organizações já adotaram a nuvem como o local principal para suas cargas de trabalho e aplicativos intensivos em dados. Ao mesmo tempo, quatro em cada cinco clientes da empresa adotaram uma postura multicloud e estão construindo arquiteturas empresariais para evitar o bloqueio do fornecedor, enquanto ainda são capazes de usar serviços em nuvem inovadores à medida que surgem. Takeaways para empresas e fornecedores.
On the hardware and infrastructure side, hyperscalers keep pushing the boundaries of price and performance by continuing to drop prices on storage as well as creating serverless and pay-as-you-go data services (Aurora Serverless and investing in custom silicon, for example). Cloud is becoming the center of gravity for data and analytics. Indeed, multiple organizations have already embraced cloud as the primary location for their data-intensive workloads and applications. At the same time, four out of five enterprise customers have adopted a multicloud posture and are building enterprise architectures to avoid vendor lock-in while still being able to use innovative cloud services as they emerge.
Key Takeaways
On the basis of the broad trends shaping the data landscape and major lessons for designing a new enterprise data architecture, we have identified some key takeaways for enterprises and vendors.
Enterprises
Key takeaway 1: Pay close attention to overall data TCO. Para manter os custos sob controle, linha de base e gastos com desaverrage para entender os principais fatores - como pessoas, transferência e movimento de dados, armazenamento de dados e software. Dirija as melhorias de custos táticos de curto prazo, explorando várias abordagens. Primeiro, limpe e mate iniciativas de dados que não estão produzindo valor. Segundo, consolide os fornecedores sempre que possível. Terceiro, melhore a utilização da infraestrutura de dados, desduplicando os dados e otimizando os custos da nuvem.
Key takeaway 2: Make strategic investments in service-oriented data architectures, adapt quickly, and remain agile. Implementar pilotos para experimentar arquiteturas de dados federadas e testar vários fornecedores e tecnologias para avaliar a viabilidade técnica. Isso ajudará a criar habilidades internas críticas e posicionar as empresas para se mover rapidamente. Como as arquiteturas federadas não são uma solução panacéia ou de tamanho único, execute esses pilotos pragmaticamente e com a mente aberta. Esteja preparado para mudar. A evolução para uma arquitetura federada pode levar tempo e os padrões evoluirão rapidamente.
Key takeaway 3: Continue to invest in talent. Invest in Treinamento e Upskilling a força de trabalho existente e a contratação de novos funcionários para fortalecer o pool de talentos. Quando isso não for possível, explore parcerias com empresas de consultoria e integradores de sistemas para preencher a lacuna de talentos no curto prazo.
Software and Data Vendors
Key takeaway 1: Stay alert for new data market categories, competition, and tools. Este mercado verá a evolução rápida e a criação de novas categorias e submercados. Revise a estratégia e preste muita atenção a novos projetos comunitários, juntamente com movimentos competitivos de empresas de gerenciamento de dados e hiperescaladores. Esteja preparado para adaptar os roteiros do produto e reavaliar proposições de valor para capitalizar essa mega tendência.
Key takeaway 2: Participate in establishing new standards. Este novo mercado de dados será fundado em código aberto e padrões abertos; portanto, posicione -se como um influenciador desses novos padrões. Patrocinando consórcios da indústria, ter um assento na mesa e envolver a comunidade precocemente são imperativos estratégicos.
Key takeaway 3: Meet customers where they are and help them with change management. Para impulsionar a adoção, é importante entender seus clientes. Primeiro, segmentos de clientes de desaverragem. Diferentes clientes estão em diferentes lugares no arco de maturidade. No curto prazo, vá após os primeiros adotantes e clientes com mais fragmentação da pilha de dados. Segundo, concentre -se na educação dos clientes e na venda consultiva para cortar o mercado e o ruído do fornecedor. Terceiro, o foco nas necessidades de clientes após as vendas, ajudando-os a escalar suas plataformas e fazer parceria com integradores de sistemas e empresas de consultoria. O ritmo da inovação, no entanto, sobrecarregou as empresas que estão lutando para acompanhar a complexidade de sua pilha de dados e gerenciar os custos. Para desbloquear totalmente a proposta de valor de dados, as empresas devem pegar uma página do manual de arquitetura de software e começar a criar mais arquiteturas de dados desacopladas e orientadas a serviços. Estamos nos estágios iniciais desta emocionante revolução da arquitetura, que criará novos padrões, fornecedores e categorias de mercado. Para empresas de software e outras empresas, a capacidade de se adaptar rapidamente, mais do que tudo, determinará os vencedores de amanhã. Todos
The adage that “the only constant is change” applies perfectly to the evolution of the data market. The pace of innovation, however, has overwhelmed enterprises that are struggling to keep up with the complexity of their data stack and manage the costs. To fully unlock the data value proposition, companies must take a page from the software architecture playbook and start building more decoupled, service-oriented data architectures. We are in the very early stages of this exciting architecture revolution, which will create new standards, vendors, and market categories. For software companies and other enterprises, the ability to adapt quickly, more than anything, will determine the winners of tomorrow.
The authors thank the following for their contributions to the development of this report: Tatu Heikkilӓ, Sesh Iyer, Derek Kennedy, Jill Roberts, Sherry Ruan, Omar Shaat, Vikas Taneja, and David Wang.
