Não foi há muito tempo que os especialistas estavam tocando em uma nova era de big data em que todas as informações de uma empresa, juntamente com a abundância de dados disponíveis em mundos. Para seu crédito, muitas organizações se sentaram e tomaram conhecimento. Hoje, é aceito a sabedoria que os dados e análises fornecem uma ferramenta essencial na diferenciação competitiva. To be sure, leading companies in every industry—including retail, telecommunications, pharmaceuticals, and banking and insurance—have adopted advanced analytical methods and high-performance data-handling capabilities to improve cost performance and increase revenues.
Still, too many companies embrace data and leave it at just that. To be sure, leading companies in every industry—including retail, telecommunications, pharmaceuticals, and banking and insurance—have adopted advanced analytical methods and high-performance data-handling capabilities to improve cost performance and increase revenues.
Indeed, many have achieved small, early wins with pockets of analytics applications, but scaling those wins requires internal development of a full set of data Recursos.
Data governance comprises four building blocks: data structures, data policies, data tools, and the organization’s participants and target operating model.
Nos próximos anos, o Empresas com os melhores recursos de dados - e a melhor qualidade de dados - dominarão . Com base no trabalho do nosso cliente, o BCG construiu uma estrutura estruturada que define os recursos necessários para a transformação do modelo operacional de uma empresa e para obter sucesso na corrida de dados de hoje. (Consulte Anexo 1.) No coração da questão, a governança de dados compreende quatro blocos de construção: estruturas de dados, políticas de dados, ferramentas de dados e os participantes da organização e o modelo de operação de destino (TOM). Isso facilita a melhoria sustentável da qualidade dos dados de uma empresa. Nossa definição relativamente ampla de qualidade de dados inclui integridade, precisão, consistência, acessibilidade e as qualidades que são importantes para os negócios em particular e são determinados por essa empresa individual. Algumas indústrias, como bancos e produtos farmacêuticos, estão sujeitos a regulamentos que os obrigam a melhorar seus dados de maneira sustentável. Mas, além de cumprir as obrigações regulatórias, os dados limpos permitem que uma organização otimize a eficiência, ofereça jornadas modernas e simplificadas dos clientes, antecipam a evolução continuamente as necessidades e desejos dos clientes por meio de análises avançadas eficazes e inteligência artificial (IA) e até criam novos negócios. Um grande banco europeu liberou vários bilhões de dólares em capital depois que os dados de exposição aprimorados diminuíram seus buffers de capital regulatório. Uma empresa líder em bens de consumo gerou centenas de milhões de dólares anualmente após a implementação de uma abordagem hiperpessoal que alavancou os dados do cliente, integrando -os com dados externos em modelos de IA. Um fabricante global de aço reduziu os custos em centenas de milhões de dólares, simplificando seus dados da cadeia de suprimentos, integrando fluxos de dados internos e externos e usando os dados para otimizar suas operações. Devidamente implementado, a governança de dados focada na qualidade dos dados pode ajudar as empresas a colher benefícios quantificáveis significativos. Na mesma respiração, muitos dados problemáticos da culpa por sua incapacidade de alavancar análises avançadas e IA. Em um recente estudo de benchmarking que cobriu mais de 600 empresas, o BCG descobriu que mais de 60% dessas empresas avaliaram suas capacidades de governança de dados em vários níveis de subdesenvolvimento.
Data Governance Affects the Entire Organization
Data governance may include organizational and technological elements that facilitate the sustainable improvement of a company’s data quality. Our relatively broad definition of data quality includes data completeness, accuracy, consistency, accessibility, and the qualities that are important to the particular business and are ultimately determined by that individual company.
Good data matters—not least for compliance and operational excellence. Some industries, such as banking and pharmaceuticals, are subject to regulations that compel them to improve their data in a sustainable way. But in addition to complying with regulatory obligations, clean data allows an organization to optimize efficiency, offer modern and streamlined customer journeys, anticipate continually evolving customer needs and desires through effective advanced analytics and artificial intelligence (AI), and even create new businesses.
Good data also offers innumerable opportunities for unlocking value. A major European bank freed up several billion dollars of capital after improved exposure data decreased its regulatory capital buffers. A leading consumer goods company generated hundreds of millions of dollars annually after implementing a hyperpersonalized approach that leveraged customer data by integrating it with external data in AI models. A global steel manufacturer reduced costs by hundreds of millions of dollars by streamlining its supply chain data, integrating internal and external data flows, and using the data to optimize its operations. Properly implemented, data governance that is focused on data quality can help companies reap significant quantifiable benefits.
We hear too many complaints about the quality, consistency, and accuracy of company data, as well as the difficulty of accessing it. In the same breath, many blame problematic data for their inability to leverage advanced analytics and AI. In a recent benchmarking study that covered more than 600 companies, BCG found that more than 60% of those companies assessed their data governance capabilities at various levels of underdevelopment.
Obstáculos organizacionais a serem superados
O que impede as empresas de desenvolver e incorporar a governança de dados que podem melhorar a qualidade de seus dados? Existem três culpados primários:
- Expectativas que aumentam. As companies absorb the Impacto positivo das aplicações analíticas e de IA= , eles desenvolvem um novo apetite por maior qualidade de dados e velocidades de entrega mais rápidas.
- Recursos e recursos que são baixos. Como tal, existem muito poucos executivos - dentro ou fora da organização - com a experiência e a experiência necessários para impulsionar uma operação de governança de dados. Muitas empresas ainda acreditam que qualquer coisa que contenha a palavra "dados" pertence exclusivamente a ela. Como tal, eles adotam uma abordagem orientada por TI para a governança de dados que perde o ponto, levando a uma desconexão com o potencial valor comercial que ele pode criar. Vimos empresas embarcarem em projetos de vários anos, lutar com regulamentos, instituir regras de governança que não são necessárias e gastam milhões de dólares em ferramentas sem mover a agulha muito para melhorar a qualidade dos dados ou criar valor. (Consulte o Anexo 2.) Most companies have relatively limited experience using a companywide data governance function. As such, there are very few executives—either inside or outside the organization—with the necessary experience and expertise to drive a data governance operation.
- The Lack of a Shared Understanding of Data “Ownership.” Failing to recognize that data is a critical business asset may be the biggest problem of all. Many companies still believe that anything that contains the word “data” belongs exclusively to IT. As such, they adopt an IT-driven approach to data governance that misses the point, leading to a disconnect from the potential business value it can create.
The failure to implement data governance has very real and long-lasting ramifications. We’ve seen companies embark on multiyear projects, struggle with regulations, institute governance rules that aren’t needed, and spend millions of dollars on tools without moving the needle much on improving data quality or creating value.
The Four Building Blocks of Data Governance
Best practices create the optimal environment for successful data projects. (See Exhibit 2.)
Estruturas de dados. As estruturas de dados ajudam a criar um inventário e linguagem compartilhada em torno dos dados. Eles incluem descrições dos dados da empresa, definidos e classificados em glossários, domínios, famílias, modelos, dicionários e fluxos. Isso não é exatamente novo: as empresas usam essas ferramentas há décadas. Na maioria das vezes, no entanto, eles estão desatualizados, incompletos e não adequados ao objetivo. O Glossário é uma lista dos termos pelos quais os dados da Companhia são categorizados; portanto, a seleção dos termos é crucial para a maneira como o negócio é conduzido e alinha a organização sobre seu significado e uso. Por exemplo, um banco de varejo líder passou vários meses passando de clientes "individuais" para clientes "domésticos" e decidindo quais dados devem estar associados a eles. Uma montadora global precisava de um esforço semelhante para definir e categorizar "peças de reposição". Uma empresa líder de artigos de luxo teve problemas com "pontos de venda". As butiques totalmente de propriedade são, obviamente, pontos de venda, mas e os vários estandes em uma loja de departamentos? Cada um serve como um ou como um dos vários pontos de venda? Eles devem ser descritos pelos mesmos dados? E como as “vendas” são definidas? Receita nominal? Receitas nominais menos descontos? Comissões menos? Essas são algumas das preocupações que os glossários de dados abordam. Essa classificação sem desculpas e de alto nível permite lacunas nem sobreposições. Conseguir isso é mais fácil dizer do que fazer. Alguns dados críticos são usados em casos de uso variados e com diferentes entendimentos de seu significado e propósito. Assim, parece pertencente a muitas pessoas ou entidades corporativas. Por exemplo, quem possui os dados do cliente? O departamento de vendas? Marketing? Financiar? This is the starting point. Data structures help create an inventory and shared language around data. They include descriptions of the company’s data, defined and classified in glossaries, domains, families, models, dictionaries, and flows. This isn’t exactly new: companies have been using such tools for decades. More often than not, however, they are outdated, incomplete, and not fit for purpose.
The most important of these structures are data glossaries and data domains, which help define, organize, and assign the management of company data.
A data glossary serves as an important exercise in semantics. The glossary is a list of the terms by which the company’s data is categorized, so the selection of the terms is crucial to the way the business is conducted and aligns the organization on their meaning and use. For example, a leading retail bank spent several months moving from “individual” customers to “household” customers and deciding which data should be associated with them. A global automaker needed a similar effort to define and categorize “spare parts.” A leading luxury goods company had trouble with “points of sale.” Fully owned boutiques are, of course, points of sale, but what about multiple stands in a department store? Does each serve as one or as one of several points of sale? Should they be described by the same data? And how are “sales” defined? Nominal revenues? Nominal revenues minus discounts? Minus commissions? These are some of the concerns that data glossaries address.
Data domains focus on where data resides and specify ownership of the data defined in the glossary. This high-level, unapologetic classification allows for no gaps and no overlaps. Achieving this is easier said than done. Some critical data is used in varying use cases and with different understandings of its meaning and purpose. It thus seems owned by many people or corporate entities. For example, who owns the customer data? The sales department? Marketing? Finance?
Vale a pena notar o quão importante é desamarrar os usos sobrepostos e conflitantes dos dados e atribuir todos os dados a domínios bem definidos.
Depois que os dados críticos forem classificados, os proprietários de dados são atribuídos a cada domínio e dada a responsabilidade final por todas as decisões de qualidade dos dados, levando em consideração as necessidades específicas para a qualidade dos dados de sua área de negócios. Vale a pena notar o quão importante é desamarrar os usos sobrepostos e conflitantes dos dados e atribuir todos os dados a domínios bem definidos. Quando os dados são espalhados pelos domínios, a responsabilidade é diluída e as decisões e ações necessárias para a qualidade do domínio são facilmente ignoradas.
Os domínios de dados também desempenham funções úteis na identificação de áreas para melhorar a qualidade dos dados. Domínios correspondentes-e suas subdivisões e famílias-para obter dados usados por vários projetos e casos de uso em andamento e quase futuro é uma maneira fácil e muito eficaz de priorizar áreas nas quais as ações de governança de dados devem ser focadas. (Consulte Anexo 3.) Essa abordagem tem, portanto, um amplo impacto na eficiência de uma organização. Os metadados podem ser descritivos e relacionados a modelos de dados, restrições de segurança, indicadores de qualidade e governança de dados. Um dicionário de dados é passivo (mantido separadamente do conjunto de dados que descreve) ou ativo (atualizado automaticamente quando a estrutura do conjunto de dados for alterada).
A data dictionary (not to be confused with a data glossary) focuses on data about the data—metadata. Metadata can be descriptive and related to data models, security restrictions, quality indicators, and data governance. A data dictionary is either passive (maintained separately from the dataset it describes) or active (updated automatically when the dataset structure changes).
Fluxos de dados help stakeholders understand the paths data takes in an organization. They provide visibility on data location and status, simplifying error tracing back to the error source. Data flows have become increasingly important for the data governance of companies subject to the European Union’s General Data Protection Regulation.
Data Policies. Once a company has organized and clarified its data, it should develop rules related to, for example, its processes, actions, roles, and budget allocation principles. We have seen several companies take the wrong approach to this, launching multiyear efforts to develop policies about everything and anything. This invariably leads to a bureaucratic and inefficient “Ministry of Data” effort. Because such initiatives generate no value, top management generally discontinues them.
Once a company has organized and clarified its data, it should develop rules related to, for example, its processes, actions, roles, and budget allocation principles.
Nossa posição sobre esse ponto é clara: todas as empresas precisam de definições claras e inequívidas de qualidade dos dados, diretrizes de medição e as principais funções e responsabilidades que governam as melhorias. Eles variam do muito básico que são fáceis de medir com indicadores de qualidade-chave simples (KQIS), como "integridade", para o muito complexo que pode ser medido apenas aplicando regras de negócios sofisticadas, como "precisão". Qual e quantos devem usar uma empresa? Opte pela simplicidade. Com base nas necessidades e usos dos dados, as empresas devem selecionar um pequeno número de critérios e consagrá -los como a definição de qualidade dos dados. É importante observar que os critérios não são igualmente importantes entre os domínios. Por exemplo, a qualidade dos endereços de email do cliente é provavelmente menos importante que a qualidade dos dados de vendas. Embora os critérios permaneçam os mesmos, os objetivos KQI podem ser diferentes, refletindo os vários níveis de qualidade necessários para cada tipo de dados. É papel de todos os proprietários de dados definir os objetivos de qualidade de seus domínios específicos. dados.
At least two dozen sets of criteria are available to describe data quality. They range from the very basic that are easy to meas-ure with simple key quality indicators (KQIs), such as “completeness,” to the very complex that can be measured only by applying sophisticated business rules, such as “accuracy.” Which and how many should a company use? Opt for simplicity. On the basis of the needs and uses of data, companies should select a small number of criteria and enshrine them as the data quality definition.
A company should next specify the ways these criteria will be applied and measured and establish a baseline for the current situation. It’s important to note that criteria are not equally important across domains. For example, the quality of customer email addresses is likely less important than the quality of sales data. While the criteria remain the same, the KQI objectives may be different, reflecting the various levels of quality needed for each type of data. It is the role of all data owners to define the quality objectives of their specific domains.
The data quality policy must also lay out the processes by which KQIs are defined and measured, the roles and responsibilities of the people participating in their improvement, the budget allocation process for these activities, and, more generally, all organizational and technical elements necessary for continuously monitoring and sustainably improving the quality of the data.
Outras políticas podem ou não ser solicitadas. Se uma empresa tiver problemas com seus dados de referência (um recurso para outros dados), provavelmente precisa de uma política de gerenciamento de dados mestre (MDM); Se não tiver um problema referencial, não precisará de um MDM. As empresas que estão lidando com problemas de acessibilidade de dados devem criar uma política de direitos de acesso ao usuário. Eles são um meio para um fim e desempenharem papéis importantes no bom funcionamento, consolidação e simplificação dos esforços de dados. Não mais do que isso. Esquecer isso pode levar a um esforço desnecessário, o desperdício de recursos e a burocracia excessiva. Vimos empresas desenvolvendo inúmeras políticas de dados, mas é raro que mais de quatro ou cinco políticas sejam necessárias para a governança eficaz de dados.
As a general rule, data policies must correspond with and address the company’s specific data issues and their root causes. They are a means to an end and play important roles in the smooth functioning, consolidating, and streamlining of data efforts. No more than that. Forgetting this can lead to unnecessary effort, the waste of resources, and excessive bureaucracy. We have seen companies developing numerous data policies, but it is quite rare that more than four or five policies are needed for effective data governance.
Ferramentas de dados. Ainda assim, é importante considerar dois tipos: higiene básica de dados e ferramentas avançadas. No entanto, compartilhar e atualizar esses elementos em uma comunidade de várias centenas de usuários em alguns ou muitos locais podem ser complicados e excessivamente complexos, se não totalmente impossíveis. Just as data policies require the simplicity approach, the approach to data governance has no need of myriad tool sets. Still, it is important to consider two types: basic data hygiene and advanced tools.
It’s possible to build a list of data domains or a data dictionary using a spreadsheet or to represent a data flow using any kind of graphic software. However, sharing and updating such elements across a community of several hundred users in a few or many locations can be cumbersome and overly complex, if not outright impossible.
Digite ferramentas de higiene de dados. Essas ferramentas relativamente básicas e construídas para fins ajudam as empresas a criar e manter suas estruturas de dados, glossários de dados, dicionários e fluxos com eficiência.
Ferramentas avançadas executam tarefas sofisticadas. Algumas ferramentas, por exemplo, focadas em uma área específica, como MDM ou linhagem de dados, servem a um único objetivo, enquanto outros que são multiuso cobrem todo o espectro de funções de dados, como calcular KQIs e gerenciamento de fluxo de trabalho. As ferramentas de dados devem ser adaptadas às necessidades de cada empresa e devem ajudar a aplicar suas políticas de dados.
Implementation of data tools is not a panacea and can consume resources that could be better employed in other data-related tasks. Data tools should be adapted to each company’s needs and should help enforce its data policies.
Successful data governance requires multilayer management that is focused on business but spans both business and IT.
Os participantes da organização de dados e o modelo operacional de destino. Normalmente, é construído em torno dos diretores de dados e de suas equipes - as únicas pessoas dedicadas especificamente à governança de dados - além de um Conselho de Governança de Dados (DGC), proprietários de dados, administradores de dados e custodiantes de dados. Successful data governance requires multilayer management that is focused on business but spans both business and IT. It is typically built around chief data officers and their teams—the only people specifically dedicated to data governance—plus a data governance council (DGC), data owners, data stewards, and data custodians.
-
Conselho de Governança de Dados. Ele define a empresa The DGC is the overarching data-related decision-making body that delegates authority to the chief data officer (CDO) and appoints data owners. It defines the company’s Estratégia de dados e define prioridades para os objetivos, padrões e políticas de governança de dados e resolve problemas escalados de outros níveis da organização de dados.
O DGC normalmente inclui todas as partes interessadas de dados seniores: os principais proprietários de dados (normalmente, chefes de unidades de negócios ou funções corporativas), o diretor de informações, o diretor de proteção de dados, o diretor de segurança da informação e o CDO. Geralmente é presidido pelo diretor de operações ou pelo equivalente. O CDO é responsável por definir a agenda e executar estratégias e decisões tomadas no Conselho. O CDO propõe a agenda, ajuda a priorizar os requisitos de negócios, coordena a implementação e ajuda a transformar dados em um ativo valioso. Os CDOs e suas pequenas equipes são geralmente os únicos recursos dedicados em período integral da organização de governança de dados.
- Chief Data Officer. The CDO, with overall responsibility for data governance, drives the definition and coordination of the data governance framework and its components. The CDO proposes the agenda, helps prioritize business requirements, coordinates implementation, and helps transform data into a valuable asset. CDOs and their small teams are generally the only full-time, dedicated resources of the data governance organization.
- Proprietários de dados. Os proprietários de dados são tipicamente executivos C-Suite, mas alguns, dependendo do tamanho da empresa, delegam responsabilidades aos proprietários de dados por negócios ou região. Essa é principalmente uma função de tomada de decisão não exigente, exigindo, na maioria dos casos, menos de 5% do tempo do executivo C-Suite. Os administradores de dados são responsáveis pela aplicação de políticas e padrões de dados em seu domínio e por fornecer orientação a ele. As noted earlier, data owners have oversight of data domains, holding ultimate responsibility for content and quality and, as such, deciding the appropriate level of quality and ensuring that data governance policies are applied. Data owners are typically C-suite executives, but some, depending on the size of the company, delegate responsibilities to data owners by business or region. This is mainly an undemanding decision-making role, requiring, in most cases, less than 5% of the C-suite executive’s time.
-
Data Stewards. Data stewards, part of each data owner organization, report to the data owner, working to achieve the data quality business objectives defined by the data owner. Data stewards are responsible for applying data policies and standards in their domain and for providing guidance to IT.
Dependendo do tamanho da empresa e do domínio pelo qual os administradores de dados são responsáveis, vários deles podem apoiar um proprietário de dados, dedicando uma quantidade significativa de seu tempo (aproximadamente 20% a 30%) a tarefas relacionadas a dados. Eles trabalham com comissários de dados, apoiando seus esforços para implementar medidas específicas de qualidade de dados. Muitos custodiantes de dados estão anexados a um sistema ou banco de dados específico de TI; portanto, pode não haver um relacionamento individual, e um único custodiante pode funcionar para muitos administradores ou, inversamente, um único mordomo pode trabalhar com muitos custodiantes. Vemos quatro arquétipos organizacionais principais:
- Data Custodians. Unlike all other data governance participants, data custodians are part of the IT function. They work with data stewards, supporting their efforts to implement specific data quality measures. Many data custodians are attached to a specific IT system or database, so there may not be a one-to-one relationship, and a single custodian may work for many stewards or, inversely, a single steward may work with many custodians.
And what should data governance’s TOM be? We see four main organizational archetypes:
- Modelo totalmente descentralizado. Não existe uma estratégia geral de dados e muito pouca coordenação. Esse modelo permite que as empresas tenham controle direto sobre seus dados e tragam maneiras ágeis de trabalhar para mudanças no gerenciamento de dados. No entanto, isso pode levar a ineficiências nas operações de dados quando as equipes "reinventam a roda", gerando inconsistências de dados nas várias unidades e funções de negócios. Esse arquétipo está se tornando menos comum, persistindo apenas nas empresas raras que ainda não entraram em sua jornada de transformação de dados. É fácil explicar para a organização e bastante eficaz, mas como é difícil implementar e escalar em grandes organizações, diminui o ritmo da mudança. Esse modelo é eficiente e melhora rapidamente a qualidade dos dados, mas às vezes enfrenta reações negativas das unidades de negócios sentindo uma perda de independência. Portanto, pode ser difícil estabelecer o mandato do CDO. As unidades de negócios têm total propriedade de seus dados, mas sua equipe de governança de dados mantém uma linha de relatório pontilhada para o CDO. Esse modelo mantém a responsabilidade pelos dados nos negócios, mas também garante boa coordenação e melhoria relativamente rápida da qualidade dos dados. uma fonte fundamental de valor comercial. As empresas competem em um ambiente caracterizado por conjuntos de dados enormes-e em crescimento-, regulamentos rigorosos de dados e interrupções frequentes de dados. Nesse contexto, a governança de dados-e a melhoria resultante da qualidade dos dados-fornece uma maneira de obter não apenas resultados de curto prazo, mas também para incorporar dados na organização e ter sucesso em sua jornada de dados e análises. Qualquer empresa pode acertar. Elias Baltassis Business units define data governance independently. There is no overall data strategy and very little coordination. This model allows businesses to have direct control over their data and bring agile ways of working into changes in data management. However, it can lead to inefficiencies in data operations when teams “reinvent the wheel,” generating data inconsistencies across the various business units and functions. This archetype is becoming less common, persisting only in the rare companies that have not yet entered their data transformation journey.
- Totally Centralized Model. At the other end of the spectrum are companies that have implemented a highly centralized organization model, in which all data-related issues are handled by the central team that includes a data “czar” and the owner of all company data—usually the CDO. This model is easy to explain to the organization and rather effective, but because it is difficult to implement and scale in large organizations, it slows the pace of change.
- Federated Model with the CDO as “Doer.” The CDO directly manages a relatively large team responsible for most data operations, while business units’ data functions work under the strong guidance of the central team. This model is efficient and quickly improves data quality, but it sometimes faces negative reactions from business units feeling a loss of independence. It can thus be difficult to establish the CDO mandate.
- Federated Model with the CDO as “Facilitator.” The CDO unit is much smaller and focuses on coordinating and facilitating actions decided by business units. Business units have full ownership of their data, but their data governance staff maintains a dotted reporting line to the CDO. This model retains the responsibility for data in the business, but it also ensures good coordination and relatively rapid improvement of data quality.
It is not uncommon for companies to begin by using a federated model with a doer CDO and, as the organization matures and builds its capabilities, to evolve to a CDO-as-facilitator model.
Over the past few years, data has been established as a fundamental source of business value. Companies compete in an environment characterized by enormous—and growing—data sets, stringent data regulations, and frequent data-powered disruptions. In this context, data governance—and the resulting improvement of data quality—provides a way to achieve not just short-term results but also to embed data in the organization and succeed in its data and analytics journey.
It just requires some attention and dedication to a data transformation. Any company can get it right.
