O uso de "big data"-vastos de empresas de informações e informações rápidas. Apesar da disponibilidade de novas técnicas para entender o big data, muitos líderes seniores que encontramos hoje estão tendo dificuldade em descobrir por onde começar. Abordagens para abordar os desafios e processos de maior prioridade que envolvem big data. Ao pressionar o envelope na área de análise avançada, as empresas aprenderão rapidamente o que funciona melhor para elas, onde está o valor e como expandir suas capacidades ao longo do tempo. Essa aprendizagem rápida pode informar bastante a estratégia geral de grandes dados. As respostas para cada um podem ajudar a criar clareza imediata sobre esse tópico aparentemente vasto.
We see three overarching ways in which business leaders can unlock the value of big data:
- Develop a big-data strategy that capitalizes on a company’s most important data assets.
- Deploy more innovative advanced-analytical approaches to address the highest-priority challenges and processes involving big data.
- Determine how big-data transformation can improve existing business models and create entirely new revenue streams.
By far the quickest path to value over the short term is the second approach. By pushing the envelope in the fast-moving area of advanced analytics, companies will quickly learn what works best for them, where the value lies, and how to expand their capabilities over time. Such rapid learning can greatly inform the overall big-data strategy.
This article offers four questions to explore as you experiment with advanced-analytical approaches to big data. Answers to each one can help create immediate clarity about this seemingly vast topic.
Por que começar agora? Queimados por experimentos anteriores com iniciativas de dados de clientes em larga escala que acumularam custos excessivos de TI e falharam em gerar resultados suficientes, eles se tornaram tímidos sobre o tópico. As más lembranças de esforços fracassados levaram algumas empresas a ficarem presas em um estado de "paralisia de grandes dados". Na verdade, nunca foi mais seguro ou mais fácil começar com soluções de big data. De fato, a rápida evolução do campo tornou a análise avançada acessível a praticamente qualquer empresa. Tudo o que uma empresa precisa para analisar grandes e complexos conjuntos de dados agora está ao alcance da ARM. Três melhorias se destacam:
For a long time, many executives thought it was difficult or dangerous to get into the big-data space. Burned by past experiments with large-scale customer-data initiatives that racked up excessive IT costs and failed to generate sufficient results, they have grown gun-shy about the topic. Bad memories of fizzled efforts have led some companies to get stuck in a state of “big-data paralysis.”
But these companies are overthinking things. It’s actually never been safer or easier to get started with big-data solutions. In fact, the rapid evolution of the field has made advanced analytics accessible to just about any company. Everything that a company needs in order to analyze large, complex data sets is now within arm’s reach. Three improvements stand out:
- Aumentando a velocidade e os custos decrescentes de infraestrutura e hardware. Paralelamente, os custos de processador e armazenamento diminuíram um fator de mais de 1.000 na última década. (Consulte Anexo 1.) The amount of data that can pass through a fiber-optic cable continues to double every nine months. In parallel, processor and storage costs have decreased by a factor of more than 1,000 over the past decade. (See Exhibit 1.)
- Abordagens melhores para utilizar o hardware. Além disso, os aplicativos que podem processar conjuntos de big data agora custam apenas alguns milhares de dólares, em vez dos milhões que custam uma década atrás. Agora, os clientes podem comprar apenas o que precisam, quando precisam. Analytics. Antes de explorar bem como usar bem as técnicas analíticas avançadas, devemos ficar claros sobre o significado de big data. Abordaremos três das principais características primeiro: Emerging technologies, in-memory processing, and accessible analytics platforms are enabling the processing of large data sets on thousands of servers distributed across the cloud. In addition, applications that can process big data sets now cost only a few thousand dollars rather than the millions they cost a decade ago. Now, customers can buy only what they need, when they need it.
- Improved Availability of Technical Talent. Finally, data analytic skills are becoming more widespread in the workforce, with major universities producing increasing numbers of graduate-degree holders who are focused on all aspects of advanced analytics.
How to Define Big Data
By now, leaders have no doubt heard the term “big data” used repeatedly in the media in different ways. Before we explore how to use advanced analytical techniques well, we must be clear about the meaning of big data.
Big data describes the large amounts and varieties of fast-moving information that can be processed and analyzed to create significant value. We’ll address three of the key characteristics first:
- Volume. Gerenciamento Data that have grown to an immense size, prohibiting analysis with traditional tools
- Variety. Multiple formats of structured and unstructured data—such as social-media posts, location data from mobile devices, call center recordings, and sensor updates—that require fresh approaches to collection, storage, and management
- Velocidade. As três dimensões se combinam para criar conjuntos de dados que geralmente são bem diferentes dos dados tradicionais que uma empresa coleta sobre ofertas, compras e segmentos. O setor de varejo, por exemplo, perde cerca de US $ 165 bilhões em vendas totais a cada ano, porque os varejistas não têm os produtos certos em ações para atender à demanda dos clientes. A análise de dados grandes permite que as empresas entendam mais rapidamente as tendências de vendas e incorporem previsões mais precisas, aumentando, finalmente, a lealdade e a receita do cliente. Em meio a esforços para capturar conjuntos de dados maiores e mais diversos, incorporar dados de mídia social e localização em tempo real e acompanhar o cenário tecnológico em evolução, os líderes geralmente perdem a perspectiva de como podem criar valor a partir de abordagens analíticas avançadas para big data. No varejo, as abordagens analíticas avançadas geralmente correspondem bem a estratégias que envolvem eficácia promocional, preços, locais de lojas e marketing no nível individual. No setor de energia, por outro lado, a ênfase é mais frequentemente usar dados de medidores inteligentes e otimizar ativos físicos, como equipamentos e plantas. Em serviços financeiros, as áreas eficazes geralmente incluem pontuação de risco, preços dinâmicos e localização ideal de ATM e filiais, enquanto no seguro, as áreas podem incluir fraudes de reivindicações, otimização de reembolso e o rastreamento do comportamento de direção. Analise todos os dados em comparação com a amostragem apenas uma peça. Para direcionar clientes individuais, um varejista precisa entender todo o histórico de compras de um determinado cliente e como, por exemplo, é diferente do de outros clientes. O uso de apenas uma amostra de clientes ou suas transações levará a uma imagem incompleta, tornando os esforços promocionais menos eficazes. Quatro dos dez principais bancos dos EUA usam o serviço para analisar centenas de milhões de transações de clientes a cada semana - uma quantidade enorme de dados - em ordem para oferecer aos varejistas a capacidade de personalizar promoções diretamente no extrato bancário de um cliente. Como as ofertas são baseadas no comportamento de compra e onde um cliente individual é altamente direcionado. Os comerciantes que usam o serviço podem alcançar clientes ou clientes dos concorrentes, de uma maneira simples e direcionada que pode ser rastreada através do uso real. As taxas de resposta têm uma média de 15 a 20 %, em comparação com os baixos dígitos para a maioria das campanhas tradicionais. Os consumidores economizam dinheiro sem precisar imprimir cupons ou inserir códigos de promoção - os descontos são automaticamente creditados em suas declarações. E os bancos ganham receita extra e oferecem a seus clientes mais recompensas, sem um investimento pesado de TI e sem os dados que nunca deixam os servidores dos bancos. para mapear. Quando grandes quantidades de dados são combinadas com dados de mídia social não estruturada e rápida e não estruturada, por exemplo, pode se tornar muito difícil de analisar com técnicas antiquadas. Se uma empresa oferecer descontos para pessoas que teriam ficado de qualquer maneira, isso desperdiçou seu dinheiro. A falta de direcionamento apropriado também pode fazê -lo ignorar as pessoas que podem sair para um concorrente. Data that need to be processed in real or near-real time in order to be of greatest value, such as instantly providing a coupon to customers standing in the cereal aisle based on their past cereal purchases
Exhibit 2 shows the rapidly expanding nature of each of these three types of data. The three dimensions combine to create data sets that are often quite different from the traditional data a business collects about offers, purchases, and segments. The retail industry, for example, misses out on an estimated $165 billion in total sales each year because retailers do not have the right products in stock to meet customer demand. Big-data analysis allows companies to more quickly understand sales trends and incorporate more accurate forecasting, ultimately increasing customer loyalty and revenue.
Where Does the Opportunity Lie?
Many companies tend to struggle with a fourth dimension: value. Amid efforts to capture larger and more-diverse data sets, incorporate real-time social-media and location data, and keep up with the evolving technology landscape, leaders often lose perspective on how they can create value from advanced analytical approaches to big data.
Opportunities for value creation vary across industries. In retail, advanced analytical approaches often match well with strategies involving promotional effectiveness, pricing, store locations, and marketing at the individual level. In the energy industry, on the other hand, the emphasis is more often on making use of smart-meter data and optimizing physical assets, such as equipment and plants. In financial services, effective areas often include risk scoring, dynamic pricing, and finding optimal ATM and branch locations, while in insurance, the areas might include claims fraud, reimbursement optimization, and the tracking of driving behavior.
To identify value for your company, look for areas that have the following characteristics.
The volume of data matters. The outcome will sometimes be different if you analyze all the data as compared with sampling just a part. To target individual customers, a retailer needs to understand the entire purchase history of a given customer and how, for example, it is different from that of other customers. Using just a sample of customers or their transactions will lead to an incomplete picture, making promotional efforts less effective.
Consider the case of Cardlytics, an Atlanta-based startup that helps retailers sell to “markets of one.” Four of the top ten U.S. banks use the service to analyze hundreds of millions of customer transactions each week—a tremendous amount of data—in order to offer retailers the ability to customize promotions right on a customer’s bank statement. Because the offers are based on purchase behavior and where an individual customer shops, they are highly targeted. Merchants that use the service can reach customers, or competitors’ customers, in a simple, targeted way that can be tracked through actual usage. Response rates average 15 to 20 percent, as compared with the low single digits for most traditional campaigns. Consumers save money without having to print out coupons or enter promotion codes—the discounts are automatically credited to their statements. And banks earn extra revenue and offer their customers more rewards, without a heavy IT investment and without the data ever leaving the banks’ servers.
The variety of data matters. In some cases, the outcome will be different if a company analyzes diverse data types, ranging from structured data that can fit in a traditional relational database to the unstructured data that come from social-media posts and elsewhere and are difficult to map. When vast quantities of data are combined with fast-moving, unstructured social-media data, for instance, it can become very difficult to analyze with old-fashioned techniques.
As an example, there’s tremendous value in accurately predicting churn at a customer-by-customer level at telecom companies. If a company offers discounts to people who would have stayed anyway, it has wasted its money. A lack of appropriate targeting can also make it overlook people who might leave for a competitor.
Uma empresa enfrentando esse desafio é o Telekomunikacja Polska, parte do grupo Orange-Orange da França e o maior provedor de linha fixa para serviços de voz e banda larga na Polônia. A empresa queria encontrar rapidamente maneiras de prever e abordar a rotatividade entre seus clientes mais eficaz do que os métodos tradicionais, incluindo a análise das taxas de uso decrescente e cálculos de valor ao longo da vida com base em quanto tempo os clientes permaneceram com o serviço e quanto gastaram. A ferramenta divide as comunidades em papéis como "Networkers", "Bridges", "Líderes" e "Seguidores". Por exemplo, ele detecta os Networkers, que ligam as pessoas, e os líderes, que têm um impacto muito maior na rede de pessoas ao seu redor. Esse conjunto de dados relacionais fornece ao provedor de serviços de telecomunicações muito mais ricas sobre quem importa entre aqueles que podem abandonar seu serviço e, portanto, o quão difícil tentar manter seus clientes mais valiosos. Como resultado da abordagem, a precisão do modelo de previsão de rotatividade da empresa melhorou 47 %.
The company decided to build a “social graph” from the call data records of millions of phone calls transiting through its network every month—looking, in particular, at patterns of who calls whom and at what frequency. The tool divides communities into roles such as “networkers,” “bridges,” “leaders,” and “followers.” For example, it detects the networkers, who link people together, and the leaders, who have a much greater impact on the network of people around them. That set of relational data gives the telecom-service provider much richer insight into who matters among those who might drop its service and, therefore, how hard to try to keep its most valuable customers. As a result of the approach, the accuracy of the company’s churn-prediction model has improved 47 percent.
A velocidade dos dados de dados. A falta desse conhecimento pode significar um aumento de risco. Quanto mais rápido uma empresa reage, maior a probabilidade de fazer uma venda-ou impedir que um cliente deserta a um concorrente. Os sensores medem a rapidez com que um cliente individual dirige, o quanto ele dirige e quão segura ele ou ela navega pelas estradas. Os sinais de alguém que é um risco maior pode incluir frenagem dura, aceleração e giro, bem como o número de milhas acionadas à noite ou no tráfego de hora do rush. Eles também podem ficar on -line para acompanhar seu desempenho, o que tende a aumentar sua lealdade. Da mesma forma, as seguradoras podem evitar se esforçar para reter clientes mais arriscados e podem aumentar as taxas desses clientes para refletir o que eles aprendem sobre seu pool de riscos gerais. Cada um oferece uma oportunidade de iniciar pequenos, fornecer resultados tangíveis e ampliar o que funciona. In other cases, companies need the latest real-time data to feed into decision making. Lack of that knowledge can mean an increase in risk. The faster a company reacts, the more likely it is to make a sale—or to prevent a customer from defecting to a competitor.
For example, insurers such as Allstate are beginning to offer pay-as-you-drive plans that incorporate a deluge of real-time customer-driving behavior gathered through devices installed in cars. Sensors measure how fast an individual customer drives, how much he or she drives, and how safely he or she navigates the roads. Signals of someone who is a higher risk can include hard braking, accelerating, and turning, as well as the number of miles driven at night or in rush-hour traffic.
Participating customers receive a discount on their next bill once they establish a baseline for their driving behavior over 30 days. They can also go online to track their performance, which tends to increase their loyalty. Likewise, insurers can avoid putting effort into retaining riskier customers, and they can increase these customer’s rates to reflect what they learn about their overall risk pool.
Which Initial Steps to Take
Companies can get started with advanced analytics through what we call the “three Ts” of big-data effectiveness: teams, tools, and testing. Each offers an opportunity to start small, deliver tangible results, and scale up what works.
Crie a equipe certa. Um grupo diversificado de especialistas em tópicos estreitos não produzirá resultados com rapidez suficiente. Uma grande empresa deve começar com uma equipe de cinco, para um total de pessoas, custa aproximadamente US $ 1,5 milhão. Com cada membro da equipe, as empresas precisam de uma combinação de recursos analíticos de alto nível, familiaridade técnica com plataformas de análise avançada e uma clara perspectiva comercial para discernir quais soluções são implantáveis e quais não são. Os membros da equipe não precisam ser de classe mundial em cada dimensão, mas precisam de pontos fortes em cada um dos três conjuntos de habilidades. Em muitos casos, a combinação certa de habilidades e experiência não está disponível nas organizações. As parcerias geralmente oferecem um atalho para agregar valor a tais situações. You need a SWAT team for analytics made up of well-rounded experts in the field. A diverse group of experts on narrow topics won’t produce results quickly enough. A large company should start with a team of five, for a total people cost of roughly $1.5 million. With each member of the team, companies need a combination of high-level analytical capabilities, technical familiarity with advanced-analytics platforms, and a clear business perspective to discern which solutions are deployable and which are not. Team members don’t have to be world-class on each dimension, but they do need strengths in each of the three skill sets. In many cases, the right combination of skills and experience is not available inside organizations. Partnerships often offer a shortcut to delivering value in such situations.
Implante as ferramentas certas. Cada membro deve ser capaz de alavancar a infraestrutura em nuvem para o seu ou trabalho. Você pode equipar cada pessoa com uma máquina virtual e quantidades enormes de armazenamento por cerca de US $ 15.000 por ano. Muitas ferramentas padrão do setor custam apenas US $ 5.000 a US $ 15.000 por assento. O ambiente de programação de código aberto é gratuito. You should next support these teams with the right tools to enable success. Each member should be able to leverage cloud infrastructure for his or work. You can outfit each person with a virtual machine and massive amounts of storage for about $15,000 per year. Many industry-standard tools cost only $5,000 to $15,000 per seat. The R open-source programming environment is free.
Teste e aprenda as abordagens mais eficazes. Isso obriga você a colocar uma linha do tempo em sua análise. Você não pode esperar pela infraestrutura ou solução perfeita - o espaço está se movendo tão rapidamente que quanto mais você espera, mais atrás você estará. Se você estiver fazendo as coisas corretamente, aprenderá o que significa sucesso, o que descobriu sobre seus recursos e que tipos de infraestrutura você precisa. No processo, você descobrirá o quão resistente a organização é tirar proveito de abordagens analíticas avançadas para o big data, quais tipos de problemas e dados funcionam melhor e que outros desafios você pode aplicar suas abordagens. Finally, run two- to three-month experiments that push for rapid results and implementation. This forces you to put a timeline on your analysis. You can’t wait around for the perfect infrastructure or solution—the space is moving so quickly that the longer you wait, the further behind you’ll be. If you’re doing things right, you’ll be learning what success means, what you discovered about your capabilities, and what kinds of infrastructure you need. In the process, you’ll discover how resistant the organization is to taking advantage of advanced-analytical approaches to big data, which types of problems and data work best, and what other challenges you could apply your approaches to.
A experiência do Aviva, a maior seguradora do Reino Unido, ilustra todas as três melhores práticas. A criação da nova oferta de dados de comportamento de direção da Aviva envolveu o desenvolvimento de algoritmos para conectar o comportamento de direção com preços e criar um aplicativo para smartphone. Em vez de comprar sistemas caros, a Aviva fez um investimento inicial mínimo e usou um pequeno número de desenvolvedores. Isso permitiu à equipe levar o primeiro aplicativo beta para os clientes dentro de cinco meses. Nos seis meses seguintes, a equipe refinou o aplicativo e a experiência do cliente com base em dados ricos de milhares de viagens de motorista. No processo, entregou várias atualizações ao aplicativo - por exemplo, permitindo que os clientes compartilhem suas pontuações no Twitter e no Facebook. O conhecimento adicional sobre clientes individuais permite classificações de seguro mais sofisticadas com base em como as pessoas realmente dirigem, em vez de como tipos de pessoas dirigem. A Aviva agora pode oferecer melhores descontos para bons drivers e criar um produto mais atraente. Até agora, o aplicativo foi baixado milhares de vezes, e os planos estão em andamento para implantá -lo em mercados fora do Reino Unido
Or consider what has taken place at one North American food and beverage retailer. Not only does the company sell 30,000 individual items, but prices vary by location and market condition. And costs can change as often as four times per year. As a result, the retailer makes up to 120,000 price changes annually. The company, therefore, saw an opportunity to centralize its highly complex, high-data-volume pricing decisions. Using inexpensive tools and a team of only 11, the retailer was able to increase pricing accuracy and responsiveness and to deliver tens of millions of dollars in incremental sales and profit.
With these kinds of small steps, results are definitely possible. Smart companies that stick a paddle into the river of fast-moving data can begin to chart a direct course to creating significant value.
