Agile transformou o desenvolvimento de software e mantido em outras funções de negócios. Mas não foi incorporado ao mesmo grau em projetos de big data. Embora as organizações de todos os tipos estejam se modernizando usando o Big Data para alimentar decisões importantes, a maneira como desenvolvem projetos de big data permanece decididamente antiga. Os engenheiros e cientistas de dados geralmente não têm a profundidade da perspicácia dos negócios necessários para abordar completamente as principais questões que seus projetos devem responder. Eles podem ser ótimos em modelagem matemática, ciência da computação e estatísticas, mas menos hábeis na detecção do significado comercial específico nos dados ou na avaliação das mudanças nos negócios do mundo real necessárias para capturar o valor de suas análises.
The reasons for the lag are many, but in many cases, the biggest reason is simple. Data engineers and scientists often do not have the depth of business acumen needed to fully address the key questions that their projects are meant to answer. They may be great at mathematical modeling, computer science, and statistics but less adept at detecting the specific business meaning in the data or assessing the real-world business changes needed to capture the value of their analytics.
Ao mesmo tempo, os executivos de negócios podem não entender a ciência dos dados o suficiente para apreciar plenamente como suas principais perguntas de negócios podem ser respondidas. Eles geralmente subestimam o que é possível e o que é prático ao implementar soluções de big data. Como resultado, os possíveis resultados de um projeto de análise de big data e o que é necessário para gerar esses resultados podem facilmente se perder. Tais técnicas incluem estabelecer marcos e agendar reuniões para alinhar a equipe de negócios e técnicos. Mas esses métodos clássicos podem não ser suficientes para compensar o conhecimento especializado dos cientistas e a compreensão limitada dos líderes de negócios sobre a ciência de dados.
Traditionally, IT departments and business executives have used classic project management methods to overcome these shortcomings. Such techniques include establishing milestones and scheduling meetings to align business and technical staff. But those classic methods may not be enough to compensate for scientists’ specialized knowledge and for business leaders’ limited understanding of data science.
Organizations can overcome challenges by incorporating agile practices throughout big data analytics projects.
As organizações podem superar esses desafios, no entanto, incorporando práticas ágeis em projetos de análise de big data. Se o fizerem, podem se concentrar melhor nos clientes internos e externos. O uso do Agile também pode ajudar os funcionários a se sentirem fortalecidos, o que pode levar a dados de maior qualidade e melhores resultados do projeto. O uso generalizado da análise de big data possui avanços em áreas tão variadas quanto o diagnóstico médico, o gerenciamento de pessoas e a maneira como as organizações respondem ao comportamento do consumidor. projetos semelhantes. Eles então criam algoritmos para testar a teoria usando uma ou mais formas de inteligência artificial, aprendizado de máquina, otimização ou estatísticas tradicionais em uma escala maciça. Se a teoria for falsa, eles podem continuar refinando e testando até chegarem a uma conclusão válida. Ou eles podem abandoná -lo e passar para um problema de negócios diferente ou mais premente.
Big Data’s Big Problem and the Agile Solution
At their best, big data analytics detect patterns that would require considerably more time and effort to uncover using traditional analytics tools. The widespread use of big data analytics has powered breakthroughs in areas as varied as medical diagnostics, people management, and the ways organizations respond to consumer behavior.
Data scientists start big data projects with a theory about a business problem, such as how to predict demand for a car model on the basis of new features and past sales or how to determine how many employees an organization should hire to staff a new venture given existing personnel and previous staffing levels for similar projects. They then build algorithms to test the theory using one or more forms of artificial intelligence, machine learning, optimization, or traditional statistics on a massive scale. If the theory is shown to be false, they may continue refining and testing it until they reach a valid conclusion. Or they may drop it and move to a different or more pressing business problem.
Os resultados da análise de big data podem ser notáveis. Ao observar muitas empresas, porém, também vimos taxas de falhas significativas, principalmente quando as organizações tentam lançar essas análises em larga escala. Quando os problemas ocorrem, entregas como quaisquer insights esperadas ou melhorias de processo podem não se concretizar. Na maioria das vezes, a falha não está nos dados, mas com os métodos usados para verificar, processar e agir sobre ele. (Ver " Como evitar a grande armadilha de dados ruins , "Artigo do BCG, junho de 2015). Aguarda até que a tarefa anterior seja concluída. focado e melhorando continuamente.
The heart of the problem is the manner in which big data analytics are developed. Most are built sequentially, applying the waterfall method of project management traditionally used in software development. In the waterfall method, data scientists acquire, verify, and integrate data; develop a model or algorithm to test it; run the test; and then either act on the results or continue refining the model. Work on one task waits until the preceding task is finished. But that process is inefficient. In many cases, people spend more time sitting in meetings and managing handoffs than they do on actual data-related activities. The work itself may be misdirected and wasteful. The final product is often late and difficult for a lay executive to understand, and the impact is less than anticipated.
Agile calls for working in a way that is iterative, empirical, cross-functional, focused, and continually improving.
Frustrações com o método da cascata acabaram levando os desenvolvedores de software a melhorar o processo, adotando maneiras ágeis de trabalhar. O Agile exige trabalhar de uma maneira que seja iterativa, empírica, multifuncional, focada e melhorando continuamente. (Ver " Cinco segredos para aumentar o ágil , ”Artigo do BCG, fevereiro de 2016). Os métodos ágeis comuns incluem a montagem de equipes multifuncionais, que melhoram as comunicações e reduzem as transferências, especialmente quando os membros da equipe trabalham no mesmo local. Eles também incluem o desenvolvimento de produtos mínimos viáveis (MVPs), atualizações rápidas e feedback frequente para garantir que os produtos acabados sobre o produto em expectativas e objetivos.
Usando o ágil em projetos de big data
Agile mostrou uma grande promessa em muitos campos além de software, incluindo serviços financeiros, marketing e consumidor. (Ver " Ágil ao resgate no varejo , ”BCG Artigo, outubro de 2018 e“ Levando transformações ágeis além do ponto de inflexão , "Artigo do BCG, agosto de 2018.) Nos compromissos de clientes, vimos as equipes de capacitar ágils a fazer o melhor trabalho, garantindo que elas estejam alinhadas com os objetivos estratégicos de uma organização. Dados esses sucessos, acreditamos que o ágil pode trazer vários projetos específicos para os projetos de big data. Em seguida, uma equipe de análise preditiva para ajudar os leads de vendas podem esperar até os testes em estágio tardio para mostrar os resultados dos executivos. Realizar os resultados esperados, os executivos de negócios descobrem imediatamente e podem corrigir seu curso. Eles poderiam pedir à equipe que analise diferentes dados, faça outras modificações ou, em alguns casos, abandone o projeto - todos os movimentos que economizam tempo e dinheiro em comparação com outros métodos. A equipe ágil - que era composta por pessoal da engenharia de dados, ciência de dados, marketing e funções criativas, entre outros - estava encarregada de desenvolver soluções inovadoras de marketing e vendas de big data. Para fazer isso, eles administravam sprints ágeis que produziam programas de marketing omnichannel incrementalmente novos a cada sete dias. Os novos programas levaram a aumentos diretos de receita em um curto período de tempo. Por esse motivo, além do algoritmo e saída, um MVP do Big Data Project inclui as mudanças comerciais e comportamentais necessárias para obter resultados reais. Por exemplo, o desenvolvimento de um algoritmo para melhorar a programação e a expedição para técnicos de serviço também pode incluir o desenvolvimento de um processo diferente para notificar os clientes sobre os próximos compromissos.
Rapid Experimentation. Historically, testing occurs near the end of big data projects, which means that business executives might not see results until then. For example, a team building a predictive analytics model to help sales people convert leads might wait until late-stage testing to show executives the results. However, offering results so late in the process could lead to unclear expectations for the work to be done, methods to be used, and possible outcomes. With agile, projects are broken down into manageable chunks that can be built and tested quickly. Teams develop and test MVPs continuously. If the data analytics do not yield the expected results, business executives find out right away and can correct their course. They could ask the team to analyze different data, make other modifications, or even, in some cases, abandon the project—all moves that save time and money compared with other methods.
A specialty retailer took this concept of rapid experimentation to heart when it convened an agile team that adopted the motto, “Get 1% better each week.” The agile team—which was composed of personnel from the data engineering, data science, marketing, and creative functions, among others—was tasked with developing innovative big data marketing and sales solutions. To do that, they ran agile sprints that produced incrementally new omnichannel marketing programs every seven days. The new programs led to direct increases in revenue in a short period of time.
Rapid experimentation is appropriate not only for big data analytics algorithms and the data that a project is based on but also to ensure that an organization can understand and act on the results. For this reason, in addition to the algorithm and output, a big data project MVP includes the business and behavioral changes needed to attain real results. For example, developing an algorithm to improve scheduling and dispatch for service technicians could also include developing a different process for notifying customers of upcoming appointments.
Feedback precoce do cliente. Isso torna importante incluir clientes no processo. Se um projeto for para um cliente externo, um representante do cliente poderá ser incorporado à equipe. Se uma equipe estiver trabalhando em um projeto de big data para um cliente interno, um membro desse departamento pode estar na equipe. Quando uma refinaria européia de petróleo criou um aplicativo de big data que seus engenheiros poderiam usar para otimizar o ciclo de manutenção de seus principais equipamentos, por exemplo, alguns engenheiros de processo e manutenção foram atribuídos às equipes que desenvolveram o aplicativo. Se a equipe determinar que a inclusão de um recurso específico levará significativamente mais tempo do que o esperado sem fornecer muito valor adicional, o proprietário do produto - o membro da equipe responsável por representar o cliente - pode levar isso em consideração. O proprietário do produto pode abandoná-lo e passar para itens de menor custo ou maior valor no backlog do projeto, uma lista priorizada de itens de trabalho. The overriding goal of big data projects is not to build brilliant mathematical models but to solve practical business challenges or discover insights leading to actions that could benefit customers. That makes it important to include customers in the process. If a project is for an external client, a representative of the client could be embedded with the team. If a team is working on a big data project for an internal client, a member of that department might be on the team. When a European oil refinery created a big data application that its engineers could use to optimize the maintenance cycle of their key equipment, for instance, some process and maintenance engineers were assigned to the teams that developed the app.
Prioritizing Value. Accomplishments that add value without increasing cost take precedence over completing tasks in a predefined order. If the team determines that including a particular feature will take significantly longer than expected without providing a lot of additional value, the product owner—the team member responsible for representing the customer—can take this into account. The product owner can drop it and move on to lower-cost or higher-value items on the project backlog, a prioritized list of work items.
Funcionalidade cruzada. Em nossa experiência em trabalhar com clientes, 70% dos esforços de uma equipe multifuncional chegam além de análises estritas nos processos de negócios, comportamentos operacionais e tipos de tomada de decisão que as análises sugerem. Para acomodar esse escopo, as equipes de projeto de big data normalmente incluem pessoal com uma variedade de origens. (Veja o Anexo 2.) A equipe pode tomar decisões sem que os membros precisem aprovação de seus chefes individuais. Os membros da equipe elaboram trocas, conflitos e compromissos em tempo real, o que explica por que é tão crítico que eles trabalhem no mesmo local - de preferência na mesma sala. Ao mesmo tempo em que estão trabalhando em algoritmos e dados, as equipes também podem estar fazendo alterações nos modelos operacionais e nos processos de negócios. Traditional big data projects fail most often for reasons that are largely unrelated to data analysis. In our experience working with clients, 70% of a cross-functional team’s efforts reach beyond strict analytics into the business processes, operational behaviors, and types of decision making that the analytics suggest. To accommodate that scope, big data project teams typically include personnel with a variety of backgrounds. (See Exhibit 2.) The team can make decisions without members needing approval from their individual bosses. Team members work out tradeoffs, conflicts, and compromises in real time, which explains why it is so critical for them to work in the same location—preferably in the same room. At the same time that they are working on algorithms and data, teams may also be making changes to operating models and business processes.
The European oil refinery mentioned above took such an approach when it incorporated agile ways of working into three big data projects launched as part of a larger digital transformation initiative. Each project had a dedicated scrum team with a scrum master, product owner, and personnel from such key functions as operations, technology development, asset maintenance, and IT. Data scientists from an outside advanced-analytics consulting firm were included on the teams. The teams and agile approach helped the refinery produce multiple MVPs within a four-month span and industrialize a final product considerably faster than it could have done in the company’s typical product development cycle. Multidisciplinary scrum teams also contributed to a more collaborative corporate culture and drastically increased employee engagement.
People Empowerment. In a traditional big data project, a project manager decides which priorities are most important and how they will be met—even though he or she may not understand the development process. When that power is delegated to a team, people become more engaged in their work and are more invested in the outcome. Unlike data scientists who might work on multiple engagements, for example, agile team members are not staffed on several projects simultaneously. Rather, they devote all their time to the team, thus becoming more invested in the work. This singular focus also builds accountability.
Companies that have adopted agile are more successful than others in attracting digital talent and younger workers.
Não é de admirar que as empresas que adotaram o Agile sejam mais bem -sucedidas do que outras para atrair talentos digitais e trabalhadores mais jovens - dois grupos de pessoas que priorizam o trabalho que lhes dá um senso de propósito. (Ver Como ganhar e desenvolver talentos e habilidades digitais , BCG Focus, julho de 2017.)
Os segredos para usar o Agile em big data
Agile and big data may sound like a perfect pairing, but getting them to work together is not as easy as it may seem. To be successful, keep several critical factors in mind.
O algoritmo não é o produto acabado. As equipes ágeis devem desenvolver painéis, infográficos ou outros visuais que comunicam prontamente os resultados de suas descobertas. Eles também devem incluir como parte de seu trabalho as mudanças operacionais e comportamentais de ponta a ponta necessárias para obter resultados reais. An algorithm can be a thing of beauty or a waste if it cannot deliver results-oriented output in a way that a business department or organization can understand. Agile teams should develop dashboards, infographics, or other visuals that readily communicate the results of their findings. They must also include as part of their work the end-to-end operational and behavioral changes that are necessary to get real results.
MVPs são distintos dos protótipos. Se um protótipo funcionar, ele é usado como o quadro para um MVP mais abrangente que pode ser potencialmente lançado para usuários finais. Um MVP também inclui dados atualizados, uma interface amigável, recursos principais e instruções operacionais. E como tem que funcionar em um contexto de negócios, inclui mudanças relevantes nos processos e modelos operacionais também. Prototypes come first and generally are built with historical data in order to verify that an algorithm can do what it is supposed to do. If a prototype works, it is used as the frame for a more all-encompassing MVP that could potentially be released to end users. An MVP also includes up-to-date data, a user-friendly interface, core features, and operating instructions. And since it has to work in a business context, it includes relevant changes to processes and operating models as well.
As partes interessadas devem aceitar a imperfeição. No entanto, e apesar de suas falhas, eles podem indicar sinais de progresso em direção a uma solução satisfatória. Aceitar essa imperfeição pode exigir que as partes interessadas-que, no passado, viam apenas versões próximas-para mudar como eles pensam em projetos de análise de big data. Ao incentivar a tentativa e o erro, as partes interessadas melhoram as chances de que um projeto se mova com sucesso do MVP para a produção em escala completa. The iterative nature of agile development means that works in progress might not look great or perform as well as possible. Nevertheless, and despite their flaws, they may indicate signs of progress toward a satisfactory solution. Accepting such imperfection may require stakeholders—who, in the past, saw only near-final versions—to shift how they think about big data analytics projects. By encouraging trial and error, stakeholders improve the odds that a project will move successfully from MVP to full-scale production.
Inclua mais do que apenas pessoal de ciência de dados. Como regra geral, faz sentido procurar uma equipe de projeto com engenheiros de dados que possam preparar os dados, os cientistas de dados que podem conduzir a análise, designers que sabem como apresentar os dados e uma variedade de pessoal de negócios que estão familiarizados com os objetivos de negócios e implicações de negócios do projeto para os processos existentes. O objetivo é misturar os talentos das pessoas em um todo maior que a soma de suas partes. Agile teams should include a mix of talent assembled on the basis of need rather than on a standard structure or past experience. As a general rule, it makes sense to staff a project team with data engineers who can prepare the data, data scientists who can conduct the analysis, designers who know how to present the data, and a variety of business personnel who are familiar with the project’s business objectives and implications for existing processes. The goal is to blend people’s talents into a whole that is greater than the sum of its parts.
Com tantos pontos positivos a serem obtidos ao incorporar o Agile em projetos de big data, as empresas podem ser tentadas a mergulhar imediatamente. Mas obter os melhores resultados requer um planejamento substancial, incluindo um exame minucioso do que é necessário e como isso afetaria o pessoal e os processos existentes. Conduzir um piloto é uma boa maneira de começar. Se for bem -sucedido, o ágil pode ser adicionado a mais programas de big data, uma etapa que requer pensar em como configurar equipes e obter feedback do cliente.
Fabrice Roghé
