Como IA generativa (Genai) e outras tecnologias disruptivas transformam rapidamente o cenário de negócios, as empresas estão reconhecendo o imperativo estratégico da força de trabalho Resgate . De fato, de acordo com um 2023 Pesquisa BCG , 75% planejam fazer investimentos significativos em retenção e desenvolvimento de talentos. No entanto, historicamente, mesmo investimentos significativos em programas de aumento de sucesso geralmente produziram resultados decepcionantes. Uma das principais razões é que as empresas não encontraram uma maneira confiável de medir o impacto de seus programas, apesar de muitas tentativas de criar esses mecanismos nos últimos 50 anos. Roli permite que as empresas: 1) identifique os resultados ou o impacto que procuram alcançar; 2) definir as métricas que eles usarão para responsabilizar o programa a esse impacto e medir o progresso; e 3) determinar se esse impacto foi alcançado.
Through our work with clients, we have developed a three-step approach to help companies better measure “return on learning investment” for some dimensions of organizational upskilling programs. ROLI enables companies to: 1) identify upfront the business outcomes or impact they are looking to achieve; 2) define the metrics they will use to hold the program accountable to that impact and measure progress; and 3) determine whether that impact has been achieved.
With these ROLI principles in mind, companies can design
Programas de upskilling
Com impacto demonstrável nas receitas, custos, satisfação do cliente e velocidade de inovação, melhorando as margens e cumprindo outros objetivos de negócios.
Os desafios com abordagens tradicionais
It’s not hard to see why companies traditionally have had limited success measuring the impact of their upskilling programs. First, the measurement mechanism itself is very difficult. It’s one thing to track the time an employee spends in an upskilling program. But tracking them through their workflow to determine how they’ve applied their new skill sets is another thing altogether.
Even if it were possible to determine that a person’s performance had improved since the upskilling program, it’s not easy to distinguish correlation from causation. Since controlled studies aren’t realistic, it’s hard to know whether an upskilling program was responsible for the change or if other factors, such as motivation, manager input, or market dynamics played a role.
Another issue is that the impact of any single upskilling program isn’t typically immediately apparent. That’s because the upskilling cycle takes time—both acquiring the skills and then putting them to work in a way that has a business impact. And because leaders have different motivations for investing in upskilling, there isn’t a universally recognized measure of success or even an approach for tracking impact. Some leaders look for productivity improvements, others look for better retention, and still others look to boost their brand.
Despite these challenges, organizations that make a clear connection between the skills being learned and specific KPIs can measure the impact of upskilling programs on their own employees; the maturity of the ecosystem (how fast the organization can upskill and adapt compared with its competitors); and business performance.
Even if it were possible to determine that a person’s performance had improved since the upskilling program, it’s not easy to distinguish correlation from causation.
Embora os três sejam inegavelmente importantes, o impacto dos negócios é fundamental, dado o investimento substancial necessário para criar recursos de escala. Por exemplo, um programa de upskilling para facilitar um Transformação digital Em uma empresa global, pode exigir um investimento de milhões de dólares. Somente programas que desbloquearão o valor significativo para os funcionários e a empresa receberão a luz verde.
Return on Learning Investment
The ROLI approach can help address these challenges and help the C-suite and other leaders track the effectiveness of upskilling interventions through a three-step process.
Identifique o impacto dos negócios -alvo. Antes de embarcar em qualquer programa de upskilling, as organizações precisam primeiro estabelecer o impacto dos negócios que medirão após o término do programa. Esta etapa é fundamental porque não há dois programas os mesmos objetivos ou impacto esperado. Cada programa que construímos e implantamos com um cliente teve uma ambição única, destinada a apoiar a estratégia de negócios e os objetivos de negócios específicos da empresa. Alguns clientes queriam quantificar o valor comercial de casos específicos de uso de Genai no contexto do programa de upskilling, enquanto outros estavam mais interessados no aumento da utensília geral em tópicos como clima e sustentabilidade. Outros ainda, como o próprio programa de aprimoramento de habilidades rápidas e imersivas da BCG U (RISE), construa habilidades comerciais e digitais de alta demanda para aumentar a empregabilidade em campos procurados. Em nossa experiência, as metas de impacto da maioria das empresas (exceto a conformidade) se enquadram em uma das quatro categorias, como segue:
- Objetivos de negócios específicos, such as delivering on a digital transformation, enabling AI use cases, transforming the frontline field force, boosting customer satisfaction, and broadly positioning the company as a magnet for top talent
- Productivity, incluindo qualquer coisa que faça com que os funcionários tenham melhor desempenho em suas funções
- Retenção, such as specific target reductions in attrition, whether across the board or in specific roles
- Speed to mastery, for example, the number of days saved in an employee’s development, from onboarding to full mastery
Define metrics and milestones. Em seguida, as organizações precisam definir as métricas de tempo que usarão para responsabilizar o programa pelo impacto desejado. Deve -se conceder prioridade às métricas que melhor capturam os resultados finais direcionados - os objetivos de negócios específicos, a produtividade e assim por diante. (Consulte o Anexo 1.)

But it’s also critical to measure any progress that is made in the course of a program or soon after it ends. Such progress is best captured through what we call “interim signals of impact.” These are essentially leading indicators that predict outcomes, in the same way that the number of times a product ad is viewed can be used to predict higher sales. It’s important to include such signals since it will likely take some time for the impact to fully manifest.
This is where organizations can best put traditional metrics to use. For example, enrollment and reenrollment rates can provide a sense of progress, as do periodic skills assessments.
Determine se o impacto foi alcançado. A terceira etapa é avaliar se o programa de upskilling alcançou o impacto direcionado. Isso pode ser um desafio, porque nem todos os programas precisam ser medidos com o mesmo nível de rigor. Determinar o nível de rigor depende da importância da intervenção de upskilling. Por exemplo, um programa de upskilling de AI em toda a empresa provavelmente precisaria ser rastreado com o teste A/B, que é uma maneira orientada a dados de comparar o valor de diferentes programas. Por outro lado, um evento de almoço destinado a ajudar os funcionários a tirar o máximo proveito de sua configuração de trabalho de casa pode exigir uma pesquisa simples de funcionários. Isso pode ser um desafio, porque nem todos os programas precisam ser medidos com o mesmo nível de rigor.
Assess whether the upskilling program has achieved the targeted impact. This can be challenging to do because not all programs need to be measured with the same level of rigor.
As expectativas dos líderes empresariais que financiam o programa provavelmente também desempenharão um papel. (Veja o Anexo 2.) Alguns líderes são o que chamamos de "verdadeiros crentes": eles estão convencidos de que o investimento no upskilling tem impacto e, portanto, ficam satisfeitos com as evidências qualitativas. Outros líderes são mais céticos - esses "investidores analíticos" se comprometem apenas se houver provas inequívocas de que ela será recompensada. Depois, há aqueles entre os dois-os "buscadores de impacto" que estão cientes das dificuldades de capturar o impacto e, portanto, estão abertas a usar uma mistura de métodos. Programa. Depois de desenvolver um programa de upsekcilling, a empresa usou testes A/B para medir a eficácia do programa em um grupo representativo de líderes da linha de frente que participam de um piloto. O sucesso foi medido com uma pequena lista de KPIs principais. Comparando o desempenho dos grupos piloto e de linha de base, a empresa descobriu que o piloto demonstrou sucesso em todos os KPIs, incluindo a lucratividade, que melhorou em 3%. O ROI claramente alto tomou uma decisão fácil de dimensionar o programa em toda a organização.

For all these reasons, leadership teams should think about the level of rigor that’s needed as they define the metrics they’re going to use to evaluate the program.
In the case of a global energy company implementing a large-scale retail transformation, the major agents of change were frontline leaders who needed to be upskilled to run the complex initiative. After developing an upskilling program, the company used A/B testing to measure the program’s effectiveness on a representative group of frontline leaders participating in a pilot. Success was measured with a short list of core KPIs. Comparing the performance of the pilot and baseline groups, the company found that the pilot demonstrated success across all the KPIs, including profitability, which improved by 3%. The clearly high ROI made it an easy decision to scale the program across the entire organization.
Aproveitando o máximo de Roli
Os cálculos específicos variarão com as metas de negócios da empresa e os tipos de intervenções usadas. (Para uma explicação sobre como fazer um cálculo real de Roli, consulte a barra lateral.)
Calcule Roli
Regarding the denominator, there are several ways to carve up the related costs. For example, companies could take a value chain view, looking at costs in terms of skills diagnosis, design, delivery, and ongoing maintenance. Costs can also be assessed by categories such as people and technology, internal and external, or direct and indirect. The simplest way to derive costs is to consider components such as the following:
- A equipe que gerencia toda a cadeia de valor de upskilling
- fornecedores, como os treinadores
- Technologies
- Direct upskilling program delivery costs
- Reduced employee productivity due to insufficient program attendance
The next step is to meaningfully quantify all the other ways impact can occur via interim impact metrics. To simplify things a bit, it’s helpful to think first about ROLI in the context of a specific program rather than the entire organization. For each discrete program, ROLI is equal to the direct impact of the program (such as the boost in productivity of select employees) divided by the direct costs of the program (such as the cost of upskilling). Using this approach, companies can calculate the ROLI across multiple discrete programs.
To calculate ROLI for the entire organization, we recommend that companies continue to calculate ROLI at the discrete program level and add an overall benefits and costs analysis into the mix if it’s possible to gather that data. This is a challenging endeavor because of all the moving parts, so companies should proceed with caution.
This approach allows companies to calculate a more complete ROLI on individual programs, yielding more-tangible outcomes than if they simply allocated a portion of overall costs to individual programs.
Mas acreditamos que Roli faz um bom trabalho ao capturar o impacto nos negócios para a maioria das empresas. Para tirar o máximo proveito dessa abordagem, as organizações devem ter em mente o seguinte:
Entenda que nem tudo precisa ser medido. Reconhecemos que existem muitos programas de upskilling que os líderes investirão, não importa o quê. Por exemplo, Programas de desenvolvimento de liderança destinados a criar uma cultura de aprendizado pode ser tão complicado de medir que a organização pode acabar gastando mais tempo em medição do que a implementação real. As equipes precisam trabalhar juntas em todo o ciclo de vida do programa, desde a definição do impacto comercial desejado até a avaliação dos resultados. Observe que, mesmo quando há KPIs claros, pode ser difícil desenhar uma linha reta da intervenção usada para os resultados dos negócios associados. Se houver um total de partes interessadas, os resultados não serão uma surpresa para ninguém.
Make collaboration a top priority. Business impact cannot be measured in a vacuum. Teams need to work together across the life cycle of the program, from defining the desired business impact to assessing the outcomes. Note that even when there are clear KPIs, it can be hard to draw a straight line from the intervention used to the associated business outcomes. If there is total stakeholder buy-in upfront, the outcomes won’t come as a surprise to anyone.
Teams need to work together across the life cycle of the program, from defining the desired business impact to assessing the outcomes.
Seja realista sobre os limites de tempo. Muitas vezes, no entanto, a melhoria não será evidente até que os KPIs sejam revisados no final do ano ou até mais tarde. Ainda assim, recomendamos que as empresas estabeleçam uma meta de tempo e cumpra-o: ter KPIs claros e uma data de conclusão alvo pode percorrer um longo caminho. Everyone wants the upskilling program to prove its impact immediately, or at least during the intervention itself. Often, however, the improvement will not be evident until KPIs are reviewed at year-end or even later. Still, we recommend that companies set a time-bound target and stick to it: having clear KPIs and a target date of completion can go a long way.
Embora a medição do impacto nos negócios dos investimentos sobre o aumento da sorte seja um desafio, as organizações devem persistir em suas tentativas de avaliar esses retornos, assim como medem outros investimentos em negócios. A implementação do Roli sempre que possível é uma maneira poderosa de começar. Gostaríamos muito de ouvir o que você aprendeu no processo e se você tiver algum exemplo que ilustre o impacto da construção de capacidade de escala em sua organização. Sinta-se à vontade para entrar em contato com um dos nossos
Do you have a story about how you effectively (or ineffectively) measured the impact of upskilling? We’d love to hear what you learned in the process, and if you have any examples that illustrate the impact from scaling capability building in your organization. Please feel free to reach out to one of our especialistas ou para [email protected]. Inscreva -se .