Genai não aumenta apenas a produtividade. Ele expande os recursos.

Este é o segundo experimento de campo principal liderado pelo Instituto BCG Henderson, projetado para ajudar os líderes empresariais a entender como os seres humanos e a Genai devem colaborar no local de trabalho. Nosso estudo anterior avaliou o Valor criado - e destruído - por genai Quando usados ​​pelos trabalhadores para tarefas, eles tinham os recursos para concluir por conta própria. Nosso último experimento testa como os trabalhadores podem usar o Genai para concluir tarefas que estão além de suas capacidades atuais. Este funcionário, aumentado com

A new type of knowledge worker is entering the global talent pool. This employee, augmented with AI generativo , pode escrever código mais rápido, criar conteúdo de marketing personalizado com um único prompt e resumir centenas de documentos em segundos.

Estes são ganhos impressionantes de produtividade. Mas, como a natureza de muitos empregos e as habilidades necessárias para evoluir, os trabalhadores precisarão expandir suas capacidades atuais. Genai também pode ser uma solução lá?

com base nos resultados de um novo experimento Conduzido pelo Instituto BCG Henderson e estudiosos da equipe de pesquisa de impactos econômicos da Universidade de Boston e do Openai, a resposta é um sim inequívoco. Agora descobrimos que é possível para os funcionários que não tinham o conhecimento completo para executar uma tarefa específica ontem para usar o Genai para concluir a mesma tarefa hoje. Nossa pesquisa envolveu um projeto experimental cuidadosamente estruturado para avaliar o impacto da IA ​​generativa na capacidade dos trabalhadores do conhecimento não técnico de executar tarefas técnicas de ciência de dados. Os participantes do estudo eram consultores gerais, para os quais normalmente não são necessários conhecimentos de ciência de dados. Essa experiência existe entre os cientistas de dados do BCG X, que também se ofereceram para apoiar o estudo, estabelecendo benchmarks. O desempenho de consultores gerais foi avaliado comparando sua produção com a dos cientistas de dados do BCG que concluíram as mesmas tarefas. As tarefas atribuídas aos participantes incluíram codificação, entendimento estatístico e modelagem preditiva, todas as quais exigiam habilidades que normalmente estão fora da experiência de trabalhadores não técnicos, mas dentro da experiência do dia-a-dia dos cientistas de dados da BCG.

Com isso em mente, os líderes devem abraçar Genai não apenas como uma ferramenta para aumentar a produtividade, mas como um Tecnologia Isso equipa a força de trabalho para atender às mudanças nas demandas do trabalho de hoje, amanhã e além. Eles devem considerar a IA generativa um exoesqueleto: uma ferramenta que capacita os trabalhadores a ter um desempenho melhor e fazer mais do que o humano ou o Genai pode por conta própria. Ou eles podem se tornar menos atentos em situações em que devem ser mais discriminantes. A capacidade de assumir rapidamente novos tipos de trabalho com a Genai-particularmente tarefas que tradicionalmente exigem habilidades de nicho mais difíceis de encontrar, como a ciência de dados-podem mudar de jogo para indivíduos e empresas.

Of course, there are important caveats—for example, employees may not have the requisite knowledge to check their work, and therefore may not know when the tool has gotten it wrong. Or they may become less attentive in situations where they should be more discriminating.

But leaders who effectively manage the risks can reap significant rewards. The ability to rapidly take on new types of work with GenAI—particularly tasks that traditionally require niche skills that are harder to find, such as data science—can be a game-changer for individuals and companies alike.

How GenAI Can Equip Knowledge Workers

In the previous experiment, we measured performance on tasks that were within the realm of the participants’ recursos. ¹ 1 Esse experimento foi realizado usando a primeira versão do GPT-4. (Consulte a linha superior da Figura 1.) Para tarefas em que Genai is highly capable, we found that augmented workers perform significantly better than humans working without the technology. However, when the technology is not capable of performing the task at expert level, humans tend to over-rely on GenAI and perform worse than if they had completed the task on their own.

But what happens when, instead of using GenAI to improve performance within their current skillset, people use GenAI to complete tasks that are outside their own capabilities? Does being augmented with GenAI expand the breadth of tasks people can perform?

For our latest experiment, more than 480 BCG consultants performed three short tasks that mimic a common data-science pipeline: writing Python code to merge and clean two data sets; building a predictive model for sports investing using analytics best practices (e.g. machine learning); and validating and correcting statistical analysis outputs generated by ChatGPT and applying statistical metrics to determine if reported findings were significativo. ² 2 Dos consultores que se inscreveram originalmente para participar, 480 concluíram o experimento. Os participantes foram divididos aleatoriamente em um grupo controle que não tinha permissão para usar o Genai para as tarefas e um grupo de "tratamento" que foi solicitado a usar o Genai. Cada participante recebeu duas das três tarefas; Cada tarefa foi caixa de tempo por 90 minutos. É importante observar que não testamos um fluxo de trabalho de ciência de dados de ponta a ponta, desde a ideação até a entrega ou tópicos avançados, como aprendizado profundo.

Embora essas tarefas não capturem a totalidade da carga de trabalho dos cientistas de dados avançados, elas são suficientemente representativas. Eles foram projetados para apresentar um desafio significativo para qualquer consultor e não podiam ser totalmente automatizados pelo Genai ferramenta. ³ 3 Utilizamos o Enterprise ChatGPT com o GPT-4 e seu recurso avançado de análise de dados.

Para ajudar a avaliar o impacto do desempenho do Genai, apenas metade dos participantes teve acesso à ferramenta Genai e comparamos seus resultados aos de 44 cientistas de dados que trabalharam sem a assistência de Genai. Quando nos aprofundamos nos resultados, surgem três achados críticos. Mesmo quando eles não tinham experiência em codificação ou estatística, os consultores com acesso a Genai foram capazes de escrever código, aplicar adequadamente modelos de aprendizado de máquina e corrigir estatísticos errôneos

The Immediate Aptitude-Expansion Effect

When using GenAI, the consultants in our study were able to instantly expand their aptitude for new tasks. Even when they had no experience in coding or statistics, consultants with access to GenAI were able to write code, appropriately apply machine learning models, and correct erroneous statistical Processos. ⁴ 4 As descobertas para a tarefa de entendimento estatístico foram consistentes com as das tarefas de codificação e análise preditiva; Como resultado, focamos nas duas primeiras tarefas deste artigo. (Consulte o Anexo 2.)

Observamos o maior efeito de aptidão-expansão da codificação, uma tarefa na qual Genai é altamente adepto. Os participantes foram solicitados a escrever código que limpasse dois conjuntos de dados de vendas corrigindo pontos de dados ausentes ou inválidos, mesclando os conjuntos de dados e filtrando para identificar os cinco principais clientes em um mês especificado.

== Saiba mais sobre Genai

生成 ai

AI

Ai エージェント

Os participantes que usaram a Genai alcançaram uma pontuação média equivalente a 86% da referência definida pelos cientistas de dados. Esta é uma melhoria de 49 pontos percentuais em relação aos participantes que não usam Genai. O grupo de Genai-agentado também terminou a tarefa aproximadamente 10% mais rápida que os cientistas de dados. Um participante que não teve experiência em codificação nos disse: "Sinto que me tornei um codificador agora e não sei como codificar! No entanto, posso alcançar um resultado que não seria capaz de de outra forma". Aqueles que trabalham sem Genai, por outro lado, muitas vezes não estavam muito além do que abrir os arquivos e limpar os primeiros campos de dados "bagunçados"; Eles alcançaram apenas 29% da referência cientista de dados. Portanto, embora não tenham experiência em executar a tarefa de codificação no Python, eles sabiam o que esperar de uma saída correta. Isso é fundamental para qualquer trabalhador de geração de geração-se eles não têm conhecimento suficiente para supervisionar a saída da ferramenta, eles não saberão quando está cometendo erros óbvios. Aqui, a tecnologia ainda era valiosa como parceiro de brainstorming. Eles foram solicitados a criar um modelo preditivo, usando dados históricos sobre partidas internacionais de futebol, para desenvolver uma estratégia de investimento. Seu objetivo final era avaliar o quão previsível ou confiável seria seu modelo para tomar decisões de investimento.

Even those consultants who had never written code before reached 84% of the data scientists’ benchmark when using GenAI. One participant who had no coding experience told us: “I feel that I’ve become a coder now and I don’t know how to code! Yet, I can reach an outcome that I wouldn’t have been able to otherwise.” Those working without GenAI, on the other hand, often did not get much further than opening the files and cleaning up the first “messy” data fields; they achieved just 29% of the data-scientist benchmark.

It’s important to note that most consultants are expected to know the basics of data cleaning and often perform data-cleaning tasks using no-code tools such as Alteryx. Therefore, while they did not have experience doing the coding task in Python, they knew what to expect from a correct output. This is critical for any GenAI-augmented worker—if they don’t have enough knowledge to supervise the output of the tool, they will not know when it is making obvious errors.

A Powerful Brainstorming Partner

For the task that involved predictive analytics, our participants faced a challenging scenario: neither they nor the GenAI tool were highly adept at that task. Here, the technology was still valuable as a brainstorming partner.

While all the tasks in our experiment were designed such that the GenAI could not independently solve them, the predictive-analytics task required the most engagement from participants. They were asked to create a predictive model, using historical data on international soccer matches, to develop an investment strategy. Their ultimate goal was to assess how predictable, or reliable, their model would be for making investment decisions.

Como mostrado no Anexo 2, essa foi a tarefa na qual o consultor de Genai, com o agosto de Genai, era menos provável de se apresentar com um cientista de dados, independentemente da experiência anterior em codificação ou estatística. Isso ocorre porque a ferramenta Genai provavelmente entenderá mal o objetivo final do prompt se toda a tarefa for copiada e colada diretamente na ferramenta sem quebrar a pergunta em partes ou esclarecer os objetivos. Como resultado, os participantes com acesso a Genai eram mais propensos a se desviarem do que seus colegas não prestados. Eles pensaram com a ferramenta, combinando seu conhecimento com o conhecimento de Genai para descobrir novas técnicas de modelagem e identificar as etapas corretas para resolver o problema com sucesso. Os participantes de Genai-agentado tiveram 15 pontos percentuais com maior probabilidade de selecionar e aplicar adequadamente métodos de aprendizado de máquina do que seus colegas que não tiveram acesso a Genai.

Even so, we found that, with the support of GenAI, many participants were able to step outside their comfort zone. They brainstormed with the tool, combining their knowledge with GenAI’s knowledge to discover new modeling techniques and identify the correct steps to solve the problem successfully. The GenAI-augmented participants were 15 percentage points more likely to select and appropriately apply machine-learning methods than their counterparts who did not have access to GenAI.

RECLIONADO, mas somente quando aumentado

Aptidão dos participantes para concluir tarefas novas e desafiadoras foi imediatamente impulsionada ao usar o Genai, mas eles foram resgatados? O resgate é definido como um indivíduo que ganha novas capacidades ou conhecimentos que permitem que ele se mude para um novo emprego ou setor. Descobrimos em nosso estudo que os trabalhadores de Genai, em agosto, estavam, em certo sentido, "resgatados", na medida em que obtiveram novas capacidades que estavam além do que o humano ou o Genai poderiam fazer por conta própria. Mas Genai era apenas um exoesqueleto; Os participantes não foram intrinsecamente resgatados, porque "fazer" com Genai não significa imediatamente nem significa inerentemente "aprender a fazer". Por exemplo, fizemos uma pergunta de sintaxe de codificação, embora nem todos tenham feito a tarefa de codificação - e, portanto, nem todos teriam a chance de "aprender" a sintaxe. No entanto, as pessoas que participaram da tarefa de codificação obtiveram o mesmo na avaliação que as pessoas que não fizeram a tarefa de codificação. A execução das tarefas de ciência de dados em nosso experimento, portanto, não aumentou o conhecimento dos participantes.

While each participant was assigned just two of the three tasks in the experiment, we gave everyone a final assessment with questions related to all three tasks to test how much they actually learned. For example, we asked a coding syntax question even though not everyone did the coding task—and therefore not everyone would have had a chance to “learn” syntax. Yet the people who participated in the coding task scored the same on the assessment as people who didn’t do the coding task. Performing the data-science tasks in our experiment thus did not increase participants’ knowledge.

Obviamente, os participantes tiveram apenas 90 minutos para concluir a tarefa. Com a repetição, mais aprendizado pode ter ocorrido. Também não informamos os participantes que eles seriam testados no final, portanto, incentivar o aprendizado também pode ter ajudado. Isso é importante, porque descobrimos que, com pelo menos algum conhecimento de um determinado assunto.

GENAI-AGENTED PARTIVANTES com experiência de codificação moderada tiveram um desempenho de 10 a 20 pontos percentuais melhor nas três tarefas do que seus pares que se identificaram como iniciantes, Mesmo quando codificação não foi envolvido. A experiência de codificação foi baseada em uma auto-avaliação. Definimos experiência moderada por aqueles que selecionaram "eu sei como codificar, mas não sou especialista" e iniciantes como aqueles que selecionaram "eu só conheço o básico da codificação" e "Não sei como codificar".⁵ 5 Coding experience was based on a self-assessment. We define moderate experience by those who selected “I know how to code but am not an expert” and novices as those who selected “I only know the basics of coding” and “I don’t know how to code.” De fato, aqueles com experiência de codificação moderada estavam totalmente a par com os cientistas de dados para duas das três tarefas - uma das quais teve uma codificação zero envolvida. em si. Isso faz parte de uma discussão maior: que outras habilidades aparentemente automatizáveis ​​têm tanta importância? Essas habilidades se tornarão o novo latim, ensinado principalmente a cultivar uma mentalidade específica? Identificamos cinco implicações centrais para os líderes da empresa. (Consulte o Anexo 3.)

Based on this, we posit that it is the engineering mindset that coding helps develop—for example, having the ability to break a problem down into subcomponents that can be effectively checked and corrected—that ultimately matters, more so than the coding experience itself.

The risk of fully automating code, then, is that people don’t form this mindset—because how do you maintain this skill when the source of its development is no longer needed? This is part of a larger discussion: What other seemingly automatable skills have such importance? Will these skills become the new Latin, taught mostly to cultivate a particular mindset?

Managing the Transition

While we have used data science as a case study, we believe that our finding—that augmented workers can skillfully perform new tasks—can be applied to any field that is within the tool’s capabilities. We’ve identified five core implications for company leaders. (See Exhibit 3.)

Aquisição de talentos e mobilidade interna. Isso sugere que o pool de talentos para o trabalho de conhecimento qualificado está se expandindo. Os líderes também podem achar que uma pessoa improvável dentro de sua organização pode preencher um papel aberto. Não estamos sugerindo que generalistas não técnicos possam se tornar imediatamente cientistas de dados. Mas um comerciante generalista poderia, por exemplo, assumir tarefas ou funções de analistas de marketing. The results across our workforce experiments have shown that what an individual can perform on his or her own by no means approaches what can be accomplished when augmented by GenAI. This suggests that the talent pool for skilled knowledge work is expanding.

Recruiters should therefore incorporate GenAI into the interview process to get a more complete picture of what a prospective employee might be capable of when augmented by the technology. Leaders may also find that an unlikely person inside their organization can fill an open role. We’re not suggesting that nontechnical generalists can immediately become data scientists. But a generalist marketer could, for example, take on marketing analyst tasks or roles.

Aprendizagem e desenvolvimento. O que isso significa para os funcionários que buscam caminhos para cargos seniores e/ou liderança? Como os membros da força de trabalho Genai-Agented, que podem assumir flexivelmente vários papéis, cultivar as habilidades certas para o avanço da carreira-e quais são as habilidades mais importantes para eles reter a longo prazo? Portanto, os líderes devem garantir que os funcionários tenham tempo incentivado e protegido para aprender.

While GenAI has an immediate aptitude-expansion effect, learning and development remain the most import lever for cultivating advanced skills and supporting each employee’s professional trajectory. Leaders therefore must ensure that employees have incentivized and protected time to learn. Outra pesquisa mostrou que, quando usado especificamente para aprender (e, diferentemente de nossos participantes, as pessoas geralmente são incentivadas a aprender em seus empregos), a Genai é uma ferramenta de treinamento personalizada eficaz.

Nossa análise também sugere que o desenvolvimento de algumas habilidades técnicas leva a um maior desempenho, mesmo para trabalhadores não técnicos. Independentemente do treinamento que os funcionários recebam, os líderes da empresa devem garantir que suas implementações futuras das ferramentas da Genai incluam a funcionalidade para informar o usuário se uma tarefa estiver fora do conjunto de recursos da tecnologia - informações que devem ser compiladas a partir de benchmarking regulares. Conforme mostrado no Anexo 1, como um trabalhador deve usar Genai depende muito do entendimento de onde uma tarefa está dentro de seu próprio conjunto de habilidades e dentro das capacidades da tecnologia.

Companies are likely to find competitive advantage from developing tools and processes that precisely assess the capabilities of GenAI models for their use cases. As shown in Exhibit 1, how a worker should use GenAI greatly depends on understanding where a task lies within their own skill set and within the capabilities of the technology.

Teaming and Performance Management. Embora nossos resultados mostrem que é possível que um generalista assuma um trabalho de conhecimento mais complexo, será crucial gerenciar seu desempenho e garantir a qualidade de sua saída. Isso pode significar projetar equipes multifuncionais para proporcionar aos generalistas acesso fácil a um especialista quando precisarem de ajuda e estabelecer pontos de verificação regulares de revisão de saída-porque um generalista muito confiante nem sempre sabe quando pedir suporte. Os líderes precisarão administrar pilotos para garantir que suas configurações de equipes levem aos melhores resultados. Isso pode ser uma oportunidade para quebrar silos e integrar equipes de generalistas com especialistas de vários centros de excelência. O que significa planejamento estratégico da força de trabalho para o trabalho de conhecimento em um mundo de transformação constante no trabalho e avanço tecnológico? Não temos todas as respostas. Mas vemos que as habilidades necessárias para um determinado papel estão desfoques, e o planejamento da força de trabalho não se concentrará mais apenas em encontrar um certo número de pessoas com uma habilidade específica de conhecimento, como codificação. Embora os trabalhadores do conhecimento possam ser tecnicamente capazes de assumir novos papéis com a ajuda de Genai, nem todos são igualmente hábeis em adotar a mudança.

Strategic Workforce Planning. Given the implications for talent and teaming, how should organizations think about specialized expert tracks and the structure of their workforce? What does strategic workforce planning for knowledge work mean in a world of constant job transformation and technological advancement? We don’t have all the answers. But we do see that the skills needed for a given role are blurring, and workforce planning will no longer be solely focused on finding a certain number of people with a specific knowledge skill, such as coding.

Instead, planning should include a focus on behavioral skills and enablers that will support a more flexible workforce. While knowledge workers may be technically capable of taking on new roles with the help of GenAI, not everyone is equally adept at embracing change.

Identidade profissional. O impacto de Genai na identidade profissional é um tópico importante e controverso. Mas a Pesquisa recente sugere que os impactos negativos podem ser atenuados quando os funcionários se sentem apoiados por seus empregadores. Mais de 80% dos participantes concordaram que a Genai aprimora suas habilidades de solução de problemas e os ajuda a obter saídas mais rápidas.

In fact, in our study, we found that 82% of consultants who regularly use GenAI for work agree with the statements “Generative AI helps me feel confident in my role” and “I think my coworkers enjoy using GenAI for their work,” compared to 67% of workers who don’t use it on a weekly basis. More than 80% of participants agreed that GenAI enhances their problem-solving skills and helps them achieve faster outputs.

This suggests that highly skilled knowledge workers genuinely enjoy using the tool when it allows them to feel more confident in their role—which aligns with our previous findings that exigindo o uso de ai pode realmente melhorar a percepção dos funcionários da IA. No entanto, isso é SOMENTE true se Os funcionários acreditam que a IA está sendo implantada em seu benefício .

Estamos apenas no início da jornada de transformação de Genai, e os recursos da tecnologia continuarão a se expandir. Os executivos precisam estar pensando criticamente sobre como planejar esse futuro, incluindo como redefinir a experiência e quais habilidades reter a longo prazo.

Mas eles não estão sozinhos: Desenvolvimento de habilidades é um esforço colaborativo que inclui sistemas educacionais, esforços corporativos e plataformas de capacitação, como Udemy e Coursera. Até os provedores dos modelos Genai devem estar pensando em como suas ferramentas podem permitir ainda mais o aprendizado e o desenvolvimento. A preparação para a força de trabalho Genai-agentada deve ser um empreendimento coletivo-porque nosso futuro coletivo depende disso. BHI JAPAN