JA

Lamping the Tech Foundation for Genai Success

por= Tom Martin, Julien Marx, Renee Laverdiere, Daniel Martines e Anmol Gupta
Artigo 12 Min Read

Tecla toca

Para aproveitar o poder da IA ​​generativa e acompanhar a onda de inovação constante, os CTOs precisam repensar a infraestrutura digital e organizacional de sua empresa. Novas ofertas - todas no mesmo hub digital. Plataformas Genai para fazer login; camadas de dados para curadoria; e auto-monitoramento para melhoria contínua.
  • CTOs are still learning to master the underlying technologies that make GenAI work well and responsibly, while managing access and costs.
  • Value creators deploy GenAI for productivity, using it to reshape HR and marketing and to invent new offerings—all on the same digital hub.
  • The enterprise AI foundation contains four key elements: large language models to build on; GenAI platforms to log into; data layers for curated ; and self-monitoring for continuous improvement.
= Salvo para Meu conteúdo salvo

organizações na maioria dos setores hoje estão adotando rapidamente AI generativa (Genai). Eles o estão usando para melhorar a produtividade em tarefas e processos manualmente intensivos e pesados ​​em documentos, bem como para criar novas ofertas de produtos e serviços e interações de funcionários. Ao longo do caminho, eles estão descobrindo o poder potencial inexplorado dessa tecnologia ainda emergente.

To harness that power and turn it into value, many CTOs have successfully applied BCG’s 10-20-70 Regra Para seus esforços genai: Foco 10% desses esforços nos algoritmos, 20% no subjacente Tecnologia e dados e 70% em pessoas e processos. O componente de tecnologia e dados é fundamental para a Genai - e está mudando significativamente à medida que os modelos de linguagem (LLMS) evoluem. Os líderes tecnológicos precisam mudar sua abordagem e adotar uma fundação da IA ​​corporativa para navegar pelas complexidades do escala genai bem -sucedido. É estruturado para fornecer a infraestrutura digital e organizacional necessária para sustentar uma estratégia orientada a Genai. Ele suporta todos os aplicativos de IA, ferramentas digitais complementares e recursos críticos de suporte, como alfabetização de IA, talento, inovação, segurança cibernética e gerenciamento de riscos. Além disso, as empresas usam a fundação para gerenciar o conhecimento proprietário, dados não estruturados e propriedade intelectual. O valor do IP de uma empresa, o sucesso de suas inovações e sua diferenciação dos concorrentes se vinculam diretamente ao design de uma fundação corporativa. Outros integram a Genai ao seu sistema de TI existente. De qualquer maneira, a Fundação Enterprise é fundamental para o sucesso da Gen AI - e ainda é relativamente raro.

An organization’s enterprise AI foundation is a base that supports the GenAI activity of the entire organization, not just early adopters or a few product lines. It is structured to provide the digital and organizational infrastructure needed to sustain a GenAI-driven strategy. It supports all AI applications, complementary digital tools, and critical support capabilities such as AI literacy, talent, innovation, cybersecurity, and risk management. In addition, companies use the foundation to manage proprietary knowledge, unstructured data, and intellectual property. The value of a company’s IP, the success of its innovations, and its differentiation from competitors all link directly to the design of an enterprise foundation.

Some companies create an entirely new enterprise foundation when GenAI arrives. Others integrate GenAI into their existing IT system. Either way, the enterprise foundation is critical for Gen AI success—and yet it’s still relatively rare. Um estudo recente do BCG descobriram que apenas 10% das empresas globais trouxeram um ou mais aplicativos da Genai para escala, e a falta de uma fundação tecnológica é o principal motivo para esse registro limitado de conquista.

Four emerging technological capabilities are key components of an enterprise GenAI foundation:

With these four priorities in place and with development of the enterprise AI foundation in progress, a company can create value with GenAI in three ways. It can Implante Genai e ferramentas preditivas de IA para lidar com tarefas diárias e ganhos de produtividade. Pode Reshape HR, Marketing, Inovação e outras práticas funcionais. E podeinvent new internal and external offerings—its own custom GenAI models and other applications. As the company gains experience in all three ways of creating value, it develops and solidifies its scaled-up enterprise AI foundation.

The field of GenAI options and opportunities is continually growing and becoming more complex. In this article, we explain how to select, deploy, and adapt an enterprise AI foundation, use it for your own custom models, and stay ahead of the wave.

Selecionando e adaptando modelos de fundação

At its heart, GenAI is a data prediction software system that can generate realistic content in multiple forms: text, images, audio, video, and software. Foundation models are the underlying software engines on which GenAI depends.

A few major GenAI producers have dominated the foundation model market since OpenAI released ChatGPT in November 2022. Established innovators with continuously updated models include Google (Gemini), OpenAI and Microsoft (GPT), Anthropic (Claude), Meta (Llama), and Apple (Ferret). In the past two years, publicly available LLMs have proliferated as a constant stream of arrivals—each with its own lineage interrelated with the others—joins a host of relative newcomers. (See Exhibit 1.)

Apesar de sua diversidade atual, esses modelos de fundação compartilham uma herança de pesquisa comum em aprendizado de máquina (ML) e a mesma base de clientes ampla. Os desenvolvedores desses modelos - Openai, Google, Antrópico, Meta e Apple - trazem -os com grandes quantidades de dados estruturados e não estruturados para identificar padrões. Os modelos podem executar uma ampla gama de tarefas. A maioria das métricas de desempenho, como velocidade, aplicabilidade e precisão. As opções disponíveis variam de modelos de código aberto que oferecem flexibilidade e efetividade a modelos de código fechado que fornecem desempenho robusto e altamente otimizado para tarefas específicas. (Consulte o Anexo 2.)

Como resultado, em vez de ter que confiar em um único modelo como GPT-4O para lidar com todas as tarefas da Genai, sua organização pode implantar um modelo personalizado diferente para cada caso de uso. Embora a camada adicional de complexidade aumente a demanda por recursos de talento e engenharia, também permite que as organizações aproveitem os recursos exclusivos de cada modelo.

Para selecionar um modelo de fundação, considere seu objetivo e pese a troca entre custo e desempenho. O processo não é tão simples quanto escolher um melhor modelo. O modelo maior ou mais proeminente pode não atender às suas necessidades. Para navegar nesse terreno, primeiro desenvolva uma estrutura estratégica que reflita os valores e prioridades de sua organização. Use um modelo de estrutura robusto como este, adaptando -o aos seus próprios requisitos:

In many instances, after selecting a foundation model for a particular use case, you will want to tailor it further to your use case and thereby gain additional competitive advantage. There are many different adaptation techniques, with various pros, cons, and tradeoffs. You can layer and blend them to achieve optimal results.

Exhibit 3 shows two typical adaptation processes, each with a sequence of steps that build the company’s capacity for GenAI development. The left-hand side of the exhibit tracks a typical process in which the existing GenAI model remains essentially unchanged. Relevant use case examples include coding assistance apps for company staff, content generation apps that mimic a company’s brand and writing style, and customer service chatbots fine-tuned with a company’s specific product information and customer data.

In these cases, adaptation starts with the base foundation model, as delivered by the vendor, and then refines it over a series of steps to bring it closer to a full-value offering. You create a minimum variable prototype (MVP) for your custom model or application. You release it to a subset of your user base, and test it in use, iterating and refining it until you have an offering acceptable for wide release. At each step, you introduce additional adaptation and optimization techniques to gain scale. You take stock to see whether it is can provide consistently cogent responses in your chosen area of interest. If its output is still too generic or its answers are incomplete, you move to the next technique.

The adaptation process illustrated in the exhibit begins with basic prompt engineering, which involves using techniques such as consistency sampling (generating multiple response options) and chain-of-thought sequences (breaking complex queries down into smaller steps). From there, it proceeds to more advanced prompt engineering, and then to techniques for retrieving and incorporating data from specified knowledge bases to expand the model’s existing range.

The process shown on the right-hand side of Exhibit 3 is suitable for use cases that require distinct LLM. Examples include industry-specific analyses for investment funds, health-care diagnostics models used by specialized medical institutions, and custom models for manufacturing optimization that integrate data from a company’s specific production processes, supply chain, and quality control systems.

Aqui também, o processo começa com a criação de um MVP para testar e iterar, seguido de ajuste fino com técnicas como a exploração de atributos de recompensa (XORA), que mascara ou modifica diferentes componentes do modelo para observar como cada alteração afeta o desempenho e a saída do modelo. A próxima etapa é a otimização de preferência: treinando o MVP com feedback do usuário e respostas de teste. A etapa final envolve o ajuste dos parâmetros do modelo-as configurações que determinam como o modelo processa dados-e reciclando-os, talvez do zero, com dados relevantes para o caso de uso específico. Por fim, você pode adotar técnicas ainda mais avançadas, como o aprendizado de reforço com o feedback humano (RHLF), que treina modelos para usar dados de respostas humanas anteriores para melhorar sua qualidade de resposta. A progressão das técnicas de Xora para RAG para RLHF e além permite determinar quanto esforço e investimento fazem em troca de maior precisão e saída de alta qualidade. Suas decisões - por exemplo, sobre quais métodos usarem e quais elementos algorítmicos para ajustar - dependem do caso de uso específico e dos recursos e talentos disponíveis. Normalmente, a Fundação AI Enterprise estabelece e mantém esses hubs centralizados, que também são conhecidos como gateways de IA. Eles oferecem acesso aos modelos fundamentais e personalizados e a vários recursos do sistema Genai, incluindo o Guardrails para proteger a precisão e mitigar o efeito do viés. Eles também podem fornecer as ferramentas de ML necessárias para monitorar e manter perfeitamente modelos internos e integrá-los a modelos externos e outros serviços baseados em nuvem. Documentação específica do produto, trilhas de auditoria e outros sistemas de supervisão permitem a conformidade regulatória e a governança geral de modelos em plataformas.

You can augment either of these efforts with retrieval-augmented generation (RAG), which improves the accuracy of GenAI systems by having them query external databases. Ultimately, you may adopt even more advanced techniques, such as reinforcement learning from human feedback (RHLF), which trains models to use data from past human responses to improve their answer quality. The progression of techniques from XoRA to RAG to RLHF and beyond allows you to determine how much effort and investment to make in exchange for greater accuracy and higher-quality output. Your decisions—for example, about which methods to use and what algorithmic elements to adjust—depend on the particular use case and on the resources and talent available.

GenAI Platforms: Gateways to Creative Tools

Platforms are the key to scaling up GenAI tools across the enterprise. Typically the enterprise AI foundation establishes and maintains these centralized hubs, which are also known as AI gateways. They offer access to the foundational and custom models, and to various GenAI system capabilities, including guardrails to safeguard accuracy and mitigate the effect of bias. They can also provide the necessary ML tools for seamlessly monitoring and maintaining in-house models and for integrating them with external models and other cloud-based services. Product-specific documentation, audit trails, and other oversight systems enable regulatory compliance and overall model governance on platforms.

Embora possa parecer que Genai Plataformas Representam uma despesa adicional, eles realmente reduzem o tempo e os recursos necessários para instalar e usar o Genai. Eles fornecem fácil acesso a uma ampla gama de modelos e ferramentas prontas para a personalização do modelo. A plataforma aparece para os usuários como uma porta de entrada para um jardim de modelos, com suporte de proteção, ferramentas de manutenção e suporte à privacidade de dados compartilhados por todos. (Consulte o Anexo 4.)

A distinção entre os modelos de fundação de código aberto e fechado é importante. Os modelos de fonte fechada incluem modelos proprietários como os modelos GPT da OpenAI, Gemini do Google e Claude do Anthropic. Seus fornecedores controlam estritamente o acesso ao código -fonte e outros elementos. Alguns modelos de código fechado são orientados para parcerias tecnológicas. Por exemplo, o OpenAI tem versões adaptadas aos clientes corporativos de seu investidor principal, a Microsoft. É difícil modificar a maioria dos modelos de código fechado diretamente, mas eles geralmente incluem controles detalhados para privacidade e segurança. O exemplo mais proeminente, o Llama3 da Meta, oferece desempenho que rivaliza com o dos melhores modelos proprietários, agitando o mercado. Outros modelos notáveis ​​de texto de código aberto são o Grok-2 do X.AI, o meio de Mistral e o Falcon do Instituto de Inovação Tecnologia. A documentação para personalizar modelos de código aberto pode não estar prontamente disponível, mas você geralmente pode confiar nas comunidades de usuários ou em outros recursos de TI para suporte.

In contrast, open-source foundation models offer their users access to coding, development, and deployment features. The most prominent example, Meta’s LLama3, delivers performance that rivals that of the best proprietary models, shaking up the market. Other notable open-source text models are X.AI’s Grok-2, Mistral’s Medium, and the Technology Innovation Institute’s Falcon. Documentation for customizing open-source models may not be readily available, but you can usually rely on user communities or other IT resources for support.

sistemas híbridos também estão surgindo. Alguns provedores de código fechado estão lançando versões de código aberto, como o PHI3 da Microsoft e o Wizardlm2. Por outro lado, alguns provedores de código aberto oferecem adaptações de código fechado, como Mistral Large on Azure.

Finalmente, à medida que as plataformas tomam conta, mais organizações desenvolverão seus próprios modelos Genai personalizados treinados em seus dados proprietários. É certo que as habilidades para fazer isso estão em falta hoje. Apenas cerca de 1% dos talentos atuais prontos para a Genai possuem a capacidade de ajustar os LLMs de maneira eficaz. À medida que desenvolvem ou recrutam pessoas com essas habilidades, no entanto, as empresas podem usar o Genai de código aberto como um bloco de construção no desenvolvimento da arquitetura da plataforma necessária para gerenciar, acessar e armazenar dados.

Camadas de dados: a fonte de vantagem competitiva

O acesso aos dados é fundamental para estabelecer a posição de uma empresa na era Genai. A quantidade de dados necessários, sua qualidade necessária e as preocupações de privacidade e propriedade intelectual relacionadas a TI dependem do caso de uso e seu contexto. Ter dados proprietários para alavancar em sistemas Genai pode ser uma fonte valiosa de vantagem competitiva. Em muitos casos, são necessários dados específicos de domínio de alta qualidade, e esses dados podem ser difíceis de curar, integrar e validar. Em outros casos, são necessários relativamente poucos dados para treinar os modelos, desde que esses dados representem com precisão a base de usuários. O restante dos dados surgirá posteriormente durante o teste e o uso do sistema. Por exemplo, apenas algumas interações históricas dos clientes podem ser suficientes para treinar um modelo de call center de genai para o lançamento. A partir daí, o modelo ficará mais forte à medida que aprende com suas interações com os clientes. Os conjuntos de dados relevantes são inerentemente multimodais: registros digitais dos sentidos humanos. Os formatos podem incluir textos, código, bancos de dados estruturados, transcrições interativas, visuais, imagens em movimento e áudio - tudo de fala para sinfonias e efeitos sonoros. A variedade de dados serve como a força vital dos modelos Genai, dando -lhes uma compreensão multidimensional do nosso mundo e permitindo suas imensas capacidades. (Consulte o Anexo 5.)

To develop systems with advanced levels of knowledge, organizations must draw from a diverse data pool. The relevant data sets are inherently multimodal: digital records of the human senses. The formats may include texts, code, structured databases, interactive transcripts, visuals, moving images, and audio—anything from speech to symphonies to sound effects. The array of data serves as the lifeblood of top GenAI models, giving them a multidimensional grasp of our world and enabling their immense capabilities. (See Exhibit 5.)

Os desafios relacionados à coleta de dados incluem preocupações relacionadas à privacidade e restrições legais que adicionam trabalho e despesa ao processo. A propriedade de dados pode ser um quebra -cabeça complexo, com idéias às vezes travadas em diferentes silos departamentais, cada um com suas próprias regras e problemas de integração. As comunicações anteriores podem conter vieses, erros, inconsistências e desigualdades internas. Os dados podem estar desatualizados, incompletos ou inconsistentemente formatados. Felizmente, vários métodos estão disponíveis para curar dados, aumentar sua qualidade ou treinar modelos de maneira eficaz com conjuntos de dados limitados.

Genai pode ajudar criando dados sintéticos. Esta espécie de dados consiste em simulações de dados reais derivados do homem que você pode usar para treinar modelos de IA Genai e IA preditivos. Se o conjunto de dados reais não cobrir o intervalo de detalhes necessário, o algoritmo poderá extrapolar dados sintéticos para preencher as lacunas estatísticas. Por exemplo, ele pode criar avatares cujo comportamento imita o de pessoas reais e cujas respostas podem contribuir com credibilidade para o pool de dados. O sistema geral pode otimizar a integração de dados, mesclar informações de diversas fontes e automatizar o anonimato dos conjuntos de dados para cumprir os requisitos de privacidade. Para garantir a qualidade dos dados, pode ser necessário investir em supervisão humana, como práticas estrategicamente colocadas "humano no loop". Você também pode precisar investir em governança de dados. Políticas e práticas claras podem ajudar a gerenciar riscos, garantir a conformidade com os regulamentos emergentes, preservar a propriedade e a segurança dos dados apropriados e manter a integridade dos dados, a confidencialidade e a disponibilidade. O objetivo final da governança robusta de dados é promover a confiança em seus sistemas de IA por meio de transparência e responsabilidade. Em um mercado dominado pela interação automatizada, a confiança se torna uma fonte de vantagem competitiva. As organizações precisam assumir a responsabilidade de como seus sistemas e produtos da Genai se executam, mas a maioria dos processos atuais de avaliação ainda não está equipada para lidar com essa tarefa. Há uma necessidade geral de recursos de avaliação mais robustos, com um foco específico na IA responsável como um facilitador crítico da vantagem competitiva. Muitos sistemas de referência que escolhem dados que mostram desempenho positivo. Alguns modelos podem ter um desempenho ruim na realidade, apesar de obter pontuações altas nos benchmarks. As diferenças na metodologia de avaliação dificultam a base de métricas como indicadores da qualidade e valor de um modelo.

You can also use GenAI to find sources of more data, unlock data that might otherwise be inaccessible, reconcile inconsistencies, and improve data management practices. The overall system can streamline data integration, merge information from diverse sources, and automate the anonymization of datasets to comply with privacy requirements.

In some cases, the data may be biased, perhaps because it reflects biased past communications. To ensure data quality, you may need to invest in human oversight, such as strategically placed “human-in-the-loop” practices. You may also need to invest in data governance. Clear policies and practices can help manage risks, ensure compliance with emerging regulations, preserve appropriate data ownership and security, and maintain data integrity, confidentiality, and availability. The ultimate goal of robust data governance is to foster trust in your AI systems through transparency and accountability. In a market dominated by automated interaction, trust becomes a source of competitive advantage.

Operations and Monitoring: Evaluate or Fail

The fourth and most elusive element of a GenAI enterprise foundation is operations and monitoring. Organizations need to take responsibility for how their GenAI systems and products perform, but most current evaluation processes are not yet equipped to handle this task. There is a general need for more robust evaluation capabilities, with a particular focus on responsible AI as a critical enabler of competitive advantage.

One key problem is that today’s prevailing approach to benchmarking GenAI performance assesses overall capabilities and knowledge but does not reliably indicate whether a model truly understands business processes and whether it can interact appropriately with customers. Many benchmark systems cherry-pick data that show positive performance. Some models may perform poorly in reality despite earning high scores on benchmarks. Differences in evaluation methodology make it hard to rely on metrics as indicators of a model’s quality and value.

A solução é seguir um padrão operacional Genai que mede a qualidade da resposta, o desempenho técnico, a IA responsável e o impacto nos negócios. (Consulte o Anexo 6.) O cenário de ferramentas de operações de prompt (PromptOps) em evolução oferece um conjunto de recursos que unificam os padrões operacionais relevantes em um único kit de ferramentas para gerenciar o ciclo de vida do Promptps e avaliar sistematicamente alterações iterativas. Os exemplos incluem Langsmith, Langfuse e Phoenix. As avaliações do desempenho técnico envolvem métricas como velocidade de resposta, capacidade de manuseio e tempo de atividade do sistema. Os padrões éticos refletem os princípios da IA ​​responsável, como justiça e responsabilidade. A responsabilidade não é simplesmente uma questão de conformidade; É uma maneira estratégica de se destacar em um mercado competitivo. Finalmente, melhorias no ROI, satisfação do cliente e custo fornecem uma base para medir o impacto geral dos negócios.

Response quality gauges how closely AI-generated responses align with user expectations, focusing on the content’s relevance and capacity to attract emotional engagement. Assessments of technical performance involve metrics such as response speed, handling capacity, and system uptime. Ethical standards reflect the tenets of responsible AI, such as fairness and accountability. Accountability is not simply a matter of compliance; it is a strategic way to stand out in a competitive market. Finally, improvements in ROI, customer satisfaction, and cost provide a basis for measuring overall business impact.

CONCLUSÃO: Tomando ação

Como uma ferramenta de geração de conteúdo, a Genai está produzindo novas idéias, personalizando experiências e desencadeando mudanças notáveis ​​em marketing, inovação e atendimento ao cliente. Seu uso também está galvanizando a IA preditiva - os usos analíticos do ML - para aumentar a tomada de decisão, recomendações e computação de probabilidades futuras.

Mais de dois terços dos executivos seniores que o BCG pesquisou em dezembro de 2023 disse que a Genai será a inovação mais disruptiva dos próximos cinco anos-e um terço já está aumentando seus investimentos digitais em resposta. O objetivo deles é aproveitar o poder de Genai e IA preditiva juntos.

Sua empresa está sem dúvida fazendo o mesmo. Os desafios relacionados às pessoas e ao processo (os 70% na fórmula de 70-20-20-10 do BCG) e o design algorítmico (os 10%) provavelmente são o topo de espírito para você. Mas não deixe que a Fundação Enterprise para Genai (os 20%restantes) caia no esquecimento. É uma ótima fonte de alavancagem para enfrentar os desafios da Genai e integrar com sucesso essa tecnologia vital em sua organização.     

Os autores agradecem à equipe de liderança global do BCG Genai: Vladimir Lukić, Nicolas de Bellefonds, Marc Schuuring, Benjamin Rehberg, Djon Kleine e Steve Mills. Agradecemos também a equipe de casos de Genai da BCG: Allison Bailey, Lane McBride, Sibley Nebergall, Brittany Bankston, Lydia Atangcho, Harry Ball e Emma Conover-Crockett. Inscreva -se  

Tech + Us: Monthly insights for harnessing the full potential of AI and tech.

Autores

Diretor Associado de Platinion

Tom Martin

Diretor Associado de Platinion
Londres

Diretor Gerente e Parceiro

= Julien Marx

Diretor Gerente e Parceiro
Paris

Diretor Gerente e Parceiro

Renee Laverdiere

Diretor Gerente e Parceiro
Houston

Diretor Gerente, BCG X

Daniel Martines

Diretor Gerente, BCG X
Boston

Principal Enterprise Architect

Anmol Gupta

Arquiteto da empresa principal
Londres
Salvo para Meu conteúdo salvo
Salvo para Meu conteúdo salvo