para provedores de serviços de informação tradicionais, AI generativa (Genai) representa uma oportunidade sem precedentes de promover vantagem sustentável. Ao dimensionar as soluções que aproveitam seus vastos ativos de dados e conteúdo, as empresas podem ajudar seus clientes a aproveitar o poder da Genai enquanto geram novas receitas para si mesmas. Os principais players em informações financeiras, crédito, publicação e outros serviços de informação já estão começando a ver o benefício de Genai em escala. De acordo com um recente BCG Cross-Industry
But for the vast majority of companies, realizing the full potential of GenAI has proved challenging. According to a recent BCG cross-industry Pesquisa , 66% dos líderes são ambivalentes ou insatisfeitos com seu progresso na IA e Genai. Este também foi o caso dos provedores de serviços de informações, muitos dos quais criaram provas de conceito apenas para descobrir que o desenvolvimento de um produto voltado para o cliente é mais caro e intensivo em recursos do que o previsto. Questões referentes à precisão da produção de Genai, capacidade e capacidade organizacional, integração de sistemas e preparação de dados estão entre os que estão em termos de escala bem -sucedida. De acordo com a análise do BCG, a atual oportunidade de mercado para os produtos de informações sobre serviços financeiros da Genai é de cerca de US $ 5 bilhões a US $ 6 bilhões e deve crescer para US $ 15 bilhões em 2026.
Providers that address these challenges and scale GenAI successfully will have access to a rapidly growing market. According to BCG analysis, the current market opportunity for GenAI financial services information products alone is around $5 billion to $6 billion and is projected to grow to $15 billion by 2026.
A promessa de Genai em escala || Mas para empresas que fornecem produtos de informação - como financeiro, negócios e
To date, GenAI has gained wide use as a way for companies to enhance internal productivity, and some are already using it to drive end-to-end transformation. But for companies that provide information products—such as financial, business, and Sustentabilidade Dados-A GENAI pode ser uma ferramenta para aprimorar a produtividade dos clientes finais. Esse novo fluxo de receita pode ajudar a justificar investimentos iniciais sobre a tecnologia nascente. Para saber do porquê, no início de 2024, pesquisamos 100 profissionais de fornecedores que tiveram experiência em escalar soluções da Genai. (Consulte “Sobre a pesquisa”.)
While most traditional info service providers understand the value of this opportunity, few have managed to scale GenAI successfully. To learn why, in early 2024 we surveyed 100 professionals from providers who had experience scaling GenAI solutions. (See “About the Survey.”)
Mais da metade dos entrevistados disseram que a construção de produtos da Genai era mais intensiva e dispendiosa do que o previsto. Quatro desafios foram citados com mais frequência: requisitos de precisão, capacidade ou capacidade organizacional, integração de sistemas e preparação e gerenciamento de dados. (Consulte o Anexo 1.)
Sobre a pesquisa
Superando barreiras críticas de escala
Through our work with clients, we have gleaned various ways to address the top four obstacles to successfully scaling GenAI.
Secret #1: To meet accuracy requirements, set an accuracy threshold and work iteratively towards that goal.
Os requisitos de precisão para a saída Genai foram a barreira mais frequentemente citada para aumentar as soluções. No entanto, embora existam muitas maneiras de tornar um modelo Genai pronta mais preciso, determinar quais técnicas implementar não é direta. Complicando assuntos, alterações em qualquer parte da solução podem ter efeitos de ondulação em outros lugares. Às vezes, esses efeitos podem ser positivos - por exemplo, simplesmente injetar a palavra "por favor" em um prompt pode melhorar significativamente a precisão da saída do modelo. Mas muitas vezes uma mudança, como adicionar um espaço extra, pode reduzir a precisão. E como as soluções da Genai podem fornecer resultados diferentes a cada vez, o resultado de quaisquer alterações, grandes ou pequenas, pode ser difícil de prever. Para um caso em que a Genai será usada para ajudar na redação de relatórios, 80% de precisão (tão boa quanto um escritor humano típico) provavelmente é bom o suficiente. Esse tipo de solução pode ser possível com um modelo de menor custo (como o chat gpt-3.5 em vez de GPT-4). Mas para casos de uso em que é necessária uma precisão quase 100% - como revisão do contrato ou pontuação de crédito - os modelos preditivos ou determinísticos de IA podem precisar ser usados ao lado de Genai, pelo menos por enquanto. Recomendamos começar com as técnicas mais simples, como engenharia imediata e injeção de contexto, mesmo que muitos desenvolvedores não estejam familiarizados com eles. (Veja a Figura 2.) Se essas técnicas não atingirem o limiar, as organizações devem considerar abordagens mais complicadas e caras, como ajuste fino ou treinamento de um novo modelo. Um processo de “humano no loop” para revisar a saída também pode aumentar a precisão.
A key issue is that accuracy improvements often come at the expense of latency and cost. Complicating matters, changes to any part of the solution may have ripple effects elsewhere. Sometimes these effects can be positive—for instance, simply injecting the word “please” in a prompt can significantly improve the accuracy of model output. But often a change, such as adding an extra space, can reduce accuracy. And since GenAI solutions can provide different results each time, the outcome of any changes, large or small, can be difficult to predict.
Given these constraints, setting a clear accuracy threshold is a critical first step for avoiding overinvestments of time and resources. For a case where GenAI will be used to help with report writing, 80% accuracy (as good as a typical human writer) is likely good enough. This type of solution may be achievable with a lower-cost model (such as Chat GPT-3.5 instead of GPT-4). But for use cases where near 100% accuracy is required—such as contract review or credit scoring—predictive or deterministic AI models may need to be used alongside GenAI, at least for now.
Once the threshold has been determined, the next step is to apply techniques that may help meet this goal. We recommend starting with the simplest techniques, such as prompt engineering and context injection, even though many developers are not familiar with them. (See Exhibit 2.) If these techniques do not achieve the threshold, organizations should consider approaches that are more complicated and expensive, such as fine-tuning or training a new model. A “human in the loop” process to review output can also boost accuracy.
The key here is iteration, finding the right combination of changes to magnify the power of the entire solution and hit the accuracy threshold while limiting negative impacts to speed and budgets.
Secret #2: To manage organizational capability and capacity, prioritize use cases carefully.
Few organizations have the capability or capacity to develop every GenAI product they’d like to build. According to BCG’s recent cross-sector, C-suite survey, 62% of the executives who expressed dissatisfaction with their organization’s progress on AI and GenAI cited a shortage of talent and skills.
To make the most of the GenAI opportunity, therefore, it’s important for companies to determine which use cases to focus on. Resource requirements should be driven by three considerations that focus on value, readiness, and complexity. To scale a GenAI product successfully, companies should be able to answer “yes” to the following questions:
- Valor Potencial: Os benefícios desta solução são suficientes para gerar uso e adoção significativos?
- Organizational readiness: Is our team ready, willing, and able to build this solution? Does the team have leadership support?
- Complexity of the approach: Is the proposed approach something we can achieve and maintain?
Companies must fight the urge to prioritize based on only one or two of these dimensions. Focus only on value potential, and a company may take on more than it is ready for in terms of technical complexity. Focus only on organizational readiness, and a company may build products that don’t have strong enough market demand. A company that focuses only on complexity may conceptualize solutions that are valuable and feasible but could lack the necessary leadership support to execute.
Best-in-class companies use a balanced scorecard across these dimensions to focus their energy and resources in the right places. Once companies have a few early successes, they are usually able to scale the skills and capabilities they have built within their organization—and build increasingly sophisticated solutions as well.
For example, a financial information services provider built a retrieval-augmented generation (RAG) solution to help answer free-text questions about company financial performance. It took the company nine months to build this product, and only half that time to build subsequent solutions that leveraged a similar approach.
Secret #3: Para otimizar a integração de sistemas, mira para interoperabilidade e adaptabilidade. O front -end, os dados, os principais sistemas corporativos, a infraestrutura e a segurança devem ser desenvolvidos para operar de maneira ideal, agora e no futuro. As empresas devem começar a desenvolver esses outros componentes desde o início, concentrando -se em duas considerações principais.
It’s easy to lose sight of the fact that a GenAI solution requires many components besides the GenAI model. The front end, data, enterprise core systems, infrastructure, and security all must be developed to operate optimally, both now and in the future. Companies should start developing these other components early on, focusing on two main considerations.
Interoperabilidade. Para oferecer suporte ao compartilhamento de dados seguro e de alta qualidade, os componentes de uma solução Genai específica precisam ser interoperáveis com a pilha de tecnologia existente da organização e com seus outros produtos genai. Isso ajuda a garantir que diferentes soluções possam "conversar" entre si, permitindo fluxos de trabalho coesos.
Adaptabilidade. Dado o ritmo acelerado dos ciclos tecnológicos de hoje, é fundamental garantir que os componentes da solução possam ser atualizados de maneira econômica em escala. As empresas, portanto, devem criar componentes com APIs e serviços padronizados que podem ser facilmente trocados por atualizações quando estiverem disponíveis. Uma arquitetura de referência de solução padrão pode ser usada para orientar a conformidade com os princípios e padrões da arquitetura corporativa. Por exemplo, ao usar um modelo de prateleira, pode ser necessário "remodelar" ou mudar para uma versão mais recente de um modelo de fundação quando estiver disponível. Foi o que muitos usuários do Chat GPT-3.5 fizeram quando o GPT-4 foi lançado. Em outros casos, as empresas podem precisar reconstruir completamente sua solução, como quando surgem novas tecnologias ou técnicas ou uma mudança estratégica exige uma abordagem diferente (por exemplo, passar de uma solução de pano para um modelo de ajuste fino). Embora essas mudanças váem além do que normalmente consideraríamos "manutenção de aplicativos", as empresas devem tratá -las como parte do ciclo de manutenção em andamento para os produtos Genai. Quaisquer dados, estruturados ou não estruturados, precisam ser limpos, legíveis à máquina e protegidos dos riscos de exposição. Isso significa implantar técnicas de preparação e gerenciamento específicas para soluções genai. Por outro lado, apenas um terço dos participantes que não têm experiência em escala disseram que estão prontos para os dados. (Consulte o Anexo 3.)
Often, companies will need to make substantive changes to a solution. For instance, when using an off-the-shelf model, it may be necessary to “remodel” or switch to a newer version of a foundation model when it comes available. That’s what many users of Chat GPT-3.5 did when GPT-4 came out. In other cases, companies may need to rebuild their solution completely, such as when new technology or techniques emerge or a strategic shift necessitates a different approach (e.g., moving from a RAG solution to a fine-tuned model). Although these changes go beyond what we would typically consider “application maintenance,” companies should treat them as part of the ongoing maintenance cycle for GenAI products.
Secret #4: To ensure robust data preparation and management, master these new techniques and mitigate new risks.
To build GenAI products that meaningfully leverage a company’s data assets, organizations need data readiness. Any data, whether structured or unstructured, needs to be clean, machine readable, and protected from risks of exposure. This means deploying preparation and management techniques specific to GenAI solutions.
Our survey of information services providers demonstrated that data readiness increases with scaling experience: two-thirds of the respondents who are experienced in scaling GenAI products report high data readiness. By contrast, only one-third of the participants who lack scaling experience said they are data-ready. (See Exhibit 3.)
As organizações podem tomar as seguintes etapas para melhorar sua preparação e gerenciamento de dados:
Prepare os dados com novas técnicas. Três técnicas-criando metadados, pré-processando dados não estruturados e armazenando dados em formatos prontos para ingestão de Genai, como bancos de dados vetoriais-são todos cruciais porque ajudam a garantir que o modelo GENAI possa interpretar os dados corretamente. Empresas experientes se sentem mais confortáveis com essas etapas; O treinamento pode ajudar as equipes inexperientes a acelerar.
Mitigando novos riscos. Enquanto os provedores de serviços de informação têm tomado cuidado para proteger seus IP e dados, os produtos da Genai introduzem novos caminhos para a exposição. As preocupações com IP incluem implantar inadvertidamente modelos treinados em dados proprietários não licenciados ou selecionar um fornecedor que retém dados proprietários da empresa para treinar seus modelos, entre outros. As preocupações com a exposição de dados incluem a versão potencial dos dados do próprio provedor de serviços de informação ou dos dados do cliente. Cerca de 74% das organizações iniciantes restringem os dados que podem ser usados nas soluções Genai. Embora essa abordagem reduz o risco, ela também reduz o desenvolvimento de produtos e limita a profundidade do produto. Essas empresas prestam muita atenção à seleção de fornecedores, por exemplo, trabalhando apenas com fornecedores que podem demonstrar que têm plenos direitos aos dados usados para treinar seus modelos. Além disso, eles fazem escolhas cuidadosas de design, como construir todas ou partes da solução no próprio domínio da empresa, para que os dados proprietários nunca sejam enviados para terceiros. Essas empresas também estabelecem verificações de processos, como revisões de risco de IP e acordos de usuário, e monitores do progresso mais cedo e, muitas vezes, para obter problemas que possam surgir. Tal
The methods that info services providers use for mitigating IP and data exposure risk are clearly related to their scaling experience. Some 74% of novice organizations restrict the data that can be used in GenAI solutions. While this approach reduces risk, it also curtails product development and limits product depth.
By contrast, experienced organizations deploy mitigation practices that avoid making this tradeoff. These companies pay close attention to vendor selection, for example, by working only with providers who can demonstrate that they have full rights to the data used to train their models. Moreover, they make careful design choices, such as building all or parts of the solution within the company’s own domain so that proprietary data is never sent to a third party. These companies also establish process checks, such as IP risk reviews and user agreements, and they monitor progress early and often to catch any issues that may arise. Such guardrails Permita que o desenvolvimento do produto avance enquanto mitigam os riscos associados ao uso de IP e dados nas soluções genai. Agora é a hora de as empresas colocarem seus produtos Genai para comercializar e criar uma vantagem competitiva de que, no devido tempo, se tornará inatacável. Ao abordar os desafios da precisão, capacidade, integração de sistemas e preparação de dados, as empresas podem dimensionar seus produtos com confiança e cumprir a promessa dessa inovação notável. Artigo. Inscreva -se
A gap is already opening between the information services providers that started early with GenAI and are gaining critical scaling experience—and those who are waiting on the sidelines. Now is the time for companies to get their GenAI products to market and create a competitive advantage that in due course will become unassailable.
The advent of GenAI has given incumbent information services providers the opportunity to leverage their vast data and content assets like never before. By addressing the challenges of accuracy, capability, systems integration, and data preparation, companies can scale their products with confidence and realize the promise of this remarkable innovation.
Acknowledgments
We wish to thank Krishnan Ramachandran, Daniele Pariente, John Hajjar, and Lauren Hawkins for their contributions to this article.
