envolvendo os consumidores em um mundo AI generativo

Avanços em AI generativa levaram a Internet a um ponto de inflexão. No futuro não muito distante, os assistentes virtuais de Modelo de Linguagem Grande (LLM) podem se tornar uma porta de entrada universal para a Internet. Para os líderes da empresa, isso significará fazer escolhas fundamentais sobre como elas se envolvem com os consumidores. O plug-in ChatGPT da OpenAI permite que os consumidores façam reservas de refeições e solicitem mantimentos por meio de sites de terceiros como OpenTable e Instacart; Outros provedores de LLM provavelmente seguirão o exemplo. A implementação variará, com as empresas optando por construir ou ajustar. A Bloomberg construiu seu próprio modelo que planeja integrar em seus serviços e recursos. A Expedia incorporou o modelo do OpenAI em sua própria aplicação - os usuários permanecem no site da empresa, mas planejam viagens usando chatgpt. E o benefício de uma opção geralmente é um risco do outro. Também é provável que várias opções sejam benéficas para diferentes casos de uso, com base em necessidades específicas e tolerância ao risco. Pesquisamos essas dinâmicas de mercado em evolução para oferecer informações sobre a escolha e ativar cada estratégia. (Veja o Anexo 1.) Agora é a hora de fazê-lo-antes que o futuro seja definido pelos primeiros motores. A interface do cliente é um chatbot como o chatgpt; No futuro, o chatbot poderá ser substituído por um poderoso assistente virtual. A comparação mais adequada é o WeChat, o aplicativo de bate-papo da China que virou um aplicativo de super-super-usado por 1,3 bilhão de pessoas mensalmente para acessar uma ampla gama de produtos e

On one side of the spectrum, companies will be able to relinquish control of their consumer interface to an LLM-powered virtual assistant (or other conversational AI) using APIs such as plug-ins. OpenAI’s ChatGPT plug-in enables consumers to make meal reservations and order groceries via third-party sites like OpenTable and Instacart; other LLM providers are likely to follow suit.

At the other end, companies can retain control of their interface with a custom generative AI model on their own website and app. The implementation will vary, with companies choosing to build or fine-tune. Bloomberg built its own model that it plans to integrate into its services and features. Expedia incorporated OpenAI’s model into its own application—users stay on the company’s site but plan trips using ChatGPT.

Both strategies—relinquish and retain—have benefits and risks. And the benefit of one option is often a risk of the other. It is also likely that various options will be beneficial for different use cases, based on specific needs and risk tolerance. We’ve researched these evolving market dynamics to offer insight into choosing among and activating each strategy. (See Exhibit 1.) Now is the time to do so—before the future is defined by early movers.

Embracing the Third-Party Platform

LLM providers are making a platform play, offering companies the ability to engage their customers through the LLMs’ platform. The customer interface is a chatbot like ChatGPT; in the future, the chatbot could be replaced by a powerful virtual assistant. The most apt comparison is WeChat, China’s chat app-turned-super app—used by 1.3 billion people monthly to access a wide range of products and Serviços. ¹ 1 WeChat se tornou uma parte onipresente da vida na China. Os usuários acessam quase todos os serviços necessários ao longo do dia sem deixar sua interface-pagando comida, saudando um táxi, comprando on-line ou na loja, envolvendo as mídias sociais e muito mais. Ele se assemelha a uma App Store, exceto em vez de ter que baixar e configurar cada aplicativo individual, todos os serviços estão disponíveis através de "mini aplicativos" que não exigem instalação. Os assistentes virtuais movidos a LLM poderiam se desenvolver da mesma forma como o portal de escolha para a Internet.

, mas os modelos LLM também podem dar um passo adiante em termos de experiência do usuário. No futuro, pode ser possível procurar serviços de uma maneira mais convertida e automatizada. Por exemplo, alguém que planeja férias pode dizer ao assistente virtual suas preferências (datas, destino, orçamento, assim por diante) e criará um itinerário, gerenciará quaisquer ajustes solicitados e fará as reservas. E o assistente virtual pode se tornar um "agente confiável" e manter os usuários na plataforma fazendo o trabalho, da pesquisa até a transação final - tudo sem os usuários que precisam peneirar as opções por conta própria. Essa mudança alterará drasticamente a dinâmica da otimização de mecanismos de pesquisa e estratégias de envolvimento do cliente.

The virtual assistant would make choices about which options to show the customer, versus an algorithm sequencing all available options. And the virtual assistant could become a “trusted agent” and keep users on the platform by doing the work, from search to final transaction—all without users needing to sift through options on their own. This shift will dramatically alter the dynamics of search engine optimization and customer engagement strategies.

Como as empresas tradicionais podem se beneficiar

A integração de uma terceira partida LLM, assistida virtual, com um plug-in ou outra API é a opção mais rápida e fácil de alcançar novos clientes em um mundo generativo. O uso de plataformas para oferecer serviços é uma maneira comprovada de as empresas se envolverem facilmente com uma base de clientes grande e estabelecida - que aprecia ter uma ampla variedade de serviços acessíveis a partir de um único local. Embora a IA conversacional (como os chatbots) ainda tenha um terreno significativo para compensar em comparação com plataformas estabelecidas como WeChat e Amazon, a novidade da experiência está impulsionando o envolvimento do cliente. E esse engajamento está se acelerando no recorde, o ritmo dos três poderosos flywheels que impulsionam o sucesso da plataforma - escala, aprendizado e rede. É provável que o sucesso da plataforma impulsione o sucesso das empresas na plataforma. (Consulte o Anexo 2.)

Efeito da escala. (Consulte “Construindo um melhor modelo de idioma de grande na categoria.”) Mas esperamos que os provedores de LLM possam distribuir seus The cost of large, generalized models (which are the most likely models to be used for virtual assistants, because of their broad functionality and superior conversational ability) is notoriously high. (See “Building a Best-in-Class Large Language Model.”) But we expect that LLM providers will be able to distribute their R&D substancial e custos de corrida sobre o que será uma grande base de usuários, dando -lhes economias de escala valiosas. Como resultado, as empresas que desejam se envolver com clientes com assistentes virtuais podem fazê-lo sem criar os modelos. O custo total para construir LLMs depende do tamanho, complexidade e capacidade necessária. O treinamento de um LLM grande de uso geral (como o GPT-4) pode variar de US $ 30 milhões a US $ 100 milhões ou mais. A construção de um LLM específico da indústria (como a Bloomberggpt) pode custar entre US $ 10 milhões e US $ 50 milhões ou mais, dependendo do nível de complexidade. Por exemplo, um banco regional bem conhecido treinou um pequeno modelo de linguagem específica de tarefa para fins de adjudicação de empréstimos internos e gastou entre US $ 150.000 e US $ 200.000 e acima de ponta a ponta para a implementação do modelo de fundação. O ingrediente-chave para treinar ou ajustar esses modelos é o acesso a dados proprietários de alta qualidade. Os dados também precisam ser limpos, às vezes rotulados (para casos de uso específicos) e idealmente anonimizados para uso em ajustes finos ou treinando um LLM. Isso não é pequeno pergunte: a Bloomberggpt foi treinada em um conjunto de dados de token de 363 bilhões de 363 bilhões usando o conjunto financeiro extenso e pré-existente da Bloomberg (que inclui dados de Bloomberg proprietários), o conjunto de dados FINPile (uma compilação de documentos financeiros dos arquivos da Bloomberg) e as fontes externas como relatórios de imprensa.

Efeito de aprendizado. Ambos os chatbots se beneficiaram do efeito de aprendizado (também conhecido como efeito de rede direto) gerado por esse aumento na experimentação: eles melhoram à medida que mais pessoas os usam. Para as empresas que decidem oferecer serviços por meio de uma plataforma estabelecida, esse efeito de aprendizado fornece uma vantagem significativa-eles terão acesso à experiência superior do usuário e às melhores interfaces de conversação da categoria. The excitement surrounding generative AI is encouraging users to experiment with applications such as ChatGPT and Bard. Both chatbots have benefited from the learning effect (also known as the direct network effect) generated by this surge in experimentation: They improve as more people use them. For companies that decide to offer services through an established platform, this learning effect provides a significant advantage—they’ll have access to superior user experience and best-in-class conversational interfaces.

Efeito da rede do mesmo lado e do lado cruzado. Esses efeitos da rede apresentam uma oportunidade significativa para as empresas se envolverem com uma ampla base de usuários e atrairem altos volumes de clientes. As more companies join LLM platforms, consumers will find greater value and new users will gravitate to the platform (the same-side network effect), which in turn drives more companies to integrate their services with the platform (the cross-side network effect). These network effects present a significant opportunity for companies to engage with a wide user base and attract high volumes of customers.

Riscos para empresas tradicionais

Muitas empresas hoje estão preocupadas com os riscos operacionais de usar a interface de uma LLM. Por exemplo, a prestação de serviços por meio de um assistente virtual movido a LLM pode expor potencialmente os dados proprietários de uma empresa ao fornecedor da LLM. No entanto, muitos desses riscos podem ser atenuados com implementações de tecnologia e contratação de fornecedores. Um risco -chave, a mercantilização da intermediação, surge quando um intermediário entre uma empresa e seus clientes reduz a ênfase nos pontos de venda exclusivos da empresa. Assim como os mecanismos de pesquisa, os assistentes virtuais terão que priorizar quais serviços são exibidos ao cliente e podem ter comissões sobre vendas. O resultado geralmente é margens mais baixas e padronização de serviços - tornando mais difíceis o reconhecimento da marca e a promoção das ofertas premium. Isso

But companies also face strategic risks that may not currently be on their radar. One key risk, commoditization from intermediation, emerges when an intermediary between a company and its customers reduces emphasis on the company’s unique selling points. Much like search engines, virtual assistants will have to prioritize which services are displayed to the customer and can take commissions on sales. The result is often lower margins and standardization of services—making brand recognition and promotion of premium offerings more difficult. This O risco cresce à medida que mais empresas ingressam na plataforma. A questão de como um assistente virtual movido a LLM selecionará (ou ajudará o cliente a selecionar) o serviço ou produto de uma empresa em uma lista de serviços e produtos comuns é desconhecido, colocando empresas em maior risco de comoditização. Esse risco é ilustrado pelo exemplo de planejamento de férias acima. Quando um cliente reserva através de um assistente virtual de terceiros, e não com as cadeias de companhias aéreas ou hotéis que fornecem o serviço real, o provedor assistente virtual tem controle sobre os registros de engajamento e como os serviços são selecionados e influencia fortemente o comportamento de compra do cliente. Como resultado, as empresas podem perder conexões diretas com os clientes e os dados críticos de engajamento que lhes permitem criar lealdade à marca e cultivar relacionamentos contínuos do cliente.

There is also an inherent risk in relying too significantly on a third-party sales channel. This risk is illustrated by the vacation planning example above. When a customer books through a third-party virtual assistant rather than with the airline or hotel chains that provide the actual service, the virtual assistant provider has control over the engagement logs and how services are selected, and heavily influences customer buying behavior. As a result, companies could lose direct connections with customers, and the critical engagement data that enables them to build brand loyalty and cultivate ongoing customer relationships.

Engaging Customers Directly Through Customization

Companies that have access to valuable, domain-specific, proprietary data may choose to double down on their competitive advantage—creating their own LLM-driven Experiências do cliente com IA generativa. A troca está normalmente na experiência do usuário caseiro, em comparação com os assistentes virtuais movidos a LLM, onde os provedores estão investindo recursos para otimizar o envolvimento humano. Modelos especializados projetados internos precisam ser fáceis de usar o suficiente para apoiar suas ofertas de clientes e incentivar os clientes a retornar. Assistentes virtuais expansivos. E a criação de modelos especializados, por exemplo, aqueles construídos por meio de ajuste ou reciclagem, com dados proprietários pode fornecer desempenho superior para uma tarefa especializada. Quanto melhor os dados, melhor o modelo é executar a tarefa à qual os dados estão relacionados - embora possivelmente a um custo de seus recursos de idioma.

The good news is that many small models, such as Alpaca (a 7-billion-parameter language model created at Stanford University) and Dolly (a 12-billion-parameter language model created by Databricks), are not as cumbersome and costly to customize as those required for the more expansive virtual assistants. And creating specialized models, for example, those built through fine-tuning or retraining, with proprietary data can provide superior performance for a specialized task. The better the data is, the better the model is at performing the task that the data is related to—though possibly at a cost of its language capabilities.

também é possível adicionar funcionalidade e valor aos dados brutos adicionando uma camada de análise. A Bloomberggpt (um modelo de linguagem de 50 bilhões de parâmetros), por exemplo, superou os modelos de uso geral para tarefas financeiras altamente específicas, como avaliação de riscos financeiros. O controle interno permite às empresas uma maior flexibilidade para criar funcionalidades e experiências de usuário exclusivas sem depender do roteiro técnico de outra empresa. No caso da Bloomberggpt, o usuário recebe dados financeiros mais refinados e precisos e, em troca, a Bloomberg recebe dados de interação do usuário mais personalizados que podem ser usados ​​para atualizar continuamente seus LLMs. Isso permite que as empresas entendam melhor seus clientes e cultivem relacionamentos mais fortes e mutuamente benéficos. Também fortalece a capacidade das empresas de criar confiança do cliente, fornecendo uma sensação de segurança e confidencialidade, enquanto promove sua marca. Para interações mais sensíveis, como visualizar uma declaração bancária, isso é particularmente valioso; Os consumidores normalmente preferem usar um serviço oferecido diretamente do próprio banco.

How Traditional Companies Can Benefit

Companies that choose to create their own customized experiences can maintain exclusive access to their valuable, proprietary data and ensure it remains secure. In-house control allows companies greater flexibility to create unique functionalities and user experiences without depending on another company’s technical roadmap. In the case of BloombergGPT, the user gets more refined and accurate financial data, and in return, Bloomberg gets more tailored user-interaction data that can be used to continuously update their LLMs.

When companies keep direct access to their customer base, they can benefit from the rich data gleaned from customer engagement. This allows companies to better understand their customers and cultivate stronger, mutually beneficial relationships. It also strengthens companies’ ability to build customer trust by providing a sense of security and confidentiality, while promoting their brand name. For more sensitive interactions, such as viewing a bank statement, this is particularly valuable; consumers typically prefer to use a service offered directly from the bank itself.

Riscos para empresas tradicionais

O óbvio risco operacional em torno dessa opção será o fato simples de que investir em recursos internos pode ser proibitivo de custo. Mas as empresas não precisam adotar a abordagem mais cara e construir do zero: elas podem ajustar modelos gratuitos e de código aberto ou trazer o modelo de outra pessoa e incorporá-lo em seu próprio site. Por um lado, eles precisarão

Leaders also need to consider the less-obvious strategic risks. For one, they’ll need to keep up with the requirements to build and maintain best-in-class capabilities in-house. (See “Building a Best-in-Class Large Language Model.”) Specialized models need to have “good enough” functionality and usability to attract and retain customers. But the definition of “good enough” for customers will evolve alongside the experiences of best-in-class models and platforms. And the data science and engineering talent needed to manage these models is currently a scarce resource.

In addition, the R&D necessary to maintain a best-in-class model likely won’t be feasible for most companies, as LLM research becomes more proprietary. Making that task more difficult is the fact that some best-in-class model providers don’t allow companies to customize the model for their own purposes.

Companies that choose this option also risk missing out on a critical customer engagement channel. If companies don’t put any of their services on a popular LLM-powered virtual assistant, they could become alienated from their customer base—many of whom may have grown accustomed to using that assistant instead of coming to the companies’ website.

Choosing and Activating Your Strategy

The generative AI world is one of constant motion, making it challenging to track how the market dynamics are evolving. It may be tempting to integrate an LLM’s plug-in today, no questions asked. And for some companies—for instance, those with a small market share, a small customer base, or low-quality data or lack of access to strong proprietary data, and that don’t have a strong user experience—this will be a smart strategic move.

But with every benefit comes a risk. And companies with a strong customer base and unique offering may be better served by maintaining control of their user experience and providing a virtual assistant service in-house.

Most companies will likely explore both strategic options. Once they choose, there are also a host of nuanced operational paths that a company can pursue to balance the risks and benefits of each choice; for example, building their own model, incorporating a best-in-class website into a direct-to-consumer interface or fine-tuning a best-in-class model to enable more customization, and then providing that model through a third-party platform. (See Exhibit 3.) We already see this unfolding: Bloomberg built a custom model, Salesforce finetuned OpenAI’s model to create EinsteinGPT, and Expedia has both integrated with ChatGPT (on its website) and is incorporating ChatGPT into its mobile app.

Leaders will also need to consider several components that can impact their implementation decisions: customer base and market advantage, high-quality data, talent, and Poder de computação. Mas para empresas que optam por começar a oferecer serviços através de uma solução LLM de terceiros, é importante rastrear de perto o progresso de cada plataforma no mercado; manter -se atualizado sobre onde sua base de clientes está envolvente; E para evitar o bloqueio, para poder aproveitar as mudanças na hierarquia da plataforma. Ainda não está claro quem sairá no topo da reprodução da plataforma LLM, mas, para proteger sua vantagem de mercado, as empresas devem pressionar para que as integrações sejam portáteis entre as plataformas e defendam o compartilhamento de receita vantajoso, bem como os dados e os acordos de proteção de IP. A funcionalidade do modelo LLM é amplamente direcionada pela qualidade e pelo conteúdo dos dados usados ​​para treiná -los. Atualmente, os dados usados ​​para esses modelos são em grande parte texto, mas com o tempo, a maioria dos modelos se tornará multimodal, incorporando dados de vídeo, áudio, transações financeiras e muito mais. Seja fornecendo um serviço através de um assistente de terceiros ou diretamente ao consumidor, ter os melhores dados é a chave para fornecer serviços exclusivos e experiências aprimoradas do usuário que atraem usuários.

Customer Base and Market Advantage

Companies that choose the direct-to-consumer option (whether through building or fine-tuning) may not need to make significant operational changes, particularly if they already have strong market advantage and a large customer base. But for companies that choose to begin offering services through a third-party LLM solution, it’s important to closely track each platform’s progress in the market; to stay up to date on where their customer base is engaging; and to avoid lock-in, to be able to take advantage of changes in the platform pecking order.

LLM providers are currently competing over providing a superior user experience and securing first mover advantage to attract a critical mass of users that will appeal to companies. It’s not yet clear who will come out on top of the LLM platform play, but to protect their market advantage, companies should push for integrations to be portable between platforms, and advocate for advantageous revenue sharing, as well as data and IP protection agreements.

Data Quality

Unique, high-quality data is a primary source of competitive advantage in a generative AI world. LLM model functionality is largely driven by the quality and content of the data used to train it. Currently, the data used for these models is largely text, but in time, most models will become multi-modal, incorporating data from video, audio, financial transactions, and more. Whether providing a service through a third-party assistant or directly to the consumer, having the best data is the key to providing unique services and enhanced user experiences that attracts users.

As empresas devem considerar todas as formas de dados que têm à sua disposição e serem criativas na maneira como as usam, especialmente ao optar por criar modelos especializados. Bons dados facilitam diretamente diretamente os clientes, reduzindo o risco de comoditização por terceiros. Nos casos em que uma empresa com dados de alta qualidade escolhe uma plataforma LLM de terceiros, os executivos devem ter cuidado para participar de uma maneira que protege contra a comoditização. Inscreva -se

talento

Garantir o talento de dados é vital ao optar por criar experiências orientadas por LLM internamente, mesmo para fazer modificações simples nos LLMs existentes. As habilidades necessárias para pré-treinar e ajustar para fins especializados são raros, mesmo entre os cientistas de dados. Não ajuda que, no ano passado, mais e mais pesquisas sobre como construir ou modificar o LLMS tenham se tornado proprietárias, e a pesquisa disponível já está começando a ficar desatualizada. Isso significa que os cientistas de dados precisarão ser usados ​​para trabalhar com esses modelos, mesmo quando as informações públicas disponíveis para aumentá -los potencialmente se tornam limitadas. Mas ele levará esse hardware à sua capacidade. Ao mesmo tempo, o investimento em hardware atualizado dedicado apenas ao treinamento LLMS pode não atrair os líderes da empresa à primeira vista, dado o custo - é um preço alto para algo que só acontece ocasionalmente. As empresas pagam por todos os ciclos que são executados na nuvem e pagam pelos custos de energia de cada ciclo executado em seu próprio data center. Os aplicativos voltados para o cliente podem acabar com milhares a milhões de consultas por dia-e um milhão de consultas pode custar até US $ 120.000 em poder de computação. Os líderes devem considerar fazer um investimento inicial para evitar esse efeito de bola de neve. Por um lado, o envolvimento precoce com os provedores da LLM posicionará melhor as empresas tradicionais para definir termos de contratação, como compartilhamento de receita e métodos de otimização de pesquisa. Além disso, o envolvimento no início pode permitir que os executivos influenciem o roteiro de tecnologia para sua vantagem-que, por outro lado, beneficiará sua organização. Mas, à medida que a pesquisa fica mais proprietária, o código aberto pode ficar para trás. As empresas que desejam uma abordagem direta ao consumidor não podem esperar que isso aconteça, ou que outras empresas lançem soluções que possam tentar os clientes a mudar. O ponto de inflexão de hoje será o campo de competição de amanhã. BHI Japan

Computing Power

Training and inferencing LLMs can technically be done using today’s CPUs and GPUs. But it will push this hardware to its capacity. At the same time, investing in upgraded hardware that is dedicated solely to training LLMs may not appeal to company leaders at first blush given the cost—it’s a high price tag for something that only happens occasionally.

But this perspective fails to account for the incremental costs of running the LLM, on the same hardware. Companies pay for every cycle that’s run in the cloud, and they pay for the energy costs of every cycle that’s run in their own data center. Customer-facing applications can end up with thousands to millions of queries per day—and a million queries can cost up to $120,000 in computing power. Leaders should consider making an upfront investment to avoid this snowball effect.

---

Executives will need to act quickly to set their generative AI engagement strategy. On the one hand, early engagement with LLM providers will better position traditional companies to set contracting terms such as revenue sharing and search optimization methods. In addition, engaging early may enable executives to influence the technology road map for their advantage—negotiating for technical features that will benefit their organization.

On the other hand, the open-source models that exist today are still quite good. But as research gets more proprietary, open source might fall behind. Companies that want a direct-to-consumer approach can’t wait for that to happen, or for other companies to launch solutions that could tempt customers to switch. Today’s inflection point will be tomorrow’s field of competition.