envolvendo os consumidores em um mundo AI generativo

Avanços em AI generativa levaram a Internet a um ponto de inflexão. No futuro não muito distante, os assistentes virtuais de Modelo de Linguagem Grande (LLM) podem se tornar uma porta de entrada universal para a Internet. Para os líderes da empresa, isso significará fazer escolhas fundamentais sobre como elas se envolvem com os consumidores. O plug-in ChatGPT da OpenAI permite que os consumidores façam reservas de refeições e solicitem mantimentos por meio de sites de terceiros como OpenTable e Instacart; Outros provedores de LLM provavelmente seguirão o exemplo.

On one side of the spectrum, companies will be able to relinquish control of their consumer interface to an LLM-powered virtual assistant (or other conversational AI) using APIs such as plug-ins. OpenAI’s ChatGPT plug-in enables consumers to make meal reservations and order groceries via third-party sites like OpenTable and Instacart; other LLM providers are likely to follow suit.

Na outra extremidade, as empresas podem manter o controle de sua interface com um modelo de IA generativo personalizado em seu próprio site e aplicativo. A implementação variará, com as empresas optando por construir ou ajustar. A Bloomberg construiu seu próprio modelo que planeja integrar em seus serviços e recursos. A Expedia incorporou o modelo do OpenAI em seu próprio aplicativo - os usuários permanecem no site da empresa, mas planejam viagens usando chatgpt. E o benefício de uma opção geralmente é um risco do outro. Também é provável que várias opções sejam benéficas para diferentes casos de uso, com base em necessidades específicas e tolerância ao risco. Pesquisamos essas dinâmicas de mercado em evolução para oferecer informações sobre a escolha e ativar cada estratégia. (Veja o Anexo 1.) Agora é a hora de fazê-lo-antes que o futuro seja definido pelos primeiros motores. A interface do cliente é um chatbot como o chatgpt; No futuro, o chatbot poderá ser substituído por um poderoso assistente virtual. A comparação mais adequada é o WeChat, o aplicativo de bate-papo da China que virou um aplicativo de super-super-usado por 1,3 bilhão de pessoas mensalmente para acessar uma ampla gama de produtos e

Both strategies—relinquish and retain—have benefits and risks. And the benefit of one option is often a risk of the other. It is also likely that various options will be beneficial for different use cases, based on specific needs and risk tolerance. We’ve researched these evolving market dynamics to offer insight into choosing among and activating each strategy. (See Exhibit 1.) Now is the time to do so—before the future is defined by early movers.

Embracing the Third-Party Platform

LLM providers are making a platform play, offering companies the ability to engage their customers through the LLMs’ platform. The customer interface is a chatbot like ChatGPT; in the future, the chatbot could be replaced by a powerful virtual assistant. The most apt comparison is WeChat, China’s chat app-turned-super app—used by 1.3 billion people monthly to access a wide range of products and Serviços. ¹ 1 WeChat se tornou uma parte onipresente da vida na China. Os usuários acessam quase todos os serviços necessários ao longo do dia sem deixar sua interface-pagando comida, saudando um táxi, comprando on-line ou na loja, envolvendo as mídias sociais e muito mais. Ele se assemelha a uma App Store, exceto em vez de ter que baixar e configurar cada aplicativo individual, todos os serviços estão disponíveis através de "mini aplicativos" que não exigem instalação. Os assistentes virtuais movidos a LLM poderiam se desenvolver da mesma forma como o portal de escolha para a Internet.

Mas os modelos LLM também podem dar um passo adiante em termos de experiência do usuário. No futuro, pode ser possível procurar serviços de uma maneira mais convertida e automatizada. Por exemplo, alguém planejando férias pode dizer ao assistente virtual suas preferências (datas, destino, orçamento, assim por diante) e criará um itinerário, gerenciará quaisquer ajustes solicitados e fará as reservas. E o assistente virtual pode se tornar um "agente confiável" e manter os usuários na plataforma fazendo o trabalho, da pesquisa até a transação final - tudo sem os usuários que precisam peneirar as opções por conta própria. Essa mudança alterará drasticamente a dinâmica da otimização de mecanismos de pesquisa e estratégias de envolvimento do cliente. O uso de plataformas para oferecer serviços é uma maneira comprovada de as empresas se envolverem facilmente com uma base de clientes grande e estabelecida - que aprecia ter uma ampla variedade de serviços acessíveis a partir de um único local. Embora a IA conversacional (como os chatbots) ainda tenha um terreno significativo para compensar em comparação com plataformas estabelecidas como WeChat e Amazon, a novidade da experiência está impulsionando o envolvimento do cliente. E esse engajamento está se acelerando no recorde, o ritmo dos três poderosos flywheels que impulsionam o sucesso da plataforma - escala, aprendizado e rede. É provável que o sucesso da plataforma impulsione o sucesso das empresas na plataforma. (Ver Anexo 2.)

The virtual assistant would make choices about which options to show the customer, versus an algorithm sequencing all available options. And the virtual assistant could become a “trusted agent” and keep users on the platform by doing the work, from search to final transaction—all without users needing to sift through options on their own. This shift will dramatically alter the dynamics of search engine optimization and customer engagement strategies.

How Traditional Companies Can Benefit

Integrating a third-party LLM-powered virtual assistant with a plug-in or other API is the quickest and easiest option to reach new customers in a generative AI world. The use of platforms to offer services is a proven way for companies to easily engage with a large and established customer base—one that appreciates having a wide variety of services accessible from a single location. Although conversational AI (such as chatbots) still have significant ground to make up compared to established platforms like WeChat and Amazon, the novelty of the experience is driving customer engagement. And that engagement is accelerating at record pace the three powerful flywheels that drive platform success—scale, learning, and network. The success of the platform is also likely to drive the success of companies on the platform. (See Exhibit 2.)

Efeito da escala. (Consulte “Construindo um melhor modelo de idioma de grande na categoria.”) Mas esperamos que os provedores de LLM possam distribuir seus The cost of large, generalized models (which are the most likely models to be used for virtual assistants, because of their broad functionality and superior conversational ability) is notoriously high. (See “Building a Best-in-Class Large Language Model.”) But we expect that LLM providers will be able to distribute their R&D substancial e custos de corrida sobre o que será uma grande base de usuários, dando -lhes economias de escala valiosas. Como resultado, as empresas que desejam se envolver com clientes com assistentes virtuais podem fazê -lo sem criar os modelos.

Efeito de aprendizado. Ambos os chatbots se beneficiaram do efeito de aprendizado (também conhecido como efeito de rede direto) gerado por esse aumento na experimentação: eles melhoram à medida que mais pessoas os usam. Para as empresas que decidem oferecer serviços por meio de uma plataforma estabelecida, esse efeito de aprendizado fornece uma vantagem significativa-eles terão acesso à experiência superior do usuário e às melhores interfaces de conversação da categoria. The excitement surrounding generative AI is encouraging users to experiment with applications such as ChatGPT and Bard. Both chatbots have benefited from the learning effect (also known as the direct network effect) generated by this surge in experimentation: They improve as more people use them. For companies that decide to offer services through an established platform, this learning effect provides a significant advantage—they’ll have access to superior user experience and best-in-class conversational interfaces.

Efeito da rede do mesmo lado e do lado cruzado. Esses efeitos da rede apresentam uma oportunidade significativa para as empresas se envolverem com uma ampla base de usuários e atrairem altos volumes de clientes. Por exemplo, a prestação de serviços por meio de um assistente virtual movido a LLM pode expor potencialmente os dados proprietários de uma empresa ao fornecedor da LLM. No entanto, muitos desses riscos podem ser atenuados com implementações de tecnologia e contratação de fornecedores. Um risco -chave, a mercantilização da intermediação, surge quando um intermediário entre uma empresa e seus clientes reduz a ênfase nos pontos de venda exclusivos da empresa. Assim como os mecanismos de pesquisa, os assistentes virtuais terão que priorizar quais serviços são exibidos ao cliente e podem ter comissões sobre vendas. O resultado geralmente é margens mais baixas e padronização de serviços - tornando mais difíceis o reconhecimento da marca e a promoção das ofertas premium. Isso As more companies join LLM platforms, consumers will find greater value and new users will gravitate to the platform (the same-side network effect), which in turn drives more companies to integrate their services with the platform (the cross-side network effect). These network effects present a significant opportunity for companies to engage with a wide user base and attract high volumes of customers.

Risks for Traditional Companies

Many companies today are concerned about the operational risks of using an LLM’s interface. For example, providing services through an LLM-powered virtual assistant could potentially expose a company’s proprietary data to the LLM vendor. However, many of these risks can be mitigated with technology implementations and vendor contracting.

But companies also face strategic risks that may not currently be on their radar. One key risk, commoditization from intermediation, emerges when an intermediary between a company and its customers reduces emphasis on the company’s unique selling points. Much like search engines, virtual assistants will have to prioritize which services are displayed to the customer and can take commissions on sales. The result is often lower margins and standardization of services—making brand recognition and promotion of premium offerings more difficult. This O risco cresce à medida que mais empresas ingressam na plataforma. A questão de como um assistente virtual movido a LLM selecionará (ou ajudará o cliente a selecionar) o serviço ou produto de uma empresa em uma lista de serviços e produtos comuns é desconhecido, colocando empresas em maior risco de comoditização. Esse risco é ilustrado pelo exemplo de planejamento de férias acima. Quando um cliente reserva através de um assistente virtual de terceiros, e não com as cadeias de companhias aéreas ou hotéis que fornecem o serviço real, o provedor assistente virtual tem controle sobre os registros de engajamento e como os serviços são selecionados e influencia fortemente o comportamento de compra do cliente. Como resultado, as empresas podem perder conexões diretas com os clientes e os dados críticos de engajamento que lhes permitem criar lealdade à marca e cultivar relacionamentos contínuos do cliente.

There is also an inherent risk in relying too significantly on a third-party sales channel. This risk is illustrated by the vacation planning example above. When a customer books through a third-party virtual assistant rather than with the airline or hotel chains that provide the actual service, the virtual assistant provider has control over the engagement logs and how services are selected, and heavily influences customer buying behavior. As a result, companies could lose direct connections with customers, and the critical engagement data that enables them to build brand loyalty and cultivate ongoing customer relationships.

Envolvendo os clientes diretamente através da personalização

Empresas que têm acesso a dados valiosos e específicos de domínio podem optar por dobrar sua vantagem competitiva-criando seus próprios LLMs orientados por LLM Experiências do cliente com IA generativa. A troca está normalmente na experiência do usuário caseiro, em comparação com os assistentes virtuais movidos a LLM, onde os provedores estão investindo recursos para otimizar o envolvimento humano. Modelos especializados projetados internos precisam ser fáceis de usar o suficiente para apoiar suas ofertas de clientes e incentivar os clientes a retornar. Assistentes virtuais expansivos. E a criação de modelos especializados, por exemplo, aqueles construídos por meio de ajuste ou reciclagem, com dados proprietários pode fornecer desempenho superior para uma tarefa especializada. Quanto melhor os dados, melhor o modelo é executar a tarefa à qual os dados estão relacionados - embora possivelmente a um custo de seus recursos de idioma. A Bloomberggpt (um modelo de linguagem de 50 bilhões de parâmetros), por exemplo, superou os modelos de uso geral para tarefas financeiras altamente específicas, como avaliação de risco financeiro.

The good news is that many small models, such as Alpaca (a 7-billion-parameter language model created at Stanford University) and Dolly (a 12-billion-parameter language model created by Databricks), are not as cumbersome and costly to customize as those required for the more expansive virtual assistants. And creating specialized models, for example, those built through fine-tuning or retraining, with proprietary data can provide superior performance for a specialized task. The better the data is, the better the model is at performing the task that the data is related to—though possibly at a cost of its language capabilities.

It is also possible to add functionality and value to raw data by adding a layer of analysis. BloombergGPT (a 50-billion-parameter language model), for example, outperformed general purpose models for highly specific financial tasks, such as financial risk assessment.

Como as empresas tradicionais podem se beneficiar

Companies that choose to create their own customized experiences can maintain exclusive access to their valuable, proprietary data and ensure it remains secure. In-house control allows companies greater flexibility to create unique functionalities and user experiences without depending on another company’s technical roadmap. In the case of BloombergGPT, the user gets more refined and accurate financial data, and in return, Bloomberg gets more tailored user-interaction data that can be used to continuously update their LLMs.

When companies keep direct access to their customer base, they can benefit from the rich data gleaned from customer engagement. This allows companies to better understand their customers and cultivate stronger, mutually beneficial relationships. It also strengthens companies’ ability to build customer trust by providing a sense of security and confidentiality, while promoting their brand name. For more sensitive interactions, such as viewing a bank statement, this is particularly valuable; consumers typically prefer to use a service offered directly from the bank itself.

Risks for Traditional Companies

The obvious operational risk surrounding this option will be the simple fact that investing in in-house capabilities can be cost prohibitive. But companies don’t need to take the most expensive approach and build from scratch: they can fine-tune free, open-source models or bring in someone else’s model and incorporate it into their own website.

Leaders also need to consider the less-obvious strategic risks. For one, they’ll need to keep up with the requirements to build and maintain best-in-class capabilities in-house. (See “Building a Best-in-Class Large Language Model.”) Specialized models need to have “good enough” functionality and usability to attract and retain customers. But the definition of “good enough” for customers will evolve alongside the experiences of best-in-class models and platforms. And the data science and engineering talent needed to manage these models is currently a scarce resource.

In addition, the R&D necessary to maintain a best-in-class model likely won’t be feasible for most companies, as LLM research becomes more proprietary. Making that task more difficult is the fact that some best-in-class model providers don’t allow companies to customize the model for their own purposes.

Companies that choose this option also risk missing out on a critical customer engagement channel. If companies don’t put any of their services on a popular LLM-powered virtual assistant, they could become alienated from their customer base—many of whom may have grown accustomed to using that assistant instead of coming to the companies’ website.

Escolhendo e ativando sua estratégia

O mundo generativo da IA ​​é de movimento constante, tornando um desafio rastrear como a dinâmica do mercado está evoluindo. Pode ser tentador integrar hoje o plug-in de um LLM, sem perguntas. E para algumas empresas-por exemplo, aquelas com uma pequena participação de mercado, uma pequena base de clientes ou dados de baixa qualidade ou falta de acesso a dados proprietários fortes, e que não têm uma forte experiência do usuário-este será um movimento estratégico inteligente. E as empresas com uma base de clientes forte e uma oferta exclusiva podem ser melhor atendidas, mantendo o controle de sua experiência do usuário e fornecendo um serviço de assistente virtual internamente. Depois de escolher, há também uma série de caminhos operacionais diferenciados que uma empresa pode buscar para equilibrar os riscos e benefícios de cada escolha; Por exemplo, construir seu próprio modelo, incorporando um site de melhor da categoria em uma interface direta ao consumidor ou ajustando um modelo de melhor da categoria para permitir mais personalização e, em seguida, fornecer esse modelo através de uma plataforma de terceiros. (See Exhibit 3.) We already see this unfolding: Bloomberg built a custom model, Salesforce finetuned OpenAI’s model to create EinsteinGPT, and Expedia has both integrated with ChatGPT (on its website) and is incorporating ChatGPT into its mobile app.

But with every benefit comes a risk. And companies with a strong customer base and unique offering may be better served by maintaining control of their user experience and providing a virtual assistant service in-house.

Most companies will likely explore both strategic options. Once they choose, there are also a host of nuanced operational paths that a company can pursue to balance the risks and benefits of each choice; for example, building their own model, incorporating a best-in-class website into a direct-to-consumer interface or fine-tuning a best-in-class model to enable more customization, and then providing that model through a third-party platform. (See Exhibit 3.) We already see this unfolding: Bloomberg built a custom model, Salesforce finetuned OpenAI’s model to create EinsteinGPT, and Expedia has both integrated with ChatGPT (on its website) and is incorporating ChatGPT into its mobile app.

Leaders will also need to consider several components that can impact their implementation decisions: customer base and market advantage, high-quality data, talent, and Poder de computação. Mas para empresas que optam por começar a oferecer serviços através de uma solução LLM de terceiros, é importante rastrear de perto o progresso de cada plataforma no mercado; manter -se atualizado sobre onde sua base de clientes está envolvente; E para evitar o bloqueio, para poder aproveitar as mudanças na hierarquia da plataforma. Ainda não está claro quem sairá no topo da reprodução da plataforma LLM, mas, para proteger sua vantagem de mercado, as empresas devem pressionar para que as integrações sejam portáteis entre as plataformas e defendam o compartilhamento de receita vantajoso, bem como os dados e os acordos de proteção de IP. A funcionalidade do modelo LLM é amplamente direcionada pela qualidade e pelo conteúdo dos dados usados ​​para treiná -los. Atualmente, os dados usados ​​para esses modelos são em grande parte texto, mas com o tempo, a maioria dos modelos se tornará multimodal, incorporando dados de vídeo, áudio, transações financeiras e muito mais. Seja fornecendo um serviço por meio de um assistente de terceiros ou diretamente ao consumidor, ter os melhores dados é a chave para fornecer serviços exclusivos e experiências aprimoradas do usuário que atraem usuários. Bons dados facilitam diretamente diretamente os clientes, reduzindo o risco de comoditização por terceiros. Nos casos em que uma empresa com dados de alta qualidade escolhe uma plataforma LLM de terceiros, os executivos devem ter cuidado para participar de uma maneira que protege contra a comoditização. Inscreva -se

Customer Base and Market Advantage

Companies that choose the direct-to-consumer option (whether through building or fine-tuning) may not need to make significant operational changes, particularly if they already have strong market advantage and a large customer base. But for companies that choose to begin offering services through a third-party LLM solution, it’s important to closely track each platform’s progress in the market; to stay up to date on where their customer base is engaging; and to avoid lock-in, to be able to take advantage of changes in the platform pecking order.

LLM providers are currently competing over providing a superior user experience and securing first mover advantage to attract a critical mass of users that will appeal to companies. It’s not yet clear who will come out on top of the LLM platform play, but to protect their market advantage, companies should push for integrations to be portable between platforms, and advocate for advantageous revenue sharing, as well as data and IP protection agreements.

Data Quality

Unique, high-quality data is a primary source of competitive advantage in a generative AI world. LLM model functionality is largely driven by the quality and content of the data used to train it. Currently, the data used for these models is largely text, but in time, most models will become multi-modal, incorporating data from video, audio, financial transactions, and more. Whether providing a service through a third-party assistant or directly to the consumer, having the best data is the key to providing unique services and enhanced user experiences that attracts users.

Companies should consider all the forms of data they have at their disposal and be creative in how they use it, especially when choosing to create specialized models. Good data makes it easier directly to engage customers directly, reducing the risk of commoditization by a third party. In instances where a company with high-quality data chooses a third-party LLM platform, executives should be careful to participate in a manner that protects against commoditization.

talento

Garantir o talento de dados é vital ao optar por criar experiências orientadas por LLM internamente, mesmo para fazer modificações simples nos LLMs existentes. As habilidades necessárias para pré-treinar e ajustar para fins especializados são raros, mesmo entre os cientistas de dados. Não ajuda que, no ano passado, mais e mais pesquisas sobre como construir ou modificar o LLMS tenham se tornado proprietárias, e a pesquisa disponível já está começando a ficar desatualizada. Isso significa que os cientistas de dados precisarão ser usados ​​para trabalhar com esses modelos, mesmo quando as informações públicas disponíveis para aumentá -las potencialmente se tornam limitadas.

Poder de computação

Treinamento e inferno LLMs podem ser tecnicamente feitos usando as CPUs e as GPUs de hoje. Mas ele levará esse hardware à sua capacidade. Ao mesmo tempo, investir em hardware atualizado dedicado apenas ao treinamento LLMS pode não atrair os líderes da empresa à primeira vista, dado o custo - é um preço alto para algo que só acontece ocasionalmente. As empresas pagam por todos os ciclos que são executados na nuvem e pagam pelos custos de energia de cada ciclo executado em seu próprio data center. Os aplicativos voltados para o cliente podem acabar com milhares a milhões de consultas por dia-e um milhão de consultas pode custar até US $ 120.000 em poder de computação. Os líderes devem considerar fazer um investimento inicial para evitar esse efeito de bola de neve. Por um lado, o envolvimento precoce com os provedores da LLM posicionará melhor as empresas tradicionais para definir termos de contratação, como compartilhamento de receita e métodos de otimização de pesquisa. Além disso, o envolvimento no início pode permitir que os executivos influenciem o roteiro de tecnologia para sua vantagem-que, por outro lado, beneficiará sua organização. Mas, à medida que a pesquisa fica mais proprietária, o código aberto pode ficar para trás. As empresas que desejam uma abordagem direta ao consumidor não podem esperar que isso aconteça, ou que outras empresas lançem soluções que possam tentar os clientes a mudar. O ponto de inflexão de hoje será o campo de competição de amanhã. O Instituto envolve os líderes em discussões e experimentações provocativas para expandir os limites da teoria e prática dos negócios e traduzir idéias inovadoras de dentro e além dos negócios. Para mais idéias e inspiração do instituto, visite nosso

But this perspective fails to account for the incremental costs of running the LLM, on the same hardware. Companies pay for every cycle that’s run in the cloud, and they pay for the energy costs of every cycle that’s run in their own data center. Customer-facing applications can end up with thousands to millions of queries per day—and a million queries can cost up to $120,000 in computing power. Leaders should consider making an upfront investment to avoid this snowball effect.

---

Executives will need to act quickly to set their generative AI engagement strategy. On the one hand, early engagement with LLM providers will better position traditional companies to set contracting terms such as revenue sharing and search optimization methods. In addition, engaging early may enable executives to influence the technology road map for their advantage—negotiating for technical features that will benefit their organization.

On the other hand, the open-source models that exist today are still quite good. But as research gets more proprietary, open source might fall behind. Companies that want a direct-to-consumer approach can’t wait for that to happen, or for other companies to launch solutions that could tempt customers to switch. Today’s inflection point will be tomorrow’s field of competition.