Digitalização é Remodelando a negociação de commodities Em um ritmo acelerado, e os jogadores estão investindo recursos substanciais para desenvolver recursos críticos. Muitas empresas, no entanto, estão avançando sem uma visão clara de tudo o que será necessário para traduzir esse investimento em resultados finais. Exige que as empresas desenvolvam um modelo de negócios totalmente novo, que começa com um forte compromisso do topo da organização e abrange a governança, a estrutura organizacional, a tecnologia da informação e outras considerações.
Capturing digitization’s full potential requires more than just a series of isolated pilot projects or the establishment of a dedicated digital division. It demands that companies develop an entirely new business model, one that starts with a strong commitment from the top of the organization and spans governance, organizational structure, information technology, and other considerations.
Este é o quarto artigo de nossa série sobre o impacto da digitalização no comércio de commodities. Os três primeiros artigos cobriram a tempestade de hiperliquidez, como Os algoritmos estão interrompendo a cadeia de valor= , e o Prêmio de US $ 70 bilhões em comércio de commodities . Eles lançaram esforços para otimizar operações de back-office, padronizando contratos, introduzindo processamento direto e eliminando os médios (principalmente corretores e bancos) e substituindo-os por telas de computador que permitiram que os comerciantes interagem diretamente com as contrapartes. Esses movimentos não foram digitalização da negociação em si, mas medidas de corte de custos destinadas a permanecer competitivas. As iniciativas, no entanto, estabeleceram uma base para uma digitalização mais pronunciada dos negócios comerciais das empresas. Esses jogadores tipicamente matemáticos armados com Matlab ou Python deram -lhes parâmetros predefinidos e permitem que eles negociem pequenas posições com exposição a riscos limitados. A maioria desses esforços finalmente falhou, em parte porque as empresas não tinham um entendimento técnico dos algoritmos e da tecnologia subjacente, mas principalmente por causa do apoio limitado da liderança da empresa, que muitas vezes via as atividades como curiosidades, e não pelo início de uma mudança estrutural no comércio. Alguns comerciantes de commodities também começaram a usar algoritmos para otimizar a execução das estratégias de hedge-inspiradas pelo sucesso dos bancos de investimento na arena de negociação de ações-mas não com o objetivo principal de maximizar lucros.
Digitized Commodity Trading’s Development to Date
Many players started down the digitization path, albeit unwittingly, in the early 2010s (or before); they launched efforts to streamline back-office operations by standardizing contracts, introducing straight-through processing, and eliminating middle men (mostly brokers and banks) and replacing them with computer screens that allowed traders to interface directly with counterparties. These moves were not digitization of trading per se but rather cost-cutting measures aimed at staying competitive. The initiatives did, however, establish a foundation for a more pronounced digitization of the companies’ trading businesses.
The first commodity traders to experiment with systematic trading across the full commodities chain were a few experiential power and gas utilities exploring parametric trading opportunities in physical intraday markets. These players typically armed mathematicians with Matlab or Python, gave them predefined parameters, and let them trade small positions with limited risk exposure. Most of these efforts ultimately failed, partly because the companies lacked a technical understanding of the algorithms and the underlying technology but mainly because of limited support from company leadership, which often viewed the activities as curiosities rather than the beginnings of a structural shift in trading. Some commodity traders also started using algorithms to optimize the execution of hedging strategies—inspired by the success of investment banks in the equity-trading arena—but not with the primary aim of maximizing profits.
Company leadership too often viewed early digitization experiments as curiosities rather than the beginnings of a structural shift in trading.
Eventos realmente começaram a se desenrolar em rápida sucessão de 2015 a 2017, com executivos em empresas de comércio de commodities aparentemente percebendo as imensas possibilidades de digitalização e posteriormente empurrando-a através de suas organizações. Isso levou ao lançamento de vários pilotos em diferentes mercadorias:
- no Power and Gas front, exchanges such as Nord Pool opened their application programming interfaces (APIs) to clients, and several independent service providers registered with exchanges to offer algorithmic trade execution, which spared clients the trouble of building their own algorithms or testing them with the exchanges. Simultaneously, more-advanced players started developing increasingly complex augmentation algorithms—for example, ones that use machine learning to enhance forecasting of price volatility. Many players ultimately let their organizations freely build their own applications, often resulting in an abundance of applications and data sources but little coordination among them.
- nooil front, things evolved more slowly. This happened partly because of the high trading margins afforded by the “super contango” of 2015 and 2016 (an extreme distortion in the conventional relationship between spot and futures prices, in which the latter were higher than the former), a situation that muted the perceived urgency among traders to invest heavily in digitization. In cases where players did invest, they frequently did so in relatively straightforward applications, such as the execution of hedging strategies. Although many traders also contemplated developing applications that would enable or support fundamental analysis using a data-driven approach, these discussions were often dismissed over worries about excessive complexity. But a number of oil traders ultimately set up smaller teams that were focused on accelerating the realization of digital opportunities.
- On the soft-commodities front, the market split in two. Some companies, such as Cargill, made large investments in data and data science. The majority of companies, however, did nothing. As in the oil and power and gas arenas, most players closed the era having launched many pilots, a good number of which had limited success and were ultimately abandoned or largely forgotten. Very few companies developed a systematic approach to the digitization of their business, one that would make a real difference in the company’s performance.
Desde o início de 2018, no entanto, a evolução da digitalização entre os comerciantes de commodities começou a dar uma volta diferente. Em vez de pensar em termos de pilotos, a maioria dos jogadores agora está falando sobre dados e infraestrutura. (Ouvimos coisas como "dados são o novo petróleo".) Embora essa zelo e mudança de foco sejam, sem dúvida, valiosos, argumentaríamos que, para realmente fazer a diferença em seus lucros, as empresas de comércio devem primeiro dar alguns passos para trás e garantir que estejam dependendo de todas as suas bases. Dois fatores: a ambição dos comerciantes em relação a cada mercadoria, combinada com as ações dos disruptores; A prontidão dos respectivos mercados comerciais para digitalização. Aqui, consideramos três variáveis em particular: a heterogeneidade da mercadoria, o que significa o grau em que as características físicas da mercadoria variam; a qualidade e a sofisticação da infraestrutura que suportam a negociação (incluindo a disponibilidade de APIs eletrônicas de negociação e troca e plataforma); e a “justiça” ou a transparência de informações sobre o mercado. Essas características permitem modelos de negócios mais centrados na digitalização. A indústria de energia e gás é um desses mercados e, portanto, está na vanguarda da evolução da negociação digitalizada; Por outro lado, o mercado de óleo físico tem demorado a digitalização devido a uma combinação de fatores, incluindo os termos especiais do mercado em acordos, limites no tamanho das parcelas negociadas, uma abordagem datada à confirmação bilateral e ao fato de que o petróleo físico possui centenas de características, como teor de enxofre e viscosidade. A agricultura parece ser um caso especial-a troca, que é governada por transações em dois lados e envolve longos prazos de entrega, geralmente é ineficiente e pode se beneficiar materialmente da digitalização. Mas inúmeras complexidades, particularmente as relacionadas às cadeias de suprimentos, frustraram movimentos pelos comerciantes nessa direção. Vemos a evolução em direção ao santo graal do processo de digitalização total em quatro etapas. (Consulte o Anexo 1.)
Going Forward
From this point forward, the arc that digitized commodity trading takes as it evolves will depend on two factors: traders’ ambition regarding each commodity, combined with the actions of disruptors; and the readiness of the respective trading markets for digitization.
The first factor is strongly influenced by the general profitability of trading the commodity, a consideration that is becoming increasingly important in a trading world characterized by rising competition.
The second factor is a reflection largely of the physical and trading characteristics of each commodity. Here, we consider three variables in particular: the heterogeneity of the commodity, meaning the degree to which the commodity’s physical characteristics vary; the quality and sophistication of the infrastructure supporting the trading (including the availability of electronic trading and exchange- and platform-sponsored APIs); and the “fairness” of, or transparency of information about, the market.
And these variables are interrelated: commodities that are homogenous generally have advanced trading infrastructures and a high level of information transparency. These characteristics allow for business models that are more centered on digitization. The power and gas industry is one such market and hence is at the forefront of the evolution of digitized trading; in contrast, the physical-oil market has been slow to embrace digitization owing to a combination of factors, including the market’s special terms on deals, limits on the size of parcels traded, a dated approach to bilateral-deal confirmation, and the fact that physical oil has hundreds of characteristics, such as sulfur content and viscosity. Agriculture seems to be a special case—trading, which is governed by two-sided transactions and involves long lead times, is often inefficient and could benefit materially from digitization. But numerous complexities, particularly those related to supply chains, have stymied moves by traders in that direction.
Regardless of how quickly the trading of individual commodities becomes digitized, the directional trend is clear. We see the evolution toward the Holy Grail of full digitization proceeding in four stages. (See Exhibit 1.)
The first is the relatively simple deployment of electronic platforms and straight-through processing of commodity derivatives, steps that will enhance back-office efficiency and cut direct costs. This step boosts the company’s cost competitiveness and sets the digitization process in motion.
The second stage is the adoption of automation based on parametric algorithms (that is, algorithms that are based on human-crafted rules). This enhances front-office efficiency and effectiveness by eliminating manual tasks (such as trade splitting), optimizing the timing of trades, and reducing shadow slippage (or undetected changes in the spread between bid and ask prices that occur between a trade’s inception and completion). It can also enable further automation of middle- and back-office activities, such as reporting, first-line controls, and nomination. (Some traders have attempted to deploy blockchain-based approaches to facilitate such efforts, with varying degrees of success to date.) This stage is aimed at increasing speed and efficiency and is easily tailored to compliance and risk management needs, as the rules are set by humans and the computer follows them rigorously.
The third stage is the first really transformative one: algorithms that can glean insights from vast volumes de dados começam a apoiar os comerciantes. Aqui, a empresa não está mais confiando nos humanos para estabelecer parâmetros ou regras diretas para os algoritmos; Em vez disso, permite que o computador deriva insights por si só (embora o comerciante permaneça responsável pelas decisões de execução final). Este é um passo para substituir a inteligência humana. O mais alto grau deste estágio é onde o computador realmente toma a decisão (embora um comerciante permaneça no meio do processo, atuando como um "qualificador" - por exemplo, examinando a recomendação do algoritmo). Nos casos mais extremos observados até agora, as empresas empregaram jogadores eletrônicos-porque têm tempos de reação rápidos-para pressionar fisicamente os botões com base nas orientações do computador.
O quarto estágio leva o comerciante inteiramente da equação e digitaliza a cadeia de valor de ponta a ponta, automatizando tudo, desde o desenvolvimento da estratégia até a reconciliação de back-office. Este estágio envolve uma revisão completa do modelo operacional. É uma mudança de uma estrutura de back-office da frente, liderada por uma mesa de commodities para uma totalmente funcional, com quase nenhum silos baseado em commodities e uma forte ênfase no fornecimento de dados e no desenvolvimento de algoritmos.
During an era of progressive digitization, the days of big bets, as we know them, will be over.
A que distância as empresas comerciais irão nessa evolução? Depois de discutir o assunto com a maioria dos principais players, acreditamos que o consenso é que o setor provavelmente atingirá o estágio 3.5, em média. O comércio intradiário de poder já está a caminho de atingir o estágio 4, enquanto o comércio de críticas exóticas pode chegar apenas a um estágio 3. Durante uma era de digitalização progressiva, os dias das grandes apostas, como os conhecemos, terminarão. A negociação se tornará cada vez mais uma função de um número maior de apostas menores, o que mudará o perfil de risco da negociação de commodities e exigirá um novo modelo de negócios.
Os blocos de construção de um modelo de negócios bem -sucedidos
These days, trading companies are excited about digitization—but few businesses have developed a pragmatic approach to maximizing the returns on their digitization journey. Until fairly recently, as noted, the majority of companies took a scattershot approach, characterized by multiple pilots across the organization but only limited control or big-picture logic behind it all. In most cases, this resulted in problems, including a lack of scale in the initiatives due to missing infrastructure, data, and organizational support; inefficiency, such as duplication of effort, in the pilot development, reflecting insufficient visibility for initiatives across the organization and the absence of a single guiding hand; and serious compliance and infrastructure troubles.
The right approach, in contrast, is to build the digital business model layer by layer. Seven critical building blocks should underpin this effort. (See Exhibit 2.)
Liderança e visão da liderança
O fundamento da mudança transformacional na direção de uma organização é liderança e liderança. Pela nossa experiência, descobrimos que os executivos de negociação de commodities consideram muitas vezes a digitalização interessante e talvez digna de experimentação-mas não conseguem visualizar todo o potencial ou cometer os recursos necessários. Isso pode levar à participação em iniciativas de baixo rendimento e o que chamamos de cogumelos, nas quais dezenas-talvez centenas-de pilotos são lançados, a maioria dos quais mostram retornos limitados ou têm baixa escalabilidade. Acreditamos em uma abordagem “pense grande, comece pequeno e escala rápido”. Isso começa com a definição de uma visão geral, uma que explica as coisas como as iniciativas são importantes, quais são os principais facilitadores e como a campanha mudará a maneira como a empresa funciona. Depois de definir sua visão, a empresa pode começar com algumas (normalmente um a três) iniciativas -chave. Mas deve executá -los corretamente. Uma vez estabelecidos, a organização pode escalá -los e começar a adicionar mais iniciativas ao pipeline. O processo dessa maneira permite que a empresa aprenda sua nova maneira de trabalhar gradualmente e ver resultados imediatos, mantendo um foco holístico e continuando a dar uma atenção adequada aos seus negócios em geral. A campanha digital, centrada em decisões complexas e orientadas a dados tomadas por algoritmos sofisticados, apresenta uma série de demandas que estão muito distantes da dos negócios tradicionais, que são contratados pelos comerciantes que aderem ao modelo operacional clássico do setor e mandatos. A governança que pode efetivamente abranger os dois mundos exige estruturas de risco cuidadosamente criadas, incentivos e modelos de compartilhamento de lucros, além de estruturas de livros organizacionais e comerciais devidamente projetados. Se a empresa possui uma “algofactory” e as mesas de negociação tradicionais, que possui o risco e a recompensa associados aos algoritmos se as mesas os implantarem? Existem muitas soluções para esses desafios, mas devem ser adaptadas à visão e às necessidades de cada jogador.
To establish a proper foundation for digitization, leadership must set the direction and lead the change management effort. We believe in a “think big, start small, scale fast” approach. This starts with the definition of an overall vision, one that spells out such things as which initiatives are important, what the key enablers are, and how the campaign will ultimately change the way the company works. After defining its vision, the company can start with a few (typically one to three) key initiatives. But it must execute them properly. Once these have been established, the organization can scale them up and begin to add more initiatives to the pipeline. Proceeding in this manner allows the company to learn its new way of working gradually and see immediate results while maintaining a holistic focus and continuing to give proper attention to its overall business.
Governance
Getting governance right is critical—as power and gas traders can attest, given the experience they had moving quickly down the digitization path without the proper organization and guidelines. The digital campaign, centered on complex, data-driven decisions made by sophisticated algorithms, presents a host of demands that are far removed from those of the traditional business, which is staffed by traders adhering to the industry’s classic operating model and mandates.
The governance challenge becomes particularly acute when the two sides clash. Governance that can effectively span the two worlds requires carefully crafted risk frameworks, incentives, and profit-sharing models, as well as properly designed organizational and trading book structures. If the company has both an “algofactory” and traditional trading desks, who owns the risk and reward associated with the algorithms if the desks deploy them? Many solutions to such challenges exist, but they must be tailored to the vision and needs of each player.
Organização e recursos
A estrutura organizacional clássica da Commodity Trading é vertical e isolada pela mercadoria. A negociação digitalizada coloca tensões fundamentais nessa estrutura. Um componente vital de uma configuração de negociação digital otimizada é a escala - em plataformas, dados e recursos. Para permitir isso, as empresas devem organizar suas plataformas e capacidades horizontalmente entre as mesas. Essa estrutura contrasta fortemente com a pesada verticalização de custos e riscos nas configurações tradicionais. Os jogadores que seguiram o caminho de digitalização geralmente tentam combater ou atrasar a mudança necessária na configuração organizacional adotando uma das várias estruturas da matriz. Mas, eventualmente, à medida que uma empresa se aproxima do estágio 3 ou 4, precisa considerar - ou reconsiderar - adotando uma estrutura horizontal. Os comerciantes que possuem uma mentalidade comercial e inteligência rápida, além de analistas que têm um forte entendimento dos fundamentos do setor, continuam sendo ativos valiosos. Mas as empresas também precisam cada vez mais engenheiros de dados, que podem gerenciar pipelines de dados de ponta a ponta; matemáticos, que podem traduzir estratégias complexas em equações; e cientistas de dados, que podem encontrar padrões nos dados. Essas pessoas e capacidades devem ser adquiridas e nutridas. Hoje, estamos vendo uma enorme democratização da disponibilidade de informações devido a provedores de dados e agregadores de terceiros. Como resultado, praticamente todos os comerciantes agora têm acesso a radar de microondas, medições de frequência e outras métricas sofisticadas que lhes permitem desenvolver uma consciência situacional relativamente completa das commodities em um período que antes foi possível para apenas os maiores players globais. No futuro, a capacidade de gerenciar - coletamente, limpe, analise, armazenam e distribuem em toda a organização - todos esses dados de maneira ideal serão uma fonte cada vez mais crucial de vantagem competitiva. O desenvolvimento desse recurso será um desafio para todos os comerciantes, especialmente aqueles cujo gerenciamento de dados foi historicamente confortável pela mercadoria ou, nos piores casos, não organizados. Embora este continue sendo o caso dos jogadores no estágio 2 da jornada de digitalização, aqueles que aspiram a mudar para os estágios 3 e 4 provavelmente precisarão aumentar isso com uma infraestrutura de negociação sistemática eficaz. Os melhores fundos sistemáticos de hedge criaram uma infraestrutura de teste de teste de retroilodicidade extremamente eficiente, armazenamento de dados e computação, permitindo a coleta avançada de dados, processamento, análise e colocação de pedidos. Algumas empresas comerciais tentaram acessar esses recursos através da nuvem. Mas muitos desses jogadores finalmente escolheram desenvolver uma solução de infraestrutura interna, pois os serviços em nuvem se mostraram muito lentos e caros. Quando uma empresa comercial progride para os estágios 3 e 4, seus requisitos de pesquisa mudam. Em vez de tentar identificar alguns eventos significativos no mercado, o jogo torna -se sistematicamente mais oportunidades menores. É necessário um talento novo e diferente - ou seja, cientistas de dados e matemáticos. A organização também precisa de capacidades críticas em teste, validação, aprovações e assim por diante, bem como uma constante revisão e atualização das estratégias existentes. Além disso, a empresa deve estabelecer um pipeline de novos tópicos de pesquisa para investigar e desenvolver, porque o ciclo de lançamento de novas estratégias de negociação se tornará mais curto e mais curto. Isso pode ser dividido em três componentes: algoritmos que executam negociações em nome dos comerciantes, o uso de algoritmos para apoiar os comerciantes na tomada de decisão e algoritmos totalmente independentes.
Another element that changes as a trading company embraces digitization is the required human capabilities. Traders who possess a commercial mindset and quick wits as well as analysts who have a strong understanding of industry fundamentals continue to be valuable assets. But companies also increasingly need data engineers, who can manage data pipelines end to end; mathematicians, who can translate complex strategies into equations; and data scientists, who can find patterns in the data. These people and capabilities must be acquired and nurtured.
Data Management
Large players have traditionally built their business models around superior access to information. Today, we are seeing a massive democratization of information availability due to third-party data providers and aggregators. As a result, virtually all traders now have access to microwave radar, frequency measurements, and other sophisticated metrics that allow them to develop a relatively thorough situational awareness of commodities in a time frame that was once possible for only the largest global players.
Hence, the challenge has shifted from data access to data management. In the future, the ability to manage—collect, clean, analyze, store, and distribute across the organization—all this data optimally will be an increasingly crucial source of competitive advantage. Developing this capability will be a challenge for all traders, especially those whose data management has historically been siloed by commodity or, in the worst cases, not organized at all.
Infrastructure
Traditionally, developing an efficient core IT infrastructure has been the critical technology hurdle for most trading companies. Although this remains the case for players at stage 2 of the digitization journey, those aspiring to move to stages 3 and 4 will likely need to augment this with an effective systematic trading infrastructure. The best systematic hedge funds have created extremely efficient back-testing, data storage, and computation infrastructure, enabling advanced data collection, processing, analytics, and order placement. Some trading companies have attempted to access these capabilities via the cloud. But many of these players have ultimately chosen to develop an in-house infrastructure solution, as cloud services have proved too slow and costly.
Research
The traditional analytical flow supporting commodity trading is grounded in fundamental market analysis supplemented by shorter-term studies (typically either continual updates of existing models or opportunistic examination of big events). When a trading company progresses toward stages 3 and 4, its research requirements change. Rather than trying to identify a few significant events in the market, the game becomes systematically finding more, smaller opportunities.
This change in emphasis has major implications for the company’s research efforts. New and different talent is needed—namely data scientists and mathematicians. The organization also needs critical capabilities in back-testing, validation, approvals, and so forth, as well as a constant review and updating of existing strategies. Further, the company must establish a pipeline of new research topics to investigate and develop because the cycle of launching new trading strategies will become shorter and shorter.
Execution
The final key building block is algorithm-backed execution of the company’s vision. This can be divided into three components: algorithms that execute trades on behalf of traders, the use of algorithms to support traders in decision making, and fully independent algorithms.
Algoritmos que executam negociações não são novidade - fornecedores e especialistas em software independentes que já prestam esse serviço aos comerciantes. Os algoritmos atuais de execução são altamente sofisticados, capazes de executar negociações com base em preços médios ponderados em volume e além. O uso de algoritmos dessa maneira requer governança estrita, no entanto, para garantir um equilíbrio apropriado de risco e recompensa, bem como a conformidade adequada. Isso requer uma revisão completa da governança, TI e estrutura organizacional da Companhia. A maioria dos executivos comerciais reconhece isso, bem como as implicações para futuras vantagens competitivas - e estão ansiosos para posicionar sua empresa de maneira ideal, adaptando seu modelo de negócios para esse novo ambiente. Ao navegar nesse caminho, lembre -se de algumas coisas importantes.
Algorithms can support traders’ decision making by providing direct guidance to the trader or by performing some of the trader’s tasks, such as hedge execution or delta hedging. Using algorithms in this manner requires strict governance, however, to ensure an appropriate balance of risk and reward as well as proper compliance.
Deploying fully independent algorithms effectively and safely requires transforming the company’s operating model into a systematic trading setup, one in which everything—from data feeds to processing, analytics, and execution—is effectively one big pipeline. This necessitates a complete overhaul of the company’s governance, IT, and organizational structure.
The digitization of commodity trading is marching forward rapidly. Most trading executives recognize this, as well as the implications for future competitive advantage—and are eager to position their company optimally by adapting their business model for this new environment. As you navigate this path, keep a few key things in mind.
Primeiro, você precisa definir uma visão clara. Corte tudo, exceto um a três das atuais iniciativas digitais da empresa, mantendo apenas aquelas que se conectam mais diretamente a essa visão. Paralelamente, defina o roteiro. Você aspira ser um bom jogador do estágio 2 ou ir até o estágio 4?
Segundo, você deve configurar a governança apropriada para apoiar o novo modelo. E espere resistência. Estabelecer diretrizes claras sobre testes, risco, conformidade, responsabilidades e estruturas é uma mudança fundamental para a governança e a cultura tradicionais.
It’s critical that you identify the people and infrastructure your company needs for its digitization efforts—but don’t go on a spending spree.
Terceiro, é fundamental que você identifique as pessoas e a infraestrutura que sua empresa exige. Mas não vá em uma onda de gastos. Não contrate os cientistas de dados por causa disso; Não invista em bancos de dados NOSQL se você não precisar deles. Concentre -se no seu esquema de criação de valor central e comunique isso à organização. Mas, fazendo movimentos inteligentes e adotando o modelo de negócios certo, as empresas podem mitigar os riscos e capturar a vantagem. Cinturão Antti
Digital commodity trading is a brave new world. But by making smart moves and adopting the right business model, companies can mitigate the risks and capture the upside.
