O uso efetivo de benchmarks pode ser uma fonte chave de vantagem competitiva para investidores e usuários finais.
Interest and investment in Computação Quântica continua a subir. A tecnologia atraiu quase o dobro de capital em 2020 e 2021 (US $ 2,15 bilhões) do que nos 10 anos anteriores (US $ 1,16 bilhão). Enquanto o hardware ainda atrai mais dinheiro, os investimentos em software saltaram quase 80% em 2020 e 2021 em comparação com a década anterior. (Veja o Anexo 1.) Esses são indicadores significativos de que as aplicações práticas estão se aproximando. O Gartner prevê que 20% das organizações estarão orçamentando para projetos de computação quântica até 2023.
There is still a long and expensive road ahead. To reach broad quantum advantage, we anticipate that an additional $10 billion must still be invested in developing hardware, and that end users will need to budget for quantum computing at twice the rate that they are today. As they assess the potential impact of quantum computing from a business and financial point of view, investors and end users have two big needs. One is business-related: How do they acquire the knowledge required to confidently invest in, or partner with, individual providers? The other is technological: What’s the best way to assess the maturity of individual providers’ technologies, and which hardware platform is best suited for each of many different potential applications?
Benchmarking de desempenho pode acelerar o progresso na computação quântica. A chave é projetar benchmarks que indicam aos usuários o que eles precisam saber, podem se adaptar às tecnologias em evolução e cobrir os atributos relevantes.
Benchmarking de desempenho - avaliando as capacidades absolutas e relativas de diferentes plataformas ou sistemas - se mostrou útil na avaliação de outros
Tecnologias Deep
. Acreditamos que o benchmarking de desempenho pode acelerar o progresso na computação quântica. A chave é projetar benchmarks que sejam úteis (eles dizem aos usuários o que precisam saber), escaláveis (eles podem expandir e se adaptar às tecnologias em evolução) e abrangentes (eles cobrem todos os atributos relevantes) - negócios de truque para uma tecnologia tão radical e complexa. Dito isto, várias organizações já estão avançando, e provavelmente veremos mais recursos de benchmarking surgirem à medida que a tecnologia se aproxima do mercado. Por exemplo, levou mais de 10 anos e cerca de US $ 300 milhões para sequenciar completamente o genoma humano. Em 2008, custou US $ 1 milhão para executar o processo para um único indivíduo. A comercialização da genômica exigia o desenvolvimento inovador de técnicas mais baratas que ainda atendiam aos limiares mínimos de precisão. Outras organizações, como o projeto Genomes Platinum e a Aliança Global para Genômica e Saúde, se juntaram ao esforço de criar benchmarks adicionais, impulsionando o desenvolvimento de plataformas de sequenciamento de próxima geração. Como resultado, o preço do sequenciamento de um genoma humano completo caiu para cerca de US $ 1.000. Ao fornecer validação analítica de novas abordagens por meio de benchmarks, investidores e fabricantes puderam trabalhar juntos para permitir avanços interessantes em medicina personalizada e outras aplicações, como o rastreamento da variante CoVID-19 em tempo real.
The Power and Complexity of Benchmarking
By providing an objective measure of performance, benchmarks can stimulate investment, promote healthy competition, and deepen collaboration. For example, it took more than 10 years and about $300 million to completely sequence the human genome. As recently as 2008, it cost a $1 million to perform the process for a single individual. The commercialization of genomics required innovative development of less expensive techniques that still met minimum accuracy thresholds.
To this end, the National Institute of Standards and Technology worked with a group of researchers, known as the Genome in a Bottle Consortium, to create a “reference genome” that could be used to verify the accuracy of new technologies. Other organizations, such as the Platinum Genomes Project and the Global Alliance for Genomics and Health, have since joined in the effort to create additional benchmarks, propelling development of next-generation sequencing platforms. As a result, the price of sequencing a complete human genome has dropped to about $1,000. By providing analytical validation of new approaches through benchmarks, investors and manufacturers were able to work together to enable exciting advances in personalized medicine and other applications, such as real-time COVID-19 variant tracking.
No aprendizado de máquina, o conjunto de benchmark MLPerf centrado no aplicativo se tornou o padrão de desempenho de fato. Esses benchmarks medem o desempenho de unidades de processamento gráfico em tarefas específicas, como classificação de imagem em um conjunto de dados médicos ou reconhecimento de fala. Ao criar um conjunto de práticas recomendadas, é mais fácil e rápido para os desenvolvedores corporativos adotarem essa tecnologia complexa e avançada. A primeira é a grande variedade de sistemas de computação quântica hoje em desenvolvimento. Cada um usa tecnologias subjacentes fundamentalmente diferentes (de matrizes de íons controlados a laser a elétrons de rotação controlados por microondas) e cada um tem seus próprios pontos fortes e fracos. Como resultado, essas tecnologias se desenvolverão a taxas variadas e terão marcos diferentes para alcançar total eficácia - um segundo obstáculo. Tomar uma imagem estática do mercado de hoje e o desempenho de benchmarking nesse estado não será necessariamente indicativo de desenvolvimentos futuros. O potencial da computação e nossos recursos de computação atuais. Isso é desafiador, porque o progresso na computação clássica continua não apenas através de avanços de hardware (que eram estáveis e previsíveis graças à lei de Moore), mas também avanços algorítmicos (como o alfafold do Google), que fazem com que os computadores de hardware sejam mais eficientes. Um sinal claro de sua importância é a mudança da Agência de Pesquisa de Projetos Avançados (DARPA) do Departamento de Defesa dos EUA para iniciar um programa de benchmarking quântico "para estabelecer as principais métricas de computação quântica e, em seguida, tornar essas métricas testáveis" para "entender melhor, quantitativamente, o impacto dos computadores quânticos decades abaixo da estrada". Compreendendo o estado da tecnologia hoje, identificando o hardware que é melhor para um determinado caso de uso e comparando um provedor de hardware com outro, todos exigem um cálculo muito complexo. Não surpreende, então, que várias empresas, instituições acadêmicas e consórcios da indústria surgiram com soluções para simplificar essas comparações de um sistema de sistemas e aplicações (consulte o Anexo 2.)
Benchmarking in quantum computing is more complicated than in other fields for four key reasons. The first is the sheer variety of quantum computing systems in development today. Each uses fundamentally different underlying technologies (from laser-controlled arrays of ions to microwave-controlled spinning electrons), and each has its own strengths and weaknesses. As a result, these technologies will develop at varying rates and have different milestones for achieving full effectiveness—a second hurdle. Taking a static picture of today’s market and benchmarking performance against this state will not necessarily be indicative of future developments.
Third, much of the potential of quantum computing lies in very different types of applications—simulation versus optimization, for example—whose solutions require different quantum configurations and therefore different forms of assessment.
Finally, useful benchmarks should enable comparison between quantum computing’s potential and our current computing capabilities. This is challenging because progress in classical computing continues not just through hardware advancements (which were steady and predictable thanks to Moore’s law) but also algorithmic advances (such as Google’s AlphaFold), which make more efficient use of that hardware.
These four factors both make benchmarking quantum computers challenging and point to how critical effective means of comparison are for investor and end user decision making. One clear signal of their importance is the move by the US Defense Department’s Advanced Projects Research Agency (DARPA) to start a quantum benchmarking program “to establish key quantum-computing metrics and then make those metrics testable” in order to “better understand, quantitatively, the impact of quantum computers decades down the road.” Understanding the state of the technology today, identifying the hardware that’s best for a given use case, and comparing one hardware provider to another all require a very complex calculus. No surprise, then, that a number of companies, academic institutions, and industry consortia have emerged with solutions to simplify these comparisons from a systems and an applications perspective (See Exhibit 2.)
Two Types of Benchmarks
Nos seus primeiros dias, a computação clássica enfrentou alguns dos mesmos desafios de benchmarking, que foram resolvidos desenvolvendo dois tipos de benchmarks. Early Sistemas Benchmarks helped users, vendors, and investors sort through a proliferation of manufacturers and computer systems by comparing base hardware performance with such metrics as instructions per second (IPS). Since these benchmarks tell only part of the story—a computer’s peak speed in IPS can differ significantly from its speed handling realistic workloads, for example—it quickly became necessary to develop Benchmarks de aplicativos to help compare computer performance for specific tasks. Today, we use a combination of systems and application benchmarks to identify the best solution for classical computing needs.
Uma dinâmica semelhante está em funcionamento na computação quântica. Os benchmarks do sistema medem características fundamentais de um computador quântico. Por exemplo, a IBM tem um Suíte de benchmarks do sistema Essa escala de cobertura (número de qubits), qualidade e velocidade. (Ver Anexo 3.) A qualidade é medida pelo que a IBM chama de "volume quântico", uma métrica que avalia o circuito quântico quadrado de tamanho máximo de que uma unidade de processamento quântico (QPU) pode amostrar de forma confiável com uma probabilidade maior que 67%. A velocidade, introduzida no final de 2021, é medida nas operações da camada de circuito por segundo (CLOPS), que corresponde à rapidez com que um QPU pode executar circuitos. de progresso. Eles são úteis, pois muitas aplicações da computação quântica são sensíveis ao tempo até a solução. Por exemplo, no caso do algoritmo de Shor, que é comumente usado para comparar o poder computacional devido à sua complexidade inerente, a melhor estimativa prevê um tempo de execução de oito horas para supercondutor qubits, enquanto os qubits de Íons presos, que têm um valor mais baixo, estimados para levar um ano-uma diferença massiva entre duas quantidades alternativas.
Such measures enable assessments of machine performance without regard to specific use cases and provide a clear record of progress. They are useful since many applications of quantum computing are sensitive to time-to-solution. For example, in the case of Shor’s algorithm, which is commonly used to benchmark computational power because of its inherent complexity, the best estimate predicts an eight-hour run time for superconducting qubits, while trapped ion qubits, which have a lower CLOPs value, are estimated to take one year—a massive difference between two alternative quantum computing technologies.
Os benchmarks de sistemas são os mais descritivos e os benchmarks mais gerais disponíveis. Eles permitem que fornecedores de tecnologia, desenvolvedores de código e outros comparem coisas como profundidade do circuito, largura do circuito e densidade do portão. No entanto, eles geralmente são difíceis de empregar os usuários finais, não apenas porque tendem a ser técnicos, mas porque são gerais. Por design, eles abstraem os dispositivos dos contextos nos quais os usuários finais os usarão.
Application benchmarks can be used to evaluate the performance of an entire system, thus providing significant value beyond merely assessing quantum advantage.
Digite benchmarks de aplicativos. Essa abordagem fornece uma visão de quão bem um computador quântico será executado em tarefas específicas. Como tal, os benchmarks de aplicativos podem ajudar os usuários finais e os investidores a avaliar o desempenho de um sistema inteiro e medir o desempenho com base em casos de uso do mundo real, fornecendo um valor significativo além de apenas avaliar a vantagem quântica. Por exemplo, enquanto a referência quântica de linpack mede a capacidade do computador de executar uma tarefa computacional de pré-requisito importante para álgebra linear, q-score, uma referência desenvolvida por ATOS, medidas de desempenho em um problema de otimização completo, avaliando o número máximo de variáveis que um processador pode otimizar. suas necessidades de computação quântica. Os benchmarks de aplicativos mostraram que o computador quântico de teste quântico avançado pode superar a máquina do IONQ ao tentar simular sistemas quânticos, enquanto o reverso pode ser verdadeiro para problemas de otimização combinatória. Vantagens práticas na computação quântica. Além disso, essas comparações ajudam a monitorar a eficiência nos componentes clássicos de um computador quântico, uma vez que uma interface eficiente entre os dispositivos clássicos e quânticos é outro pré -requisito para a eficácia quântica. Os referências futuras precisarão ser capazes de rastrear o progresso puramente comparando dispositivos quânticos um contra o outro. Como Joe AltePeter, gerente de programas do escritório de ciências de defesa da DARPA, disse: “Se a construção de um computador quântico útil é como criar o primeiro foguete para a lua, queremos garantir que não estamos quantificando o progresso em direção a esse objetivo, medindo o quão alto será o foco dos planos. Mas - e isso é significativo, mas - isso exigirá que os fabricantes permitam que suas máquinas sejam comparadas à revisão pública. Os provedores de hardware precisarão adotar um ethos de abertura se o conceito de benchmarking como um "acelerador de progresso" for chutado em alta velocidade. Dadas as inúmeras aplicações em potencial para a computação quântica, é importante desenvolver um conjunto de referências de aplicativos para uma ampla gama de casos de uso. O Consórcio de Desenvolvimento Econômico Quântico dos EUA (QED-C), que foi estabelecido como resultado da Lei Nacional de Iniciativa Quântica de 2018, desenvolveu um conjunto de benchmarks de aplicativos direcionados a aplicações práticas e com base na execução de algoritmos ou programas quânticos comuns.
We already have signs that application benchmarks are among the best tools to help companies determine which devices best meet their quantum computing needs. Application benchmarks have shown that Advanced Quantum Testbed’s quantum computer may outperform IonQ’s machine when trying to simulate quantum systems while the reverse may be true for combinatorial optimization problems.
Standards Will Evolve—If They Receive a Little Help
Until quantum advantage is clearly established for practical use cases, classical high-performance computers provide a standard to help users and investors track progress toward practical advantages in quantum computing. In addition, these comparisons help monitor efficiency in the classical components of a quantum computer since an efficient interface between classical and quantum devices is another prerequisite for quantum effectiveness.
That said, as the new technology continues to develop, quantum computations will eventually outpace classical yardsticks. Future benchmarks will need to be able to track progress purely by comparing quantum devices against each other. As Joe Altepeter, program manager in DARPA’s Defense Sciences Office, has said, “If building a useful quantum computer is like building the first rocket to the moon, we want to make sure we’re not quantifying progress toward that goal by measuring how high our planes can fly.”
We predict that application benchmarks will be a key focus in accelerating progress for the quantum computing market, encouraging and helping to prioritize investment. But—and this is a significant but—this will require manufacturers to permit their machines to be benchmarked for public review. Hardware providers will need to adopt an ethos of openness if the concept of benchmarking as a “progress accelerator” is to be kicked into high gear.
The Suite Spot
Investors and end users need to evaluate quantum machines from the point of view of their specific goals. Given the myriad potential applications for quantum computing, it is important to develop a suite of application benchmarks for a broad range of use cases.
A few organizations are active in the development of benchmark suites. The US Quantum Economic Development Consortium (QED-C), which was established as a result of 2018’s National Quantum Initiative Act, has developed a suite of application benchmarks targeted toward practical applications and based on executing common quantum algorithms or programs.
Another example is SupermarQ, a new conjunto de benchmarks de aplicativos A partir do Startup de software Quantum Super.tech, que aplica técnicas de metodologias clássicas de benchmarking ao domínio quântico. Quatro Princípios de Design-Scalabilidade, Significativa e Diversidade, Avaliação do Sistema Completo e Adaptividade-Pressione a seleção e avaliação de aplicações, que abrangem uma variedade de abordagens algorítmicas relevantes para casos de uso do mundo real em finanças, farmacêuticos, energia, química e outros setores. (Veja o Anexo 4.). Esses algoritmos cobrem a maioria dos casos de uso de hoje. Mas desenvolvedores sofisticados também podem se referir a recursos de desempenho (como profundidade crítica ou taxa de emaranhamento) que os ajudam a projetar como cada um dos sistemas comparados (IONQ versus teste quântico avançado, por exemplo), o desempenho foi executado no qualquer Algoritmo, até algoritmos personalizados fora do conjunto de referência. O Supermarq também apresenta uma referência de correção de erro, um proxy para a prontidão prática que indica até que ponto um dispositivo precisa seguir a estrada para tolerância a falhas. Tecnologias de computação e as empresas por trás delas, investidores e usuários finais devem considerar uma série de fatores de decisão críticos. (Consulte o Anexo 5.) Cada um deve avaliar o rigor e a ambição do roteiro técnico do provedor e o talento e a reputação da equipe do provedor. Os termos financeiros de qualquer acordo são essenciais para os investidores, é claro, enquanto escovam todos os benefícios de uma parceria, incluindo questões como programas de compartilhamento e integração de talentos, são preocupações importantes para os usuários finais. no hardware existente se tornará uma parte mais importante do cálculo. Por exemplo, os investidores podem usar os benchmarks de sistemas para avaliar a maturidade da tecnologia e o tempo potencial para valorizar. Eles podem usar benchmarks de aplicativos para avaliar o potencial de criação de valor de uma determinada tecnologia (por exemplo, seja na liderança em aplicativos com casos de uso em mercados de alto valor, como serviços financeiros). Os usuários finais desejam aproveitar os benchmarks de aplicativos para decidir qual hardware produz o melhor desempenho em algoritmos relevantes para suas cargas de trabalho (como o eigensolver quântico variação para química). Fundos e empresas individuais também podem ter seus próprios critérios. Da mesma forma, os investidores podem identificar quais benchmarks são mais adequados para soluções nas quais desejam colocar seu dinheiro e rastrear essas métricas para medir o progresso ao longo do tempo. Mas esses avanços rápidos são acompanhados pelo ceticismo e pelo hype enganoso. O uso eficaz de benchmarks será uma fonte de vantagem competitiva para investidores e usuários finais. Os benchmarks confiáveis também podem acelerar o progresso em todo o ecossistema, estimulando o investimento nas tecnologias corretas, promovendo a concorrência saudável e aprofundando a colaboração, como fizeram na genômica e no aprendizado de máquina, a referência eficaz é crítica para os juros dos possíveis e mitigam o impacto de informações sobre o impacto. e super.tech por sua assistência com este artigo. Matt Langione
The Critical Decision Factors
When assessing quantum computing technologies and the companies behind them, investors and end users must consider a series of critical decision factors. (See Exhibit 5.) Each should assess the rigor and ambition of the provider’s technical roadmap and the talent and reputation of the provider team. The financial terms of any deal are key for investors, of course, while scoping the full benefits of a partnership, including such issues as talent sharing and onboarding programs, are important concerns for end users.
As quantum computers mature, benchmarks on existing hardware will become a more important part of the calculus. For example, investors can use systems benchmarks to gauge tech maturity and potential time to value. They can use application benchmarks to gauge the value creation potential of a given technology (for instance, whether it is in the lead in applications with use cases in high-value markets like financial services). End users will want to leverage application benchmarks to decide which hardware yields the best performance on algorithms relevant to their workloads (such as the Variational Quantum Eigensolver for chemistry). Individual funds and companies may have their own criteria as well.
Once they set their priorities, investors and end users should develop a comprehensive but measured approach that balances system and application benchmarks, leveraging the work of organizations such as IBM, Super.tech, QED-C, and others to determine which computers best align with their workloads. Similarly, investors can identify which benchmarks are best suited for solutions in which they want to put their money and track those metrics to measure progress over time.
Breakthroughs in quantum computing have accelerated exponentially in recent years. But these rapid advances are accompanied by both skepticism and misleading hype. The effective use of benchmarks will be a source of competitive advantage for investors and end users. Trustworthy benchmarks can also accelerate progress across the entire ecosystem by stimulating investment in the right technologies, promoting healthy competition and deepening collaboration, much as they did in genomics and machine learning, Effective benchmarking is critical to both celebrating true advances and mitigating the impact of misleading information that could undermine the interests of potential investors and users.
The authors are grateful to IBM and Super.tech for their assistance with this article.
