Esta é a história do dia da Rádio Observador: as faturas milionárias das empresas com a inteligência artificial.

The AI bill has come due. Annual budgets blown through in weeks. And now companies are facing a choice nobody has ever had to make before: tokens or humans.

This is the first time ever that I can remember that technology costs the same as people, and you're making that comparison that they choose tech or people.

Quase todos já soubemos o que é ser surpreendido com uma fatura ao final do mês, muito superior àquilo que estávamos à espera. E essa é uma situação que hoje em dia já começou a acontecer a muitas empresas, numa nova área que começa a pesar no orçamento: o uso de ferramentas de inteligência artificial. No início, foi o entusiasmo e a utilização de IA para quase tudo. Em muitos casos, os funcionários eram incentivados a usar o maior número possível de tokens, a unidade em que se mede o consumo de inteligência artificial. Isso, por si só, era visto internamente como uma prova de inovação. Mas o uso não racional das ferramentas está a levar muitos a repensar o modelo e o retorno do investimento. Que desafios é que esta nova economia dos tokens representa para as empresas? Vou falar com Cátia Rocha, jornalista do Observador especializada em tecnologia. Eu sou o João Santos Duarte e esta é a história do dia de segunda-feira, 18 de agosto. Olá, Cátia, bem-vinda.

Obrigada, João.

Eu acho que talvez seja melhor começar por explicar o que é isso dos tokens, que tu também referes no teu texto. E, nomeadamente, como é que funciona o uso que nós fazemos destes modelos ou serviços de inteligência artificial.

Um token é a unidade mais básica disto que se chamam os grandes modelos de linguagens, chamados LLMs, que é a sigla em inglês. É um bocadinho a moeda destes modelos, se quisermos. Não é bem linear, mas estes modelos funcionam por palavras e essas palavras é atribuído-

Modelos de linguagem, não é?

Exatamente. É atribuído um determinado contexto e depois aquilo é um cálculo probabilístico de qual é a palavra mais provável que possa aparecer a seguir. Não é muito linear, mas a ideia, para tentar explicar às pessoas, é que um token corresponde a cerca de quatro letras de uma palavra. Portanto, as palavras maiores consomem mais tokens. Portanto, todos estes modelos funcionam à base de pedidos, e os pedidos que as pessoas mais fazem a estes modelos é através de texto. Há ali, associado a estes pedidos, um determinado consumo de tokens. E quanto mais exigente for a tarefa que se pede ou mais complexa, mais tokens são consumidos para realizar estas atividades.

Inicialmente, quando a inteligência artificial surgiu, ou pelo menos não quando surgiu, mas quando começou a tornar mais acessível, houve, de facto, um grande entusiasmo também nas empresas no uso desse tipo de ferramentas, não é?

Quando tivemos o chamado momento ChatGPT em 2022 e tudo mudou. Sim, houve empresas que ficaram muito entusiasmadas e que passaram a incentivar muito os funcionários a usarem ferramentas de IA, a usar ferramentas de IA para tudo. Porque até por vários estudos de consultoras, havia muito a ideia de que as empresas que não adotassem estas ferramentas iam ficar para trás.

Exato.

E isso nos negócios mexe muito. E houve muitos CEOs a incentivar os funcionários a usar a IA para tudo, quase a estabelecer uma ligação entre quanto mais IA se usasse, mais produtivo se era. Era um bocadinho esta a lógica. Há casos muito curiosos. Por exemplo, a Meta, que é dona do Facebook e do Instagram, incentivava os funcionários a fazerem competições para ver quem é que gastava mais tokens. Havia uma espécie de classificação. E a ideia que o funcionário que usasse mais tokens num determinado espaço de tempo, numa semana ou num mês, por exemplo, seria o funcionário mais produtivo. Até que se percebeu que não seria bem assim.

Obviamente, hoje em dia há muitas pessoas que já usam a inteligência artificial, muitas também que já pagam, já subscrevem esses serviços de IA, e é essa a referência que as pessoas têm normalmente no dia a dia. Mas para se perceber bem em que é que uma subscrição pessoal de uma ferramenta destas é diferente da subscrição de uma empresa.

As subscrições pessoais, há várias, praticamente todos os grandes players de IA têm as suas assinaturas, são planos que têm um preço fixo, uma mensalidade, e com aquela mensalidade a pessoa sabe que pode fazer X coisas. E às vezes, nas letras pequeninas, está, por exemplo, determinada uma quantidade de tokens, e acho que praticamente todas as pessoas que usam estas ferramentas já tiveram a experiência. Quando se faz muitas tarefas seguidas, há ali um tempo em que se é bloqueado. Ou aquilo deixa de funcionar.

É muito frustrante.

Sim, ou então é dito que já se gastou ali o limite, talvez diário ou mensal. Mas as pessoas sabem, quando chega àquele limite, acabou. Nas empresas, isso não é bem assim. É claro que depende tudo muito do contrato que essas empresas têm com as grandes companhias de IA, mas não é tão fácil ter-se previsibilidade de quanto é que se vai gastar por mês com as ferramentas de IA, porque paga-se ao consumo. Ou seja, quanto mais tokens consumir Mais se vai pagar.

Obviamente, a realidade será muito diferente consoante as empresas, de empresa para empresa. Mas para termos aqui também uma noção, podemos estar a falar de faturas de que ordem de grandeza?

Dependendo das empresas, são faturas que podem provavelmente chegar às centenas de milhares de dólares ou mesmo milhões de dólares. Por que eu falo aqui em dólares? Porque muitos destes exemplos que nos estão a chegar, são dos Estados Unidos, que foi um mercado muito mais rápido na adoção e na implementação de ferramentas de IA, até porque muitas destas grandes empresas das quais estamos a falar, a Microsoft, a Google, a OpenAI ou a Anthropic, são todas elas americanas. E muitas destas surpresas com os custos estão a vir dos Estados Unidos. Mas há o caso, por exemplo, de uma empresa que gastou 500 mil dólares com um hackathon. E para quem não está familiarizado com a ideia de um hackathon, é uma maratona de inovação e de programação, e as pessoas estão ali durante determinado espaço de tempo a tentar explorar ideias. E com estas ferramentas de IA houve um grande consumo, e 500 mil dólares é uma fatura muito significativa. Mas é estimado que as empresas mais avançadas ou mais entusiastas nesta área possam gastar cerca de 7500 dólares por funcionário por mês. Fazendo aqui a conversão para euros, são cerca de 6500 €. Portanto, se se tiver centenas ou milhares de funcionários, é um bocadinho fazer as contas e ver quanto é que isto poderá dar, mas são valores muito redondos.

Sim, e muito significativos. Para qualquer empresa, obviamente, a questão mais importante, ou uma das questões mais importantes, é o retorno do investimento que fazem, neste caso, o retorno do investimento em inteligência artificial, não é? Isso passa também muito por tentar perceber o que faz sentido ou em que faz sentido usar IA ou não hoje em dia.

Sim. Até para evitar estes gastos desnecessários e estas surpresas. Começa a haver a ideia de que esta lógica de consumo de muitos tokens, que ganhou logo uma expressão muito popular, que é o token maxing, que não fazia assim tanto sentido e que as empresas, como estavam a ter custos tão elevados, perceberam que nem todas as tarefas precisam de IA. E conforme aconselham alguns especialistas, é preciso perceber que há determinados modelos que são mais adequados para a tarefa que se vai fazer. Não faz sentido pedir para escrever um e-mail que é uma ata de reunião a usar o modelo mais avançado do mercado, porque consome muito mais tokens para uma função que, na realidade, é básica e pode ser feita com um modelo anterior. E é, em teoria, mais barato.

Exato. Temos estado a falar aqui muito da realidade norte-americana, das empresas norte-americanas. Tu tentaste também perceber um bocadinho o que se passa cá com as empresas nacionais. O que conseguiste perceber? Que ferramentas também já se desenvolve por cá para tentar controlar ou racionalizar estes gastos?

Foi possível perceber que há muitas empresas que já adotaram estas funções de IA e que têm contrato com as grandes empresas. Mas também foi possível perceber que já estão a controlar os consumos que há por funcionários, não numa lógica de vigilância, mas para tentar ter mão nestes custos. Por exemplo, impor limites aos funcionários no que toca aos tokens que podem consumir em determinado momento, consoante a função. Por exemplo, quando chega a determinado valor, é atingido um limite, ou esperar pela renovação, ou pedir autorização e justificar para que se precisa de consumir mais. E há também quem esteja a desenvolver ferramentas internas para ter visibilidade e perceber que equipas é que estão a gastar mais e em que é que estão a gastar mais. Porque uma das conclusões deste trabalho e dos especialistas com quem eu falei é que, por exemplo, a IA precisa muito de se experimentar, até se acertar, por exemplo, com o prompt ou com a ferramenta.

É um bocadinho tentativa e erro.

Exatamente. E há quem diga que às vezes há empresas que fazem experiências e aquele projeto fica ali um bocadinho esquecido, mas às vezes as pessoas nem têm a noção de que ainda está a consumir alguma coisa. Portanto, a visibilidade é importante. É importante perceber quem é que está a gastar mais e com o quê e, no fim, avaliar se faz sentido ter a IA para determinado projeto ou se há alternativas.

Portanto, tudo isto que aqui estamos a falar, estamos também a falar de uma, de certa forma, nova economia. Estamos a falar aqui de uma economia dos tokens. Para esta economia também é necessário definir aqui novos conceitos, certo?

Sim, por exemplo, há uma métrica que é o return of investment. Há quem já faça a brincadeira com return of token. Mas sim, pelo menos é a teoria da Fundação Linux, que anunciou há uns meses, em junho, que queria criar uma nova fundação, uma nova área, para estudar o que já chama de tokenomics, que é esta lógica da economia do token. Eles defendem que não há, neste momento, uma forma que seja consistente de medir tanto a produção como o consumo e o retorno que há nestes gastos de tokens. E a ideia é que seja possível estabelecer parâmetros mais generalizados para as empresas e para a indústria perceber como é que se lida com esta novidade e também ter maior transparência nos custos. Já há algumas soluções, por exemplo, já há calculadoras de tokens, até qualquer pessoa pode usar e fazer um teste, pôr um prompt e perceber quantos tokens equivale àquele pedido. Mas esta solução para as empresas não é linear, não dá bem para medir desta forma. E então considera-se que é preciso haver formas de medir até entre modelos diferentes de empresas diferentes, o que consome mais ou menos.

Obrigado, Cátia.

Obrigada.

Cátia Rocha é jornalista do Observador, especializada em tecnologia. Esta foi a história do dia. A sonoplastia é de Rafael Pego. A música do genérico é do João Ribeiro. Eu sou o João Santos Duarte. Tenha uma boa semana.