Gartner: IA Explicável e Observabilidade de LLM Impulsionarão Investimentos em GenAI para 50% até 2028

imagem gerada por IA

Flavio Sartori 

O Gartner, Inc., projeta um aumento significativo nos investimentos em observabilidade de Grandes Modelos de Linguagem (LLMs) impulsionado pela crescente importância da Inteligência Artificial Explicável (XAI). A previsão é que, até 2028, 50% das implementações de Inteligência Artificial Generativa (GenAI) incluirão investimentos em observabilidade de LLMs, um salto considerável em relação aos atuais 15%.

A Inteligência Artificial Explicável (XAI) e a observabilidade de LLMs são apresentadas como pilares fundamentais para estabelecer a confiança necessária à expansão das iniciativas de GenAI. O Gartner define XAI como um conjunto de recursos que detalha o funcionamento de um modelo, evidenciando seus pontos fortes e fracos, antecipando seu comportamento e identificando potenciais vieses. O objetivo é garantir precisão, imparcialidade, responsabilidade, estabilidade e transparência nas decisões algorítmicas.

Soluções de observabilidade de LLM, por sua vez, monitoram, analisam e fornecem insights acionáveis sobre o comportamento e o desempenho desses modelos. Elas transcendem as métricas tradicionais de TI, focando em aspectos específicos de LLM, como alucinações, viés e utilização de tokens. Essas ferramentas são cruciais para equipes de desenvolvimento e operações de IA, bem como para equipes de operações de TI e Engenharia de Confiabilidade de Sites (SREs).

“Conforme as organizações expandem a GenAI, a exigência de confiança cresce mais rápido do que a própria tecnologia”, afirma Pankaj Prasad, Analista Sênior Principal do Gartner. Ele ressalta que a XAI oferece visibilidade sobre o porquê de um modelo ter respondido de determinada maneira, enquanto a observabilidade de LLMs valida como essa resposta foi gerada e se ela é confiável.

Sem uma base sólida de XAI e observabilidade, as iniciativas de GenAI ficarão restritas a tarefas de baixo risco, limitando severamente o potencial Retorno sobre o Investimento (ROI). O Gartner prevê que o mercado global de modelos de GenAI ultrapassará US$ 25 bilhões em 2026 e atingirá US$ 75 bilhões até 2029, impulsionado pela rápida adoção em todos os setores. Com esse crescimento, a necessidade de mecanismos que verifiquem o conteúdo gerado por IA e protejam contra alucinações, imprecisões factuais e raciocínios enviesados torna-se ainda mais premente.

Prasad destaca que a observabilidade tradicional focava em velocidade e custo, mas a prioridade agora se volta para medidas de qualidade mais profundas, como precisão factual, correção lógica e comportamento excessivamente complacente. Essa mudança exige novas métricas e métodos de avaliação, com foco na governança e validação humana do conteúdo gerado.

Para aprimorar a confiabilidade, a transparência e o valor de negócios dos casos de uso da GenAI, o Gartner recomenda as seguintes etapas:

• Rastreabilidade de XAI para casos de uso de alto impacto: Exigir a rastreabilidade verificável de XAI para todos os casos de uso de GenAI de alto impacto, para documentar as etapas de raciocínio do modelo e os dados de origem por trás de cada output.
• Observabilidade multidimensional de LLM: Priorizar plataformas de observabilidade que monitorem latência, desvio (drift), uso e custo de tokens, taxas de erro e métricas de qualidade dos outputs para garantir um desempenho confiável da GenAI.
• Avaliação contínua de LLM em pipelines de integração contínua (CI) / entrega contínua (CD): Integrar métricas de avaliação de LLM, incluindo benchmarks de precisão factual e verificações de segurança, em pipelines de CI / CD para validação contínua antes da implementação.
• Capacitação de stakeholders sobre requisitos de explicabilidade: Educar as equipes jurídicas, de conformidade e outros stakeholders importantes sobre os requisitos de explicabilidade para garantir o alinhamento em relação a riscos, expectativas de governança e desafios de implementação.

“A explicabilidade transforma outputs de GenAI em um insight defensável e auditável. A observabilidade de LLM garante que o modelo se comporte conforme o esperado ao longo do tempo. Sem ambos, a Inteligência Artificial Generativa não pode amadurecer além de ambientes de laboratório controlados”, conclui Prasad.