Alliah Hub Alliah Hub
Acessar Alliah Hub
Auditoria de uso de IA

Agentes de IA sob governança

Visão agregada de execuções, taxa de sucesso, latência e custos — com agentes de validação, extração, classificação e resumo.

auditoria-de-ia · painel-agregado
Latência P50 / P95
820ms / 1.9s
↓ 12% vs. 7d
Tokens in / out
2.4M / 1.1M
+ 8% volume
Custo total
R$ 1.284
período 30d
Execuções por diaúltimos 14 dias
EXEC-4F1AValidação740ms✓ ok
EXEC-9C7EExtração1.1s✓ ok
EXEC-2B6DClassificação510ms✓ ok
0
taxa de sucesso
execuções concluídas
0ms / 0ms
latência P50 / P95
tempo de resposta
0,0M / 0,0M
tokens in / out
janela de 30 dias
R$ 0
custo total
por período

Números de demonstração, para ilustrar o formato do painel — não são a medição de nenhuma operação em produção.

O problema

Colocar IA em produção é fácil. Prestar contas do que ela fez é que não é.

O primeiro agente sai numa tarde. A pergunta difícil chega depois: quem pediu, com qual prompt, sobre qual dado, quanto custou e por que decidiu daquele jeito.

A conta chega sem explicação

A fatura do provedor mostra um total. Ela não mostra qual agente, qual processo, qual pessoa e qual chamada consumiram aquilo — então não há como cortar o desperdício sem desligar o que funciona.

Pergunta sem resposta · quem gastou

O prompt mudou e ninguém sabe quando

Alguém melhorou a instrução do agente na semana passada. A qualidade caiu ontem. Sem versão de prompt registrada e ligada a cada execução, a investigação vira arqueologia.

Pergunta sem resposta · o que mudou

Dado pessoal entra no modelo sem filtro

CPF, e-mail e número de cartão viajam dentro do texto que alguém colou. Sem uma camada que reconheça e trate isso antes do envio, a exposição só aparece num incidente.

Pergunta sem resposta · o que foi enviado
Capacidades

Agentes especializados, auditados ponta a ponta

Cada agente é monitorado por tipo — com execuções, taxa de sucesso, latência e custos visíveis em um só painel.

Validação

Validação de documento

Confere autenticidade, campos obrigatórios e consistência de documentos antes de seguir no fluxo.

P50 740mssucesso 99%
Extração

Extração de dados

Lê documentos não estruturados e devolve campos estruturados prontos para o processo — sem digitação manual.

P50 1.1ssucesso 97%
Classificação

Classificação

Categoriza solicitações, documentos e mensagens por tipo, prioridade ou rota — direcionando cada caso automaticamente.

P50 510mssucesso 98%
Resumo

Resumo & Geração

Sintetiza documentos longos e redige respostas, pareceres e comunicados consistentes com o seu contexto.

P50 1.4ssucesso 96%
Auditoria

Auditoria de uso

Execuções, taxa de sucesso, latência P50/P95 e custos por agente — toda a operação de IA em um painel agregado.

P50/P95 820ms / 1.9scusto R$1.284
Governança

Governança & Segurança

Limites de custo, permissões por agente, rastreabilidade completa e registro imutável de cada execução.

rastreio 100%logs imutáveis
Recursos em profundidade

Sete mecanismos, e o que cada um faz de concreto

Governança aqui não é um selo na apresentação: é um conjunto de tabelas, políticas e telas que respondem perguntas específicas.

01Catálogo de agentes com referência estável

Cada agente é um registro versionado: nome, descrição, instrução, esquema de saída, provedor e modelo. Quem chama não usa o identificador interno — usa uma referência pública e estável. Isso permite reconfigurar o agente por trás sem mexer em nenhum sistema que o consome.

O que fazCentraliza a definição do agente fora do código de quem o usa.
Como fazExecução por POST /api/v1/agentes/ref/{referencia}/executar.
O que entregaTrocar prompt, provedor ou modelo sem redeploy do consumidor.

02Trilha de execução com correlação de negócio

Toda chamada vira uma linha com entrada, saída, situação, tokens de entrada e saída, custo, latência e modelo efetivamente usado. O diferencial está nos campos de correlação: a execução guarda a qual processo, etapa, regra, nó e ator ela pertence — é isso que transforma "uma chamada de LLM" em "a decisão tomada no processo 4712".

O que fazLiga cada resposta de IA ao ponto do negócio onde ela foi usada.
Como fazCampos de correlação gravados na execução, junto de uma chave de idempotência.
O que entregaInvestigação em minutos em vez de reconstrução por log de servidor.

03Guardrails de entrada e de saída

Políticas configuráveis inspecionam o texto antes de ele sair para o provedor e depois de a resposta voltar. Cada política declara a categoria do risco, em qual fase atua e o que fazer: apenas avisar, mascarar o trecho ou bloquear a execução. Uma execução barrada não vira erro genérico — ela fica registrada com a situação de bloqueio pelo guardrail.

O que fazImpede que dado sensível e conteúdo indevido atravessem a fronteira.
Como fazCategorias de risco × fase (entrada ou saída) × ação (avisar, mascarar, bloquear).
O que entregaUm motivo explícito no registro, não um silêncio.

04Versionamento de prompt com diferença visível

O prompt de um agente é versionado, com registro da origem da mudança e comparação linha a linha entre versões. Cada execução aponta para a versão de prompt que a atendeu — o que torna possível responder "a qualidade caiu quando?" olhando dado, não memória.

O que fazGuarda o histórico do que foi pedido ao modelo.
Como fazVersões de prompt ligadas às execuções, com diferença por linha entre duas versões.
O que entregaCorrelação entre mudança de instrução e mudança de resultado.

05Casos de teste e rodadas de avaliação

Um agente pode ter um conjunto de casos com entrada e resultado esperado. A rodada de avaliação executa todos e pontua cada item por um critério declarado — igualdade exata, conter um trecho, ser subconjunto, casar uma expressão regular ou aderir a um esquema. O resultado vira cobertura e serve de porteiro antes de publicar uma versão nova de prompt.

O que fazMede regressão antes de o usuário sentir.
Como fazCasos aprovados + rodada + pontuação por critério determinístico.
O que entregaUma decisão de publicar apoiada em número, não em amostra de três exemplos.

06Alertas sobre a operação, não sobre o servidor

Os alertas monitoram o que dói no uso de IA: taxa de erro, latência no percentil 95 e custo diário, cada um com janela de observação própria. O disparo fica registrado, com o valor que o causou — o que impede a discussão sobre se o alerta era real.

O que fazAvisa quando o comportamento sai da faixa combinada.
Como fazTrês tipos de alerta sobre janelas de 5 minutos, 1 hora ou 24 horas.
O que entregaHistórico de disparos, não só uma notificação que já passou.

07Multi-provedor com credencial cifrada

O mesmo agente pode rodar em provedores diferentes. A credencial do provedor é cifrada em repouso e o tenant escolhe entre trazer a própria chave ou usar o pool gerenciado pela Alliah. O modelo efetivamente usado é congelado no início da execução — trocar o modelo do provedor depois não reescreve o histórico.

O que fazDesacopla o agente do fornecedor de modelo.
Como fazCredencial cifrada com AES-256-GCM; modo de provedor próprio ou gerenciado.
O que entregaTroca de provedor sem perder comparabilidade do histórico.
Anatomia de uma execução

O que fica registrado a cada chamada

Não é um log de texto: é um registro estruturado, consultável e ligado ao processo que originou a chamada.

Campos que compõem o registro de uma execução de agente no Alliah Hub.
GrupoO que é gravadoPara que serve
IdentidadeAgente, tipo de executor e modo de execução (MOCK, SANDBOX, PRODUCAO)Separar teste de produção sem misturar as estatísticas
SituaçãoINICIADA, SUCESSO, ERRO, BLOQUEADO_GUARDRAIL, BLOQUEADO_QUOTADistinguir falha técnica de bloqueio deliberado por política ou teto
ConteúdoEntradas e saída completas, em estrutura consultávelReproduzir a chamada e conferir o que o modelo recebeu
ModeloNome do modelo e a origem da escolha (agente, provedor, requisição ou padrão)Saber por que aquele modelo foi usado naquela chamada
ConsumoTokens de entrada, de saída e total; custo em centavos e estimativa em dólarAtribuir custo a um agente, a um processo e a um consumidor
DesempenhoLatência total da chamadaAlimentar o alerta de percentil 95 e a comparação entre versões
CorrelaçãoProcesso, etapa do processo, regra, nó, etapa do fluxo, ator e consumidorIr da linha do painel até a decisão de negócio correspondente
RastreioChave de idempotência e execução de origem, quando é reprocessamentoEvitar cobrança dupla e manter a cadeia entre tentativa e repetição
Guardrails

As políticas que atuam na fronteira

Cada política combina três escolhas: qual risco ela observa, em que momento ela age e o que faz quando encontra.

Categorias de guardrail, fases de atuação e ações disponíveis no Alliah Hub.
CategoriaO que observaFase típica
PII_LGPDDado pessoal no texto: CPF e CNPJ (com e sem formatação), e-mail e número de cartãoEntrada e saída
PROMPT_INJECTIONTentativa de sobrescrever a instrução do agente por meio do conteúdo enviadoEntrada
TOXICIDADEConteúdo ofensivo no que entra ou no que o modelo devolveEntrada e saída
OFF_BRANDResposta fora do tom, do escopo ou do que a organização aceita publicarSaída

As três ações possíveis

  • Avisar — a execução segue e o achado fica registrado. Serve para medir antes de bloquear.
  • Mascarar — o trecho identificado é substituído antes de seguir, e o registro mostra que houve mascaramento.
  • Bloquear — a execução não acontece e fica gravada como bloqueada pelo guardrail, com a política que a barrou.

Por que "avisar" existe

  • Ligar bloqueio direto num fluxo em produção derruba trabalho legítimo por falso positivo.
  • O modo de aviso permite medir o volume real de acionamentos antes de decidir a política definitiva.
  • A mudança de aviso para bloqueio é configuração, não código — e fica registrada como qualquer outra alteração.
Provedores e modelos

Três provedores, um contrato só

O agente é escrito uma vez. Qual provedor o atende é configuração — e o histórico continua comparável quando ela muda.

Provedores com adaptador implementado no Alliah Hub e os modelos presentes no catálogo interno.
ProvedorModelos catalogadosPadrão quando não especificado
GEMINIgemini-flash-latest, gemini-2.5-pro, gemini-2.5-flashgemini-flash-latest
CLAUDEclaude-opus-4-8, claude-sonnet-4-6, claude-haiku-4-5claude-sonnet-4-6
OPENAIgpt-5.1, gpt-5.1-mini, gpt-4o, gpt-4o-minigpt-5.1

Dois modos de credencial

  • Chave própria — a organização traz a credencial do provedor e a fatura chega direto nela.
  • Pool gerenciado — a credencial é da Alliah e o consumo é medido por tenant dentro do Hub.
  • A troca entre os dois modos não exige alterar o agente nem quem o consome.

Por que o modelo é congelado no registro

  • O modelo usado é gravado no início da chamada, junto da origem daquela escolha.
  • Se ele fosse derivado do provedor na hora da leitura, trocar o modelo hoje faria o histórico inteiro alegar retroativamente ter sido atendido pelo modelo novo.
  • Com o valor congelado, comparar desempenho e custo entre modelos continua honesto depois da troca.
Como funciona por dentro

A arquitetura em quatro camadas

O Hub é um serviço próprio, com banco próprio, que fica entre quem pede e o provedor de modelo.

Serviço

  • Backend em Java com Spring Boot, em arquitetura hexagonal: o provedor de LLM é uma porta com adaptadores.
  • Frontend em React com TypeScript e Ant Design, em container próprio.
  • Banco PostgreSQL com migrações versionadas, aplicadas de forma independente em cada espaço de cliente.
  • Documentação viva da API em OpenAPI, gerada a partir do próprio código.

Isolamento por cliente

  • Multi-tenant por esquema no banco: cada cliente tem o seu, com prefixo próprio.
  • O esquema ativo é resolvido por requisição e aplicado na conexão — não é filtro por coluna que alguém pode esquecer no WHERE.
  • As migrações rodam por esquema, o que permite backup e restauração de um cliente sem tocar nos outros.
  • Há um papel de plataforma acima dos clientes, com área própria e separada da administração de cada tenant.

Quem chama o Hub

  • Consumidores são cadastrados e tipados: o AlliahFlow, uma aplicação externa, um robô ou um script.
  • Cada consumidor recebe acesso a agentes específicos — não à superfície inteira.
  • Toda execução carrega o consumidor que a originou, o que permite ratear custo e apurar erro por origem.
  • O AlliahFlow chama o Hub por REST, com tentativa controlada e disjuntor: provedor instável degrada o agente, não o processo inteiro.

Além do agente único

  • Conversas — agentes conversacionais têm histórico de mensagens com papel e origem, e situação própria da conversa.
  • Integrações — conectores com sistemas externos ficam no mesmo lugar: catálogo, credencial, política de repetição e auditoria por chamada.
  • Sondas de saúde — a integração é verificada periodicamente e classificada como no ar, degradada, fora do ar, ociosa ou não avaliada.
  • A tese é uma só: tudo que cruza a fronteira da operação passa por aqui — modelo de IA ou sistema de terceiro.
Para quem é

Quatro papéis, quatro perguntas

O painel é o mesmo. O que muda é a pergunta que cada pessoa leva para ele.

Operações · dono do processo

"Por que essa solicitação foi reprovada?"

A execução guarda o processo, a etapa e a regra que a chamaram, com a entrada e a saída completas. Dá para abrir a decisão específica em vez de explicar o comportamento médio do modelo.

Ganho: resposta ao cliente com evidência, no mesmo dia.

Finanças · dono do orçamento

"Onde está indo o dinheiro de IA?"

Custo e tokens ficam por execução, com agente, consumidor e modelo. O alerta de custo diário avisa antes do fim do mês, e o estado de bloqueio por quota mostra onde um teto já atuou.

Ganho: corte cirúrgico no que gasta sem entregar, em vez de teto geral.

Compliance · jurídico

"O que foi enviado para fora?"

Os guardrails de PII atuam antes do envio e registram o que foi mascarado ou bloqueado. O catálogo de controles associa cada evidência disponível ao requisito que ela atende.

Ganho: um relatório exportável em vez de uma reunião de reconstituição.

Engenharia · quem mantém o agente

"A versão nova do prompt piorou?"

Os casos de teste rodam contra a versão candidata e a pontuação por critério determinístico compara com a atual. A diferença entre as duas versões de prompt fica visível linha a linha.

Ganho: publicar com número em vez de com sensação.

O que você recebe

Telas, registros e exportações

O que existe para olhar, para consultar e para levar embora.

Segurança e privacidade

O que está implementado

Mecanismos que existem no produto. O que não existe está na seção seguinte — não omitido daqui.

Acesso e identidade

  • Duas formas de autenticar: sessão com token para a interface e chave de API para chamada entre sistemas.
  • A chave declara o ambiente no próprio formato (aia_live_…, aia_test_…, aia_dev_…), o que impede confundir credencial de teste com a de produção.
  • Papéis com permissões nomeadas — administrar agentes, executar, gerenciar consumidores, gerenciar compliance, gerenciar usuários, entre outras.
  • Há permissão específica para ver dado sensível: quem opera vê a execução; ver o conteúdo classificado como sensível é um direito à parte.
  • Convite por token para ativação de conta, com página pública própria — o administrador não define a senha de ninguém.

Dados e fronteira

  • Credenciais de provedor cifradas em repouso com AES-256-GCM, com a chave-mestra fora do banco.
  • Mascaramento de dado pessoal aplicável antes do envio ao provedor, por política configurável.
  • Isolamento por esquema no banco: o dado de um cliente não compartilha tabela com o de outro.
  • Chave de idempotência na execução, o que evita que uma repetição de rede vire cobrança e registro em duplicidade.
  • Separação entre teste e produção no próprio registro da execução, para que experimento não contamine indicador.
Limites

O que o Hub não faz — e o que ele não é

Esta seção existe porque descobrir isso na implantação custa muito mais caro.

Perguntas frequentes

O que perguntam antes de decidir

Respostas curtas, com o comportamento real do produto.

Preciso trocar de provedor de IA para usar o Hub?

Não. O Hub fica entre quem pede e o provedor. Há adaptadores para Gemini, Claude e OpenAI, e a organização pode continuar usando a própria conta e a própria chave — o modo de credencial própria existe justamente para isso.

Como o AlliahFlow conversa com o Hub?

Por REST, chamando o agente pela referência pública, com chave de API. A chamada é protegida por tentativa controlada e disjuntor: se o provedor degrada, o processo recebe uma falha tratada em vez de ficar pendurado.

Cada execução volta correlacionada ao processo, à etapa e à regra que a originaram.

Um agente pode ser bloqueado por política? O que acontece com o processo?

Pode. A execução fica registrada com a situação de bloqueio pelo guardrail e a política responsável. Do lado do processo, isso chega como uma falha explícita — com motivo — e não como resposta vazia.

Dá para testar sem sujar as estatísticas?

Sim. A execução carrega o modo em que rodou, separando simulação, ambiente de teste e produção. O playground existe para experimentar a instrução do agente sem misturar o resultado com a operação real.

Como saber se um prompt novo é melhor que o atual?

Pelo conjunto de casos de teste do agente. A rodada executa todos e pontua cada item por um critério determinístico — igualdade, conter, subconjunto, expressão regular ou esquema. A comparação entre as duas versões de prompt também é visível linha a linha.

O custo mostrado é o custo real da fatura?

O que é medido com exatidão é o consumo de tokens de cada chamada. O valor financeiro é derivado dele pela tabela do provedor, então diferenças de câmbio, de tabela e de descontos comerciais fazem o número do painel e o da fatura não coincidirem centavo a centavo.

Quem consegue ver o conteúdo de uma execução?

Depende do papel. Operar e acompanhar execuções é uma permissão; ver o conteúdo classificado como sensível é outra, concedida separadamente. Essa separação existe para que a operação do dia a dia não exija acesso ao dado do cliente final.

Dá para usar o Hub sem o AlliahFlow?

Dá. Consumidores são cadastrados por tipo — o AlliahFlow é apenas um deles, ao lado de aplicação externa, robô e script. Qualquer sistema que fale REST e tenha uma chave pode executar um agente.

E as integrações com sistemas que não são de IA?

Ficam no mesmo lugar, por decisão de arquitetura: tudo que cruza a fronteira da operação passa pelo Hub. A integração tem catálogo, credencial guardada com o mesmo cuidado, política de repetição, sonda de saúde e auditoria por chamada.

Os números do painel no topo desta página são reais?

Não. São valores de demonstração, escolhidos para ilustrar o formato do painel. Os números da sua operação aparecem quando os seus agentes começam a rodar.

Glossário

O vocabulário da governança de IA

Os termos que aparecem nas telas e o que cada um significa aqui.

Agente
Uma tarefa de IA configurada: instrução, esquema de saída, provedor e modelo, identificada por uma referência estável.
Execução
Uma chamada concreta do agente, com entrada, saída, custo, latência, modelo e correlação de negócio.
Consumidor
O sistema que chama o Hub. Tem tipo, credencial própria e acesso restrito a agentes específicos.
Guardrail
Política que inspeciona o texto na entrada ou na saída e decide entre avisar, mascarar ou bloquear.
Tenant
O espaço de um cliente. No Hub, corresponde a um esquema próprio no banco, com migrações e backup independentes.
Modo do provedor
Se a credencial do modelo é da própria organização ou do pool gerenciado pela Alliah.
Origem do modelo
De onde veio a escolha do modelo naquela chamada: do agente, do provedor, da requisição ou do padrão do sistema.
Latência P95
O tempo abaixo do qual 95% das chamadas terminaram. Descreve a experiência ruim, que a média esconde.
Rodada de avaliação
Execução de todos os casos de teste de um agente, com pontuação por critério determinístico e cobertura resultante.
Chave de idempotência
Identificador que marca uma chamada como sendo a mesma de antes, para que uma repetição não vire execução e custo em dobro.
Disjuntor
Proteção que corta as chamadas a um provedor que está falhando ou lento, e as libera aos poucos depois.
Controle
Prática exigida por uma norma de referência, associada à evidência que o produto consegue apresentar para ela.

Coloque seus agentes de IA sob governança

Visão única de execuções, sucesso, latência e custos — com a segurança de saber exatamente o que cada agente fez.

Acessar Alliah Hub