Visão agregada de execuções, taxa de sucesso, latência e custos — com agentes de validação, extração, classificação e resumo.
Números de demonstração, para ilustrar o formato do painel — não são a medição de nenhuma operação em produção.
O primeiro agente sai numa tarde. A pergunta difícil chega depois: quem pediu, com qual prompt, sobre qual dado, quanto custou e por que decidiu daquele jeito.
A fatura do provedor mostra um total. Ela não mostra qual agente, qual processo, qual pessoa e qual chamada consumiram aquilo — então não há como cortar o desperdício sem desligar o que funciona.
Pergunta sem resposta · quem gastouAlguém melhorou a instrução do agente na semana passada. A qualidade caiu ontem. Sem versão de prompt registrada e ligada a cada execução, a investigação vira arqueologia.
Pergunta sem resposta · o que mudouCPF, e-mail e número de cartão viajam dentro do texto que alguém colou. Sem uma camada que reconheça e trate isso antes do envio, a exposição só aparece num incidente.
Pergunta sem resposta · o que foi enviadoCada agente é monitorado por tipo — com execuções, taxa de sucesso, latência e custos visíveis em um só painel.
Confere autenticidade, campos obrigatórios e consistência de documentos antes de seguir no fluxo.
Lê documentos não estruturados e devolve campos estruturados prontos para o processo — sem digitação manual.
Categoriza solicitações, documentos e mensagens por tipo, prioridade ou rota — direcionando cada caso automaticamente.
Sintetiza documentos longos e redige respostas, pareceres e comunicados consistentes com o seu contexto.
Execuções, taxa de sucesso, latência P50/P95 e custos por agente — toda a operação de IA em um painel agregado.
Limites de custo, permissões por agente, rastreabilidade completa e registro imutável de cada execução.
Governança aqui não é um selo na apresentação: é um conjunto de tabelas, políticas e telas que respondem perguntas específicas.
Cada agente é um registro versionado: nome, descrição, instrução, esquema de saída, provedor e modelo. Quem chama não usa o identificador interno — usa uma referência pública e estável. Isso permite reconfigurar o agente por trás sem mexer em nenhum sistema que o consome.
POST /api/v1/agentes/ref/{referencia}/executar.Toda chamada vira uma linha com entrada, saída, situação, tokens de entrada e saída, custo, latência e modelo efetivamente usado. O diferencial está nos campos de correlação: a execução guarda a qual processo, etapa, regra, nó e ator ela pertence — é isso que transforma "uma chamada de LLM" em "a decisão tomada no processo 4712".
Políticas configuráveis inspecionam o texto antes de ele sair para o provedor e depois de a resposta voltar. Cada política declara a categoria do risco, em qual fase atua e o que fazer: apenas avisar, mascarar o trecho ou bloquear a execução. Uma execução barrada não vira erro genérico — ela fica registrada com a situação de bloqueio pelo guardrail.
O prompt de um agente é versionado, com registro da origem da mudança e comparação linha a linha entre versões. Cada execução aponta para a versão de prompt que a atendeu — o que torna possível responder "a qualidade caiu quando?" olhando dado, não memória.
Um agente pode ter um conjunto de casos com entrada e resultado esperado. A rodada de avaliação executa todos e pontua cada item por um critério declarado — igualdade exata, conter um trecho, ser subconjunto, casar uma expressão regular ou aderir a um esquema. O resultado vira cobertura e serve de porteiro antes de publicar uma versão nova de prompt.
Os alertas monitoram o que dói no uso de IA: taxa de erro, latência no percentil 95 e custo diário, cada um com janela de observação própria. O disparo fica registrado, com o valor que o causou — o que impede a discussão sobre se o alerta era real.
O mesmo agente pode rodar em provedores diferentes. A credencial do provedor é cifrada em repouso e o tenant escolhe entre trazer a própria chave ou usar o pool gerenciado pela Alliah. O modelo efetivamente usado é congelado no início da execução — trocar o modelo do provedor depois não reescreve o histórico.
Não é um log de texto: é um registro estruturado, consultável e ligado ao processo que originou a chamada.
| Grupo | O que é gravado | Para que serve |
|---|---|---|
| Identidade | Agente, tipo de executor e modo de execução (MOCK, SANDBOX, PRODUCAO) | Separar teste de produção sem misturar as estatísticas |
| Situação | INICIADA, SUCESSO, ERRO, BLOQUEADO_GUARDRAIL, BLOQUEADO_QUOTA | Distinguir falha técnica de bloqueio deliberado por política ou teto |
| Conteúdo | Entradas e saída completas, em estrutura consultável | Reproduzir a chamada e conferir o que o modelo recebeu |
| Modelo | Nome do modelo e a origem da escolha (agente, provedor, requisição ou padrão) | Saber por que aquele modelo foi usado naquela chamada |
| Consumo | Tokens de entrada, de saída e total; custo em centavos e estimativa em dólar | Atribuir custo a um agente, a um processo e a um consumidor |
| Desempenho | Latência total da chamada | Alimentar o alerta de percentil 95 e a comparação entre versões |
| Correlação | Processo, etapa do processo, regra, nó, etapa do fluxo, ator e consumidor | Ir da linha do painel até a decisão de negócio correspondente |
| Rastreio | Chave de idempotência e execução de origem, quando é reprocessamento | Evitar cobrança dupla e manter a cadeia entre tentativa e repetição |
Cada política combina três escolhas: qual risco ela observa, em que momento ela age e o que faz quando encontra.
| Categoria | O que observa | Fase típica |
|---|---|---|
PII_LGPD | Dado pessoal no texto: CPF e CNPJ (com e sem formatação), e-mail e número de cartão | Entrada e saída |
PROMPT_INJECTION | Tentativa de sobrescrever a instrução do agente por meio do conteúdo enviado | Entrada |
TOXICIDADE | Conteúdo ofensivo no que entra ou no que o modelo devolve | Entrada e saída |
OFF_BRAND | Resposta fora do tom, do escopo ou do que a organização aceita publicar | Saída |
O agente é escrito uma vez. Qual provedor o atende é configuração — e o histórico continua comparável quando ela muda.
| Provedor | Modelos catalogados | Padrão quando não especificado |
|---|---|---|
GEMINI | gemini-flash-latest, gemini-2.5-pro, gemini-2.5-flash | gemini-flash-latest |
CLAUDE | claude-opus-4-8, claude-sonnet-4-6, claude-haiku-4-5 | claude-sonnet-4-6 |
OPENAI | gpt-5.1, gpt-5.1-mini, gpt-4o, gpt-4o-mini | gpt-5.1 |
O Hub é um serviço próprio, com banco próprio, que fica entre quem pede e o provedor de modelo.
WHERE.O painel é o mesmo. O que muda é a pergunta que cada pessoa leva para ele.
A execução guarda o processo, a etapa e a regra que a chamaram, com a entrada e a saída completas. Dá para abrir a decisão específica em vez de explicar o comportamento médio do modelo.
Ganho: resposta ao cliente com evidência, no mesmo dia.
Custo e tokens ficam por execução, com agente, consumidor e modelo. O alerta de custo diário avisa antes do fim do mês, e o estado de bloqueio por quota mostra onde um teto já atuou.
Ganho: corte cirúrgico no que gasta sem entregar, em vez de teto geral.
Os guardrails de PII atuam antes do envio e registram o que foi mascarado ou bloqueado. O catálogo de controles associa cada evidência disponível ao requisito que ela atende.
Ganho: um relatório exportável em vez de uma reunião de reconstituição.
Os casos de teste rodam contra a versão candidata e a pontuação por critério determinístico compara com a atual. A diferença entre as duas versões de prompt fica visível linha a linha.
Ganho: publicar com número em vez de com sensação.
O que existe para olhar, para consultar e para levar embora.
Mecanismos que existem no produto. O que não existe está na seção seguinte — não omitido daqui.
aia_live_…, aia_test_…, aia_dev_…), o que impede confundir credencial de teste com a de produção.Esta seção existe porque descobrir isso na implantação custa muito mais caro.
Respostas curtas, com o comportamento real do produto.
Não. O Hub fica entre quem pede e o provedor. Há adaptadores para Gemini, Claude e OpenAI, e a organização pode continuar usando a própria conta e a própria chave — o modo de credencial própria existe justamente para isso.
Por REST, chamando o agente pela referência pública, com chave de API. A chamada é protegida por tentativa controlada e disjuntor: se o provedor degrada, o processo recebe uma falha tratada em vez de ficar pendurado.
Cada execução volta correlacionada ao processo, à etapa e à regra que a originaram.
Pode. A execução fica registrada com a situação de bloqueio pelo guardrail e a política responsável. Do lado do processo, isso chega como uma falha explícita — com motivo — e não como resposta vazia.
Sim. A execução carrega o modo em que rodou, separando simulação, ambiente de teste e produção. O playground existe para experimentar a instrução do agente sem misturar o resultado com a operação real.
Pelo conjunto de casos de teste do agente. A rodada executa todos e pontua cada item por um critério determinístico — igualdade, conter, subconjunto, expressão regular ou esquema. A comparação entre as duas versões de prompt também é visível linha a linha.
O que é medido com exatidão é o consumo de tokens de cada chamada. O valor financeiro é derivado dele pela tabela do provedor, então diferenças de câmbio, de tabela e de descontos comerciais fazem o número do painel e o da fatura não coincidirem centavo a centavo.
Depende do papel. Operar e acompanhar execuções é uma permissão; ver o conteúdo classificado como sensível é outra, concedida separadamente. Essa separação existe para que a operação do dia a dia não exija acesso ao dado do cliente final.
Dá. Consumidores são cadastrados por tipo — o AlliahFlow é apenas um deles, ao lado de aplicação externa, robô e script. Qualquer sistema que fale REST e tenha uma chave pode executar um agente.
Ficam no mesmo lugar, por decisão de arquitetura: tudo que cruza a fronteira da operação passa pelo Hub. A integração tem catálogo, credencial guardada com o mesmo cuidado, política de repetição, sonda de saúde e auditoria por chamada.
Não. São valores de demonstração, escolhidos para ilustrar o formato do painel. Os números da sua operação aparecem quando os seus agentes começam a rodar.
Os termos que aparecem nas telas e o que cada um significa aqui.
Visão única de execuções, sucesso, latência e custos — com a segurança de saber exatamente o que cada agente fez.
Acessar Alliah Hub