Uso e rastreamento

Toda requisição da Veloz AI, do catálogo ou dos seus provedores próprios, aparece em Inferência de IA > Uso, feita com uma chave vai ou pelo Playground.

Gasto

Em Uso, escolha o período (últimos 7, 30 ou 90 dias) para ver o gasto, o número de requisições e os tokens, por modelo e por dia. As requisições dos seus provedores não descontam créditos e aparecem com o custo estimado no provedor, em dólares.

Pela CLI:

veloz ai usage              # últimos 30 dias, por modelo e por dia
veloz ai usage --days 7     # até 90 dias
veloz ai credits            # saldo, gasto dos últimos 30 dias e últimas movimentações

Detalhe das requisições

Clique numa requisição em Uso para ver o detalhe:

• Origem: a chave de API ou o Playground.
• Endpoint: a rota chamada, como /chat/completions.
• Duração: do recebimento ao fim da resposta.
• Primeiro token: quanto tempo o modelo levou para começar a responder.
• Fim: por que o modelo parou: concluída, limite de tokens (chegou ao max_tokens), chamada de ferramenta ou filtro de conteúdo.
• Tokens: de entrada e de saída, e quantos tokens de entrada vieram do cache do modelo.
• Custo: o valor descontado dos créditos, ou a estimativa em dólares para um provedor próprio.
• Tentativas: quando a requisição usou modelos de reserva, cada modelo tentado, na ordem, com o status, a duração e o erro de quem falhou.

Uma requisição que falhou também aparece, com o status e o erro, e não desconta créditos.

Guardar prompts e respostas

Por padrão, a Veloz não guarda o que foi enviado nem o que foi respondido. Para ver isso no detalhe, quem gerencia a cobrança da organização (donos e administradores, por padrão) liga Guardar prompts e respostas em Uso e escolhe por quanto tempo guardar: 1, 3, 7, 14 ou 30 dias (o padrão é 7).

• Vale para as conversas (/chat/completions) feitas depois de ligar. As requisições anteriores continuam sem conteúdo.
• Embeddings, rerank e transcrição nunca guardam conteúdo.
• Conteúdos acima de 262.144 caracteres são cortados.
• Tudo é apagado ao fim do prazo. Desligar ou mudar o prazo vale para as próximas conversas; o que já foi guardado segue o prazo de quando foi guardado.

Com o conteúdo guardado, o detalhe mostra a requisição e a resposta, com botões para copiar cada uma. Use para depurar um prompt, conferir o que o modelo recebeu ou montar exemplos de teste.

Privacidade

Por padrão, a Veloz não guarda o conteúdo das requisições: prompts, respostas, documentos e áudios passam pela API e não são gravados. Para cobrança, para os gráficos e para o detalhe de cada requisição no painel, a Veloz registra só o modelo, a rota, os modelos tentados, a contagem de tokens ou de segundos de áudio, o valor cobrado, a duração, o motivo do fim e o status. Esse registro fica 90 dias; depois disso, restam só os totais por dia e por modelo.

Se a organização ligar Guardar prompts e respostas, a Veloz guarda o conteúdo das conversas pelo prazo escolhido, de 1 a 30 dias, e apaga depois.

Os modelos do catálogo rodam no Brasil. Requisições para um provedor próprio vão para o provedor que você escolheu e seguem os termos dele. Veja os Subprocessadores.