Teste um site com um agente de IA e obtenha relatórios de bugs reproduzíveis
Forneça ao agente um plano de teste do site, registre o comportamento esperado e o observado e transforme as verificações com falha em relatórios de bugs que outro desenvolvedor possa reproduzir.
Uma página pode carregar corretamente enquanto o formulário envia dados incorretos ou a navegação faz você perder o que estava fazendo. Indique ao agente ações específicas para testar e o que deve acontecer. O resultado útil é um registro de teste com evidências suficientes para reproduzir cada falha.
Escreva um roteiro de teste para uma jornada do usuário
Forneça à Beeuni um URL de pré-visualização acessível e descreva a jornada. O agente pode abrir o site no navegador, navegar entre páginas, preencher campos e conferir o resultado. Para um formulário de contato, informe as regras de validação e a confirmação esperada. Use contas de teste e especifique para onde os envios podem ser encaminhados. Não inclua pagamentos nem mensagens enviadas a clientes reais neste teste.
Open the preview URL in your browser and navigate to the contact form.
Use the supplied test account and synthetic form data.
Try required fields, invalid email, successful submission, and repeated clicks.
Record the browser and viewport used.
For each check, report expected behavior, observed behavior, and evidence.
Capture screenshots of failures and save a reproduction report.
Mark checks you cannot complete as blocked. Do not report them as passed.Se a página só estiver acessível no seu computador, o navegador do agente precisará de uma pré-visualização acessível ou de uma conexão configurada explicitamente para acessá-la.
Leia o registro de teste antes do resumo
Veja a seguir um exemplo de registro de teste de um formulário de contato. Cada linha corresponde a uma verificação específica; o fato de a página carregar corretamente não indica se o formulário funciona.
| Verificação | Resultado esperado | Observação ilustrativa | Status |
|---|---|---|---|
| Enviar um formulário vazio | Os campos obrigatórios exibem erros | Os erros aparecem ao lado dos campos obrigatórios | Aprovado |
| Enviar um e-mail inválido | O envio é rejeitado | Aparece uma confirmação | Reprovado |
| Abrir o link de confirmação | A página de destino é aberta | A conta de teste não tem acesso à página de destino | Bloqueado |
Um relatório de bug que outra pessoa possa seguir
Para cada falha, solicite o URL, a versão da página, se conhecida, o estado inicial, as etapas exatas, os dados de teste, o resultado esperado e o resultado observado. Anexe uma captura de tela, se disponível. Diferencie um erro visível de uma explicação para sua causa: uma mensagem de confirmação, por si só, não comprova que o servidor aceitou dados inválidos.
Repita as etapas que causaram a falha a partir de uma página ou sessão nova. Se a falha for intermitente, registre quais tentativas falharam e o que mudou. Use os erros do navegador como evidência complementar, em vez de presumir que todo aviso seja a causa.
Veja a seguir um exemplo de relatório para a falha com e-mail inválido. Substitua os detalhes do ambiente pelo URL de pré-visualização e pela versão da página testada.
Title: Contact form shows success for an invalid email
Environment: supplied preview URL; record deployed version
Starting state: fresh page, signed out, empty form
Steps:
1. Enter Test user in the name field.
2. Enter test@ in the email field.
3. Enter Test submission in the message field.
4. Click Send once.
Expected: email error appears; form stays available for correction.
Observed: confirmation replaces the form.
Evidence: screenshot of confirmation; record browser and viewport.
Unknown: whether a contact record or email was created.Ainda cabe ao desenvolvedor verificar se o servidor rejeitou a entrada apesar da mensagem de sucesso. Se o agente tiver acesso autorizado a uma caixa de entrada de teste ou a um registro de envios, peça que verifique. Caso contrário, deixe em aberto se o servidor aceitou os dados.
Escolha testes de regressão relacionados à alteração
Se a correção modificar a validação de e-mail, teste um endereço válido, um endereço vazio e um endereço inválido. Inclua formatos explicitamente aceitos pelo produto, como um endereço com sinal de mais. Em seguida, corrija a entrada inválida e envie o formulário novamente. Se a mensagem de erro não desaparecer após corrigir o campo, isso representa um problema de usabilidade à parte.
Se a alteração afetar o estado do envio, concentre-se nos cliques repetidos e na recuperação após uma falha. O botão volta a ficar disponível depois de uma solicitação malsucedida? Ao voltar da tela de confirmação, os valores anteriores continuam preenchidos? Escolha verificações com base no comportamento afetado. Repetir uma lista longa após cada pequena alteração pode acabar ocultando o caso que exige atenção.
Mantenha uma verificação marcada como bloqueada quando não for possível executá-la. Uma falha de login pode impedir o início do teste do formulário, mas não comprova que o formulário esteja com defeito. Talvez seja necessário atualizar as instruções de teste após uma mudança de rótulo ou layout. Registre essas atualizações junto com a nova execução para que outra pessoa possa distinguir um teste revisado de uma correção no produto.
Registre a nova versão da página e mantenha o relatório anterior. Este é um teste funcional focado. Testes de acessibilidade, segurança, carga e compatibilidade entre navegadores exigem escopos e ferramentas próprios.
Para acionar verificações a partir da sua ferramenta de desenvolvimento, consulte o guia de backend para agentes. Ao passar de solicitações manuais para uma integração, mantenha o mesmo roteiro de teste e os mesmos campos do relatório.
Mais artigos
Infraestrutura para pesquisa de RSI: execução e avaliação de agentes que se aprimoram
Como o Beeuni ajuda a repetir experimentos de melhoria de agentes: editar código e instruções, executar testes, investigar falhas e comparar versões.
Use o Beeuni para executar e avaliar um experimento de ajuste fino de modelo
Peça a um agente que prepare os dados de treinamento, execute um trabalho de ajuste fino no computador de treinamento conectado, investigue falhas e compare as saídas dos modelos.