Aprendemos como criar planos de testes no Azure DevOps e como associar aos work items (do board de desenvolvimento) para garantir a execução dos testes manuais – exploratório e casos de teste – com as atividades do projeto.

E podemos evoluir para a automação dos testes? Sim, para isso você precisa vincular o teste automatizado ao seu plano de teste e executá-los no Azure Test Plans (Azure DevOps) ou no Test Hub do TFS. Por exemplo, no deploy da aplicação, executando os testes sob demanda no fluxo de build e release.

Azure DevOps
O primeiro passo é acessar as configurações do plano de teste. No Azure DevOps, clique em Test Plans e selecione Test Plan Settings do plano de teste que irá utilizar.

Em seguida, selecione o Build Pipeline responsável pela geração dos builds que possuem os binários de teste. Escolha o número do Build ou a opção do sistema automaticamente trabalhar com o último Build.

O próximo passo é criar a Release pipeline onde os testes serão executados. Se você já possui, escolha a sua release na lista de valores. Para criar uma nova, clique em new release pipeline contendo single stage com a tarefa Visual Studio Test já adicionada – 

Lembre-se que é necessário ter o Visual Studio Test Platform Installer task instalado no agent computer. Veja que a Visual Studio Test task foi adicionada a Release Pipeline:

• Selecione a versão 2.*
• Escolha a opção de teste assembly, plan ou run. 
• As demais opções englobam a versão do Visual Studio Test para uso (Test Platform version), testes UI, input parameters, Settings Files (caminho do arquivo runsettings ou testsettings usado com os testes). Veja mais sobre Visual Studio Test Task.

Suba para o nível do Agente (Run on agent) e verifique se o Agent Job está configurado com as máquinas necessárias para execução dos testes. Adicione em demands quando os testes exigirem máquinas especiais do agent pool. A opção Parallelism permite distribuir os testes entre múltiplos agentes.

Verifique se o Build Pipeline com os binários de teste estão associados com a Release Pipeline.

Por fim, acesse o Test Plans do Azure DevOps e escolha a suite de testes com os testes automatizados. Execute o teste (run test). O sistema checará os testes automatizados, validando configurações (do Visual Studio Test), permissões do usuário para criação da release, executa o teste e dispara a criação da release para o estágio selecionado.

E confira o resultado da execução:

A análise das execuções ficam na área Runs do Test Plans. Veja o gráfico com o resumo da execução e os resultados do teste (em Test results).