Configurar o MSTest

MSTest, Microsoft Testing Framework, é uma estrutura de teste para aplicativos .NET. Ele permite que você escreva e execute testes e forneça suítes de testes com integração ao Visual Studio e Visual Studio Code Test Explorers, à CLI do .NET e a muitos pipelines de CI.

MSTest é uma estrutura de teste de código aberto e de plataforma cruzada totalmente compatível que funciona com todos os destinos .NET suportados (.NET Framework, .NET Core, .NET, UWP, WinUI e assim por diante) hospedados no GitHub.

Configurações de Execução

O arquivo .runsettings pode ser usado para configurar como serão executados os testes de unidade. Para saber mais sobre as configurações de execução e as configurações relacionadas à plataforma, você pode conferir a documentação de configurações de execução do VSTest ou a documentação de configurações de execução do executor do MSTest.

Elemento MSTest

As seguintes entradas runsettings permitem configurar como o MSTest se comporta.

Os valores de tempo limite devem ser inteiros positivos em milissegundos. Para ser executado sem tempo limite, omita a entrada em vez de defini-la como 0. Os tempos limite de instalação de teste globais herdam o valor ou TestCleanupTimeout o valor correspondenteTestInitializeTimeout.

Elemento TestRunParameter

<TestRunParameters>
    <Parameter name="webAppUrl" value="http://localhost" />
</TestRunParameters>

Os parâmetros de execução de teste fornecem uma maneira de definir variáveis e valores que estão disponíveis para os testes em runtime. Acesse os parâmetros usando a propriedade TestContext.Properties do MSTest:

private string _appUrl;
public TestContext TestContext { get; set; }

[TestMethod]
public void HomePageTest()
{
    string _appUrl = TestContext.Properties["webAppUrl"];
}

Para usar parâmetros de execução de teste, adicione uma propriedade TestContext pública à classe de teste.

Arquivo .runsettings de exemplo

O XML a seguir mostra o conteúdo de um arquivo .runsettings típico. Copie esse código e edite-o para atender às suas necessidades.

Cada elemento do arquivo é opcional, porque tem um valor padrão.

<?xml version="1.0" encoding="utf-8"?>
<RunSettings>

  <!-- Parameters used by tests at runtime -->
  <TestRunParameters>
    <Parameter name="webAppUrl" value="http://localhost" />
    <Parameter name="webAppUserName" value="Admin" />
    <Parameter name="webAppPassword" value="Password" />
  </TestRunParameters>

  <!-- MSTest -->
  <MSTest>
    <MapInconclusiveToFailed>True</MapInconclusiveToFailed>
    <CaptureTraceOutput>false</CaptureTraceOutput>
    <DeleteDeploymentDirectoryAfterTestRunIsComplete>False</DeleteDeploymentDirectoryAfterTestRunIsComplete>
    <DeploymentEnabled>False</DeploymentEnabled>
    <ConsiderFixturesAsSpecialTests>False</ConsiderFixturesAsSpecialTests>
    <AssemblyResolution>
      <Directory path="D:\myfolder\bin\" includeSubDirectories="false"/>
    </AssemblyResolution>
  </MSTest>

</RunSettings>

testconfig.json

Ao executar seus testes com o MSTest, você pode usar um arquivo testconfig.json para configurar o comportamento do executor de teste. O arquivo testconfig.json é um arquivo JSON que contém as configurações do executor de teste. O arquivo é usado para configurar o executor de teste e o ambiente de execução de teste. Para obter mais informações, consulte a documentação do testconfig.json MTP.

A partir do MSTest 3.7, você também pode configurar as execuções do MSTest no mesmo arquivo de configuração. As seções a seguir descrevem as configurações que você pode usar no arquivo testconfig.json.

A partir do MSTest 4.3.3, as execuções do .NET Framework também aceitam comentários e vírgulas à direita em testconfig.json.

Elemento MSTest

As configurações do MSTest são agrupadas pela funcionalidade descrita nas seções a seguir.

Configurações doassemblyResolution

Todas as configurações nesta seção pertencem ao assemblyResolution elemento.

Exemplo:

{
  "mstest": {
    "assemblyResolution": {
        { "path": "...", "includeSubDirectories": "true/false" }
    }
  }
}

Configurações dodeployment

Todas as configurações nesta seção pertencem ao deployment elemento.

Exemplo:

{
  "mstest": {
    "deployment": {
        "deleteDeploymentDirectoryAfterTestRunIsComplete": true,
        "deployTestSourceDependencies": true,
        "enabled": true
    }
  }
}

Configurações dooutput

Todas as configurações nesta seção pertencem ao output elemento.

Exemplo:

{
  "mstest": {
    "output": {
        "captureTrace": false
    }
  }
}

Configurações doparallelism

Todas as configurações nesta seção pertencem ao parallelism elemento.

Exemplo:

{
  "mstest": {
    "parallelism": {
        "enabled": true,
        "scope": "method",
        "workers": 32
    }
  }
}

Configurações doexecution

Todas as configurações nesta seção pertencem ao execution elemento.

Exemplo:

{
  "mstest": {
    "execution": {
        "considerEmptyDataSourceAsInconclusive": false,
        "considerFixturesAsSpecialTests": false,
        "mapInconclusiveToFailed": true,
        "mapNotRunnableToFailed": true,
        "treatClassAndAssemblyCleanupWarningsAsErrors": false,
        "treatDiscoveryWarningsAsErrors": false
    }
  }
}

Configurações dotimeout

Todas as configurações nesta seção pertencem ao timeout elemento.

Exemplo:

{
  "mstest": {
    "timeout": { "globalTestInitialize": 30000, "globalTestCleanup": 30000 }
  }
}

Exemplo testconfig.json arquivo

O JSON a seguir mostra o conteúdo de um arquivo de .testconfig.json típico. Copie esse código e edite-o para atender às suas necessidades.

Cada elemento do arquivo é opcional, porque tem um valor padrão.

{
  "platformOptions": {
    "resultDirectory": "./TestResults"
  },
  "mstest": {
    "execution": {
        "mapInconclusiveToFailed": true,
        "disableAppDomain": true,
        "considerFixturesAsSpecialTests": false
    },
    "parallelism": {
        "enabled": true,
        "scope": "method"
    },
    "output": {
        "captureTrace": false
    }
  }
}

Propriedades do MSBuild

A partir do MSTest 4.3, habilite a paralelização no nível do assembly no arquivo do projeto ou em Directory.Build.props, sem precisar declarar um atributo [assembly: Parallelize]. Essas propriedades emitem o atributo de montagem correspondente durante a compilação, portanto, exigem que GenerateAssemblyInfo esteja true (o padrão para projetos no estilo do SDK).

O MSTest valida ambas as propriedades durante o build. Valores de escopo inválidos, contagens de trabalho não inteiros e uma contagem de trabalho combinada com um None escopo falham no build. Também não declare [assembly: Parallelize] ou [assembly: DoNotParallelize] na origem, pois o atributo gerado o duplicaria. Quando GenerateAssemblyInfo for false, declare o atributo na origem.

O exemplo a seguir habilita a paralelização no nível do método com quatro trabalhadores para cada projeto de teste que importa o Directory.Build.props arquivo:

<Project>
  <PropertyGroup>
    <MSTestParallelizeScope>MethodLevel</MSTestParallelizeScope>
    <MSTestParallelizeWorkers>4</MSTestParallelizeWorkers>
  </PropertyGroup>
</Project>