.NET Conf

Nowoczesny ekosystem .NET oferuje zaawansowane narzędzia testowania, które wykraczają daleko poza samo uruchamianie testów – obejmują rozbudowane mechanizmy filtrowania, wszechstronną kategoryzację, szczegółową analizę pokrycia kodu oraz pełną integrację z pipeline’ami ciągłej integracji. Niniejsza analiza pokazuje wieloaspektowe podejście do zarządzania testami w aplikacjach .NET, przedstawiając sposoby filtrowania komendą dotnet test, wdrażania solidnych systemów kategoryzacji, uzyskiwania dokładnego pomiaru pokrycia kodu oraz generowania szczegółowych raportów integrujących się z procesami CI/CD. Ewolucja narzędzi testowych .NET – od uznanego Coverlet po nowoczesną Microsoft Testing Platform – odpowiada na wymagania zarówno lokalnych środowisk developerskich, jak i korporacyjnych procesów CI.

Spis treści [odkryj]

Mechanizmy filtrowania i wybierania testów

Komenda dotnet test udostępnia bardzo rozbudowane możliwości filtrowania, co umożliwia uruchamianie wybranych grup testów według precyzyjnych kryteriów. Mechanizm ten działa przez parametr --filter, który przyjmuje zaawansowaną składnię wyrażeń – pozwalając na konstruowanie reguł opartych na właściwościach, atrybutach i metadanych przypadków testowych.

Główna składnia filtrowania ma postać: <Property><Operator><Value>[|&<Expression>], gdzie właściwości wskazują atrybuty, operatory definiują relacje, a całość można łączyć operatorami OR (|) i AND (&).

Różne frameworki testowe udostępniają własne właściwości filtrowania, co zapewnia dużą elastyczność przy budowie kryteriów selekcji testów. Poniżej najważniejsze obsługiwane właściwości wg frameworków:

  • MSTest – FullyQualifiedName, Name, ClassName, Priority, TestCategory;
  • xUnit – FullyQualifiedName, DisplayName, Traits;
  • NUnit – FullyQualifiedName, Name, Priority, TestCategory.

Stosowanie operatorów negacji (!=, !~) pozwala wykluczać wybrane kategorie lub nazwy z uruchamiania. Przykład: TestCategory!=SlowTests uruchamia wszystkie testy poza tymi oznaczonymi jako wolne – idealne do optymalizacji procesu CI.

Wyrażenia mogą być grupowane, aby zbudować zaawansowaną logikę selekcji, np. (FullyQualifiedName~UnitTest1&TestCategory=CategoryA)|Priority=1 wybiera testy spełniające jeden z kilku warunków jednocześnie.

Filtracja testów według precyzyjnych reguł znacząco usprawnia zarządzanie rozbudowanymi zestawami testowymi oraz skraca czas uruchamiania pełnych pipeline’ów.

Kategoryzacja i organizacja testów

Efektywna kategoryzacja jest kluczowa dla utrzymania przejrzystości i kontroli nad zestawem testów. Podejścia w .NET obejmują zarówno konwencje nazewnicze, jak i dedykowane atrybuty oraz systemy cech (trait).

Zobacz, jak można efektywnie zorganizować testy w dużym projekcie:

  • Konwencje nazewnicze – szczegółowe nazwy, np. SampleClass_Add_Always_ReturnsTheCorrectResult, natychmiast wskazują kontekst testu;
  • Atrybuty [Trait] – w xUnit umożliwiają kategoryzowanie testów według własnych reguł, np. [Trait("Category", "UI")];
  • Dedykowane biblioteki – jak Xunit.Categories, upraszczają przypisywanie kategorii i integrują się z filtracją dotnet test.

Polecenie dotnet test --filter "Category=UI&Category!=Integration" pozwala precyzyjnie uruchomić wybrane grupy testów, co jest nieocenione w dużych repozytoriach.

Kategoryzacja umożliwia przypisanie kilku tagów do jednego testu (np. jednostkowy i wydajnościowy), co poprawia elastyczność uruchamiania i organizację pracy zespołu.

Implementacja i analiza pokrycia kodu

Współczesne narzędzia pokrycia kodu w .NET – zarówno natywne rozwiązania Microsoft, jak i Coverlet – oferują pełną kontrolę nad pomiarem i konfiguracją raportowania.

  • Natywne rozwiązania Microsoft (.NET SDK 8+) – komenda dotnet test --collect:"Code Coverage" zbiera pokrycie bez dodatkowych zależności, wyniki dostępne w formacie .coverage (do Visual Studio) oraz Cobertura (do CI/CD);
  • Narzędzie dotnet-coverage – pozwala na łączenie wyników pokrycia z wielu testów, transformowanie formatów i generację zintegrowanych raportów (np. dotnet-coverage merge --output test-result.cobertura.xml --output-format cobertura "test-results/**/*.coverage");
  • Ekosystem Coverlet (coverlet.msbuild) – integruje się z MSBuild, pozwala przez parametry ustalić zakres zbierania (CollectCoverage=true), stosować filtrowanie, progi (thresholds), wybierać formaty raportowe;
  • Precyzyjne filtry i globy – pozwalają określić, które części kodu są poddawane analizie (/p:Exclude="[coverlet.*]*,[*]Coverlet.Core*");
  • Egzekwowanie progów pokrycia – automatyczne blokowanie pushów i merge’y poniżej zadanych progów (Threshold=80).

Możliwość łączenia wyników i generowania ujednoliconych raportów jest szczególnie przydatna, gdy pipeline’y CI uruchamiają testy wieloetapowo w różnych projektach.

Generowanie i formatowanie raportów

Szczegółowe raportowanie przebiegu testów i pokrycia kodu znacząco usprawnia proces oceny jakości oprogramowania.

  • TRX (Test Results XML) – mechanizm raportowania zgodny z Microsoft, uruchamiany przez dotnet test --logger trx – zawiera szczegółowe dane o wynikach, czasie, błędach itp.;
  • dotnet-trx – narzędzie do przekształcania TRX w czytelne podsumowania (konsola, podsumowania pull requestów na GitHub Actions);
  • ReportGenerator – uznany standard do wizualizacji pokrycia; instaluje się globalnie (dotnet tool install -g dotnet-reportgenerator-globaltool), generuje czytelne HTML, XML, JSON oraz integracje z DevOps;
  • Konfigurowalne poziomy szczegółowości – quiet, normal, verbose, pozwalają dopasować raport do odbiorcy (programista, menedżer, QA);
  • Specjalistyczne loggery – np. JUnit XML, umożliwiają integrację z narzędziami spoza ekosystemu Microsoft (np. platformy Java).

Elastyczność generowania raportów pozwala na szybkie reagowanie na regresje i transparentność procesu jakościowego.

Integracja z pipeline’ami ciągłej integracji

Automatyzacja testowania z pipeline’ami CI/CD (np. GitHub Actions, Azure DevOps) gwarantuje spójność jakości i raportowania na każdym etapie wdrożenia.

Poniżej kluczowe elementy skutecznej integracji z pipeline’ami CI:

  • Konfigurowalne workflow – zawierają kroki: przywracanie zależności, build, uruchamianie testów z filtrowaniem, zbieranie pokrycia i generowanie raportów;
  • Publikacja wyników – wyniki i metryki testów mogą być automatycznie publikowane do pull requestów, dashboardów czy notification center;
  • Automatyczne podsumowania jobów – narzędzia jak EnricoMi/publish-unit-test-result-action automatycznie generują czytelne podsumowania bez konieczności przeszukiwania logów CI;
  • Etapowe uruchamianie testów – testy jednostkowe uruchamiane przy każdym commicie, integracyjne i wydajnościowe przy release lub wybranych branchach;
  • Strategie optymalizacji – cache’owanie zależności, równoległe uruchamianie, selektywne wykonania na podstawie zmian w kodzie.

Precyzyjne komendy, np. dotnet test myDemoApp.sln --logger 'junit;LogFileName=TestResults.xml' --verbosity normal --results-directory ./_test-results, umożliwiają automatyczne generowanie szczegółowych raportów dla różnych narzędzi CI/CD.

Zaawansowana konfiguracja i optymalizacja

Zaawansowana konfiguracja systemu testów .NET gwarantuje maksymalną kontrolę nad środowiskiem, zasobami i raportowaniem. Składają się na to różne warstwy konfiguracji:

  • Pliki RunSettings – centralizują parametry wykonania, definiują opcje platformy, wersje frameworka, zasady równoległości, konfigurują zbieranie pokrycia;
  • Parametry CLI – pozwalają na dynamiczne dostosowanie parametrów dotnet test -- xUnit.ParallelizeTestCollections=false szczególnie w CI;
  • Optymalizacja wydajności – kontrola równoległości (assembly, kolekcje, metody), zarządzanie zasobami (pamięć, GC), selektywne uruchamianie;
  • Precyzyjna konfiguracja pokrycia – instrumentacja statyczna/dynamiczna, pełne wsparcie globów i filtrów;
  • Zaawansowane strategie filtrowania – łączenie kategorii, nazw, cech, wykorzystanie wyrażeń regularnych i globów.

Prawidłowo skonfigurowana infrastruktura testowa gwarantuje stabilność, skalowalność i efektywność niezależnie od wielkości projektu.

Najlepsze praktyki i rekomendacje

Stosowanie sprawdzonych praktyk znacząco wpływa na jakość i wygodę zarządzania rozbudowanymi zestawami testów:

  • Czytelna kategoryzacja – zarówno techniczna (unit, integration), jak i biznesowa (obszary funkcjonalne, środowiska);
  • Konsekwentne konwencje nazewnicze i cechy – ułatwiają szybkie odnalezienie oraz selektywne uruchamianie testów;
  • Progi pokrycia kodu jako wskaźnik jakości – zalecane w zakresie 70–90%, bez sztucznego „dorabiania” testów;
  • Szybka informacja zwrotna z CI/CD – testy jednostkowe szybkie, integracyjne i wydajnościowe uruchamiane przy wybranych eventach lub harmonogramach;
  • Optymalizacja wydajności – cache’owanie zasobów, równoległość testów, selektywność wykonania;
  • Regularne utrzymanie i optymalizacja infrastruktury testowej – przegląd kategorii, aktualizacja progów, przypisanie właściciela do zarządzania procesem;
  • Stawianie na narzędzia aktywnie rozwijane i standaryzowane – adaptacja natywnych możliwości Microsoft dla przyszłościowej ewolucji procesów testowych.

Głębokie zrozumienie i świadome wykorzystanie narzędzi testowych .NET buduje solidny fundament dla niezmiennie wysokiej jakości i transparentności w każdym cyklu rozwoju projektu.