Systém pro řízení a zkoušek a testů

Projektové metodiky i schvalovací postupy definují povinné zkoušky, kontroly a testy. Každý obor má své vlastní standardy, ať už jde o software, léky, stroje nebo dopravní prostředky.

Případ A: Automotive

Dobrým příkladem požadavků jsou metodiky automobilového průmyslu ASPICE nebo ISO 26262, které definují nejenom etapy ověřování prototypů a výrobků, ale i konkrétní testy.

Všechny tyto metodiky věcně vycházejí ze stejného logického konceptu testování. Pro oblast software je koncept standardizován v ISO 29119; např. ISO 26262 ale definuje požadavky i na oblast hardware.

Případ S: Software

Požadavky pro software definují standardy jako CMMI. Standardy požadují např.:

• Unit testy – Povinnost testovat cesty i větvě, pokrýt celý kód
• Integrační testy – Otestovat všechny možné způsoby interakce spojovaných částí
• Funkční testy – Ověření veškeré požadované funkcionality

Důležitou součástí testů je i schopnost ohlídat si a zpětně doložit, že testy byly skutečně provedeny. Proto testy potřebují efektivní řízení dokumentace od plánu až pro provedení.

Požadované procesy a rozsah testů

Základní členění procesů vyplývá z logiky práce: Plánování testů, kontrola a sledování průběhu testování a jejich dokončení.

Důležitějším členěním je věcné rozdělení na skupiny testů. Skupiny jsou vždy závislé na oblasti testování. Jiné jsou pro mechanické výrobky (zahrnující mechanickou odolnost, chemickou stabilitu a odolnost, atd.) jiné jsou pochopitelně pro software, kde by žádný z uvedených příkladů neměl smysl.

Oblast softwarového testování se člení na testy unit, komponent, integrace a funkční testy celku.

Požadovaná dokumentace testování

Bez ohledu na oblast testování se metodiky shodují v požadavcích na dokumentaci:

• Příprava testů na základě metodických pokynů a vstupních požadavků na produkt / dílo
• Plán testů zahrnující realizaci všech předepsaných ověřovacích kroků
• Dokumentace průběhu včetně zaznamenání všech odchylek od předpokládaného výsledku nebo průběhu
• Dokumentace nedostatků
• Analýza a hodnocení

Techniky požívané pro testování

V oblasti technik se standardy liší relativně nejvíce. Zejména se liší s ohledem na předmět testů, jak bylo už uvedeno výše. Techniky pro ověření léčivé látky, dílu do auta nebo programu jsou pochopitelné zcela odlišné.

Obecný standard ISO 29119 definuje různé techniky, ale nepředepisuje jejich použití.

Standard ASPICE je ještě obecnější, protože požaduje vhodné formy ověřování kvality, ale nedefinuje je.

Standard ISO 26262 je oproti předchozím precisní v tom, že obsahuje podrobný taxativní výčet, jaké techniky se mají či musí použít v závislosti na třídě bezpečnosti vyvíjeného výrobku (ASIL)

Ostatní standardy se pohybují v podobném rozpětí podrobnosti.

Systém řízení testů má dvě základní části: Workflow systém pro řízení práce a dokumentace, a metodiku popisující konkrétní postupy

Workflow řízení postup prací a dokumentace podporuje potřebnou dokumentaci: testovací případy a scénáře, plány testů a jejich dokumentaci.

Workflow nijak nepředepisuj testovací postupy, ty jsou plně definovány metodikou.

Metodika testování je plně upravitelná a může se tak přizpůsobit konkrétnímu produktu nebo potřebnému pracovnímu postupu.

Testování integrované s řízením projektu a popisem zadání

Testy by měly vycházet z požadavků, které se ověřují. Požadavky nejsou součástí testů, ale měli by chom mít požadavky i testy provázané. Rozumně to tak vyžadují standardy kvality (nejenom ISO 29119), protož je to nástroj ověření, že jsou skutečně všechny požadavky testovány. Provázanost je důležitá i když se reviduje obsah samotných testů.

Testy

Test je popisem samotného postupu testu. Měl by obsahovat postupy i kroky, které provést. A samozřejmě k němu patří i obecná metodika testování

Plán testů (Master Test Plan)

Plán testů je důležitým předpokladem pro to, aby v rámci testování proběhly všechny povinné etapy. Testy jsou z řady důvodů často opomíjenou činností, a proto je na kvalitu jejich plánu i dohled nad jeho dodržením v normách a standardech kladen velký důraz.

Protokoly z testů

Záznamy o tom, jak testování proběhlo. Měly by dokumentovat:

• Všechny činnosti, které proběhly
• Jak testy dopadly, co při nich bylo zjištěno
• Řešení nedostatků
• Kdo které činnosti dělal a zda měl potřebnou kvalifikaci

Dokumentace testování

Umíme vám pomoci i čistě metodicky, ale více vám pomůžeme, když vaši práci podpoříme i technicky.

Celý proces a zkoušek a testů zefektivníte díky automatizaci a generování záznamů. Na základě jednou popsané metodiky systém generuje postupy, dokumentuje, kdy a kdo provedl testy a zaručuje dostupnost všech dat pro audit. Snadno tak doložíte všechny povinné kroky při akceptaci zákazníkem, schvalování produktu na trh nebo jiné kontrole.

Automatizace dokumentace

Systém usnadňuje všechny kroky, které s testováním souvisí. Šetří tak to nejdůležitější – čas vašich lidí:

• Udržuje provázanost všech záznamů
• Automaticky generuje protokoly, včetně komplexních (souhrny z více testovacích scénářů)
• Uchovává doklady o všem, co se při testování dělo
• Umožňuje ukládat soubory s doklady (např. fotografie ze zkoušek, testovací aparatury apod.). Fotografie je možné vkládat rovnou z mobilního telefonu – vyfotit rovnou do aplikace
• Dokumentovat výrobky a zařízení použitá pro testy i v rámci testování (zkušební vzorky)
• Archivovat dokumentaci aniž by se ztratila její provázanost na jiné záznamy
• Sledovat výkazy práce a počítat náklady na testování

Pokud potřebujete vlastní formát a obsah protokolů, do systému je možné přidat šablonu a generovat protokoly přesně takové, jaké potřebujete.

V rámci akceptačního řízení, schvalování nebo testování release vzniknou záznamy o tom, kde nebyly splněny požadavky na produkt. Záznam by se měl vždy vztahovat ke konkrétnímu požadavku, proto je výhodné, aby byl systém testování a řízení oprav provázán se správou požadavků.

Řešení neshody je zahájeno úkolem a dokumentovány kroky, které byly při řešení úkolu provedeny. Jeden úkol může řešit i více nedostatků, není proto nutné vykazovat opakovaně činnosti, které odstranily více nedostatků najednou.

Provázaná dokumentace udržuje pohromadě informace

• Požadavek – vlastnost nebo funkčnost, kterou mělo řešení či výrobek splňovat
• Test / Zkouška – Jak se kontroluje, že je požadavek dodržen (předepsaný kontrolní postup)
• Výsledek testu / zkoušky – Jak ověření proběhlo a dopadlo (dokumentuje pozitivní i negativní průběh)
• Řešení zjištěných nedostatků – Úkol a kroky, kterými byly problémy odstraněny
• Opakované ověření – Kontrola, že oprava skutečně odstranila problém