Dokumentation, som en sagkyndig tredjepart kan forstå

Et testresultat kan være korrekt og alligevel ubrugeligt, hvis kun de, der var med, kan forstå det. Både SAMSIK og ENISA beder om, at testdokumentation skal kunne forstås af en sagkyndig tredjepart. Svaret på, hvad det betyder for en leverandør, er, at dokumentet skal kunne læses og vurderes af en fagperson, der ikke kender jer, ikke var med i testen og ikke kan ringe og spørge: hvad blev undersøgt, hvordan, hvad blev fundet, hvor alvorligt er det, og hvad er der sket siden.

Kravet står i vejledninger, ikke i lovteksten. SAMSIK’s vejledning om foranstaltninger, afsnit 6.b, siger, at testenes type, omfang, tidspunkt og resultater bør dokumenteres, så de er forståelige for tredjeparts eksperter. ENISA’s tekniske vejledning til gennemførelsesforordning (EU) 2024/2690, som ikke er bindende, siger det samme til bilagets punkt 6.5.2. Forordningen selv gælder direkte for bestemte digitale udbydere. Teksten er ikke juridisk rådgivning.

Hvem er den sagkyndige tredjepart?

Det er ikke kun myndigheden. Hos en NIS2-kunde kan jeres testresultat ende hos flere fagfolk uden forhåndskendskab til jer:

Kundens uafhængige gennemgang · forordningens punkt 2.3.2 kræver, at kundens uafhængige gennemgange udføres af personer med passende auditkompetence.
Kundens rådgiver · en ekstern sikkerhedsrådgiver, som kunden bruger til at vurdere leverandører.
Kundens nye medarbejder · den, der overtager leverandøropfølgningen, når den tidligere ansvarlige stopper.
Den næste tester · som skal bygge videre på jeres forrige test og vide, hvad der var med.
Myndigheden · hvis kunden er under tilsyn og skal fremlægge dokumentation for sin leverandørstyring.

Fælles for dem er, at de har faglig indsigt, men ingen baggrund. De kan læse en teknisk beskrivelse, men de kan ikke gætte, hvad der lå bag en forkortelse eller en udeladelse. → Kunden skal kunne vise tilsynet jeres testresultat

Forståelig er ikke det samme som enkel

En sagkyndig læser skal ikke have forklaret, hvad en penetrationstest er. Til gengæld skal læseren kunne vurdere, om konklusionerne holder. Det kræver mere præcision, ikke mindre. Et resumé i almindeligt sprog hjælper kundens ledelse, men det er rapportens grundlag, en sagkyndig læser vil kigge efter.

Det betyder, at dokumentationen skal vise, hvordan testeren kom frem til sine vurderinger, uden at blive en opskrift på at gentage angrebet. En beskrivelse af, hvad testeren kunne opnå, under hvilke forudsætninger og med hvilken adgang, er nok til at vurdere fundet. Den detaljerede fremgangsmåde hører ikke hjemme i et dokument, der skal deles med mange. → Dokumenteret testmetode

Fem kendetegn ved et dokument, der kan stå alene

Når en fagperson uden baggrund skal kunne bruge jeres testdokumentation, bør den:

Forklare sine egne ord · fagudtryk, forkortelser og interne systemnavne er forklaret eller oversat første gang, de bruges.
Vise sin målestok · den skala, der bruges til at vurdere alvor, er beskrevet, så læseren kan se, hvad høj og middel betyder.
Vise sine forudsætninger · hvilken adgang testeren havde, og hvad der var udeladt, står tydeligt.
Hænge sammen · fundnumre er de samme i rapport, statusliste og retestdokument, så en læser kan følge et fund fra start til slut.
Have afsender og dato · det fremgår, hvem der har udført testen og skrevet dokumentet, og hvornår.

Det fjerde punkt er det, der kan svigte. Et fund, der hedder noget forskelligt i tre dokumenter, er svært at spore for en, der ikke var med. → Status på rettelser

Beslutninger skal også kunne forstås

Det er ikke kun testresultatet, der skal være forståeligt. Forordningens punkt 2.1.2, litra j, beder kunden begrunde accepten af resterende risici på en forståelig måde, og punkt 5.1.7, litra c, beder kunden vurdere behovet for spontane gennemgange af leverandører, altså gennemgange uden for planen, og dokumentere resultaterne på en forståelig måde.

Når kunden skal begrunde en beslutning om et fund i jeres leverance, kan kunden bygge på jeres tekst. En begrundelse, der kun giver mening for jeres udviklere, kan kunden ikke bruge. Skriv derfor begrundelser for udskudte eller accepterede fund, så en fagperson hos kunden kan genfortælle dem. → Et fund, I ikke retter

Prøv dokumentet af

Den nemmeste måde at finde ud af, om dokumentet kan stå alene, er at lade en person læse det, som ikke var med i testen og ikke arbejder med leverancen til daglig. Bed personen om at svare på tre spørgsmål uden at spørge nogen: hvad blev testet, hvad er det alvorligste fund, og hvad er status på det i dag. Kan personen ikke svare, mangler der noget.

Gør det, før dokumentet sendes, ikke når kunden har spurgt. Det tager kort tid, og det fanger de huller, som de, der skrev dokumentet, ikke selv kan se. Gentag prøven, når I skifter testleverandør eller skabelon, fordi det er her, nye forkortelser og nye skalaer kan snige sig ind. Gem gerne spørgsmålene og svarene, så I kan bruge dem som rettesnor for næste rapport. → Hvad testdokumentationen ikke kan bevise

Et tænkt eksempel

En leverandør af et system til styring af laboratorieprøver har gennem tre år sendt testresultater til et universitetshospital. Hospitalets sikkerhedsansvarlige skifter job, og en ny medarbejder skal gennemgå leverandøren.

Den nye medarbejder kan ikke se, om tre fund med forskellige navne i rapport og statusliste er det samme fund, og rapporten bruger en alvorlighedsskala, der ikke er forklaret. Leverandøren sender en kort oversigt, der kobler fundnumrene sammen, og et afsnit om skalaen. Fra næste test bliver fundnumrene de samme i alle dokumenter, og skalaen beskrives på rapportens første side. Den nye medarbejder kan nu gennemgå leverandøren på en eftermiddag uden at skulle spørge leverandøren om hvert enkelt fund.

Det skal I lade være med

At skrive til dem, der var med · skriv til den, der kommer bagefter.
At bruge interne navne uden forklaring · en fremmed fagperson kan ikke oversætte dem.
At give fund nye numre i hvert dokument · sporet bliver brudt.
At udelade forudsætningerne · uden dem kan konklusionen ikke vurderes.
At tro, at et enkelt resumé er nok · den sagkyndige læser vil se grundlaget.

Hvad kan og ikke kan konkluderes

Dokumentation, som en sagkyndig tredjepart kan forstå, gør det muligt for kunden og dem, kunden viser den, at vurdere jeres test uden at være afhængige af jer. Den gør ikke testen mere dækkende, og den afgør ikke, om kunden eller kundens myndighed finder resultatet tilstrækkeligt.