Retest som dokumentation over for kunden

Når I skriver til en NIS2-kunde, at et fund er rettet, er det jeres egen påstand. En retest gør påstanden til dokumentation, fordi en tester har kontrolleret, at rettelsen virker. Svaret på, hvad kunden kan bruge den til, er derfor ret præcist: en retest dokumenterer udfaldet for de fund, der blev efterprøvet, på den version og det tidspunkt, der står i dokumentet. Mere end det dokumenterer den ikke.

Hvorfor kunden spørger, hænger sammen med kundens egne pligter. Bilaget til gennemførelsesforordning (EU) 2024/2690 kræver i punkt 6.5.2, litra d, at der anvendes afbødende foranstaltninger ved alvorlige konstateringer, og forordningen gælder direkte for bestemte digitale udbydere. SAMSIK’s vejledning om foranstaltninger beder de øvrige enheder under NIS 2-loven dokumentere, hvilke kompenserende handlinger der er udført efter testen. Ordet retest står ikke i nogen af teksterne. Teksten er ikke juridisk rådgivning.

Hvad kunden får ud af en retest

For kunden er en retest en måde at lukke et punkt i sin egen opfølgning med noget andet end leverandørens ord. Det er især vigtigt ved alvorlige fund, hvor kunden måske har registreret en risiko hos sig selv, mens rettelsen var undervejs.

ENISA’s tekniske vejledning til forordningen, som ikke er bindende, anbefaler, at fund med høj kritisk betydning vurderes, følges op og afhjælpes. En retest er en almindelig måde at vise opfølgningen på, men det er kunden, der afgør, om den er nødvendig for netop det fund. Nogle kunder nøjes med jeres beskrivelse af rettelsen ved mindre fund og kræver kun efterprøvning af de alvorlige. → Kritiske fund skal afhjælpes

Dokumentet, kunden skal have

En retest, der skal bruges over for en kunde, bør stå som et selvstændigt dokument, ikke kun som en opdateret rapport. Det skal kunne læses af en, der ikke har den oprindelige rapport foran sig:

Henvisning · hvilken rapport og hvilke fund retesten bygger på, med samme numre.
Tidspunkt og version · hvornår der blev efterprøvet, og på hvilken version af løsningen.
Udgangspunkt · om testeren havde samme adgang som ved den oprindelige test.
Resultat pr. fund · rettet, delvist rettet eller ikke rettet, med en kort forklaring.
Afgrænsning · at kun de nævnte fund er efterprøvet.
Udført af · hvem der efterprøvede, og om det var samme tester.

Afgrænsningen er den linje, der kan mangle. Uden den kan dokumentet læses som en ny godkendelse af hele løsningen.

Tidspunktet betyder også noget. En retest bør ske, når rettelsen er sat i drift i det miljø, kunden bruger, og ikke kun i et testmiljø. Er rettelsen kun efterprøvet i et testmiljø, så skriv det, og sig, hvornår den når kundens drift. Har kunden en frist for rettelse i aftalen, er det datoen for den efterprøvede rettelse i drift, kunden normalt vil holde op mod fristen. → Status på rettelser

Delvist rettet er også et resultat

En retest viser ikke altid, at alt er i orden. En rettelse kan lukke den konkrete vej, testeren brugte, men lade en lignende vej stå åben, eller den kan virke i én del af løsningen og ikke i en anden. Skriv det, som det er. Kunden skal bruge resultatet i sin egen vurdering, og et delvist resultat, der er beskrevet ærligt, er mere brugbart end et fund, der er markeret som rettet for tidligt.

Når en retest viser, at et fund ikke er rettet, så send en opdateret plan sammen med resultatet. Kunden vil spørge om den alligevel. Planen bør sige, hvad der skal ændres, hvornår, og om der indtil da er en midlertidig foranstaltning, der mindsker risikoen for kunden. → Åbne fund på afleveringstidspunktet

Hvem skal udføre den?

Kunden kan have krav om, at testen udføres af en uafhængig part. Gælder det også retesten, skal den udføres af en tester, der opfylder samme krav. Det letteste er at aftale retesten med testleverandøren, før den første test bestilles, så det er klart, at efterprøvning er en del af opgaven, og hvilket dokument der kommer ud af den.

Udfører I selv efterprøvningen, så skriv det. En intern kontrol kan være fin dokumentation for et mindre fund, men den skal ikke se ud som en uafhængig retest, når den ikke er det. → Uafhængig tredjepart

Retest eller ny test

En retest er ikke det rigtige svar, hvis løsningen har ændret sig væsentligt siden den oprindelige test. Så er der risiko for, at rettelsen er testet i et miljø, der ikke længere svarer til det, kunden bruger. Hvis kunden har krav om ny test efter væsentlige ændringer, er det det krav, der gælder, og retesten kan ikke erstatte det.

Spørg jer selv, før I tilbyder kunden en retest: Er det samme løsning, samme opsætning og samme adgangsveje, eller er der kommet nyt til? Er der kommet nyt til, er det ærligere at sige, at retesten kun dækker de gamle fund, og at det nye skal med i næste test. → Ny test efter væsentlige ændringer

Et tænkt eksempel

En leverandør af et system til elektronisk tidsregistrering på et sygehus får tre alvorlige fund i en test. To måneder senere er rettelserne udrullet, og testeren efterprøver de tre fund. To er rettet. Det tredje er rettet i webklienten, men ikke i den eksport, som sygehusets lønafdeling bruger.

Leverandøren sender sygehuset retestdokumentet med de tre resultater, et kort følgebrev og en ny plan for eksporten med dato. Sygehuset opdaterer sin egen opfølgning med to lukkede punkter og ét, der stadig er åbent med plan. Ved næste retest efterprøves eksporten, og dokumentet henviser tilbage til begge tidligere dokumenter.

Det skal I lade være med

At kalde en intern kontrol en retest · skriv, hvem der kontrollerede.
At udelade afgrænsningen · retesten dækker kun de fund, der står i den.
At skjule et delvist resultat · kunden finder det før eller siden.
At bruge en retest i stedet for ny test efter store ændringer · kunden får et misvisende billede.
At aftale retest først, når fundene er rettet · aftal den sammen med testen.

Hvad kan og ikke kan konkluderes

En retest dokumenterer, at de efterprøvede fund er rettet eller ikke rettet på et bestemt tidspunkt og i en bestemt version. Den siger intet om fund, testen ikke dækkede, og den viser ikke, at rettelsen holder efter senere ændringer. Generel viden om retest findes på penetrationtest.dk.