Hvad testdokumentationen ikke kan bevise over for kunden

Nogle leverandører håber, at en penetrationstest kan lukke diskussionen med en NIS2-kunde én gang for alle. Det kan den ikke. Testdokumentationen viser, hvad en afgrænset undersøgelse fandt i bestemte dele af leverancen i en bestemt periode, og hvad I har gjort ved det siden. Den beviser ikke, at I eller kunden overholder NIS2, og den beviser ikke, at leverancen er fri for svagheder. Svaret hviler på, hvad loven pålægger hvem, og på hvad en test i sagens natur kan afdække.

Jo tydeligere I selv skriver grænserne, jo mere troværdig er resten af dokumentationen. Teksten er ikke juridisk rådgivning.

Pligterne ligger hos kunden, ikke hos testen

NIS 2-loven pålægger væsentlige og vigtige enheder at træffe foranstaltninger. § 6, stk. 1, opregner ti områder, fra risikoanalyse og hændelseshåndtering til kryptografi og multifaktorautentificering. Er I ikke selv omfattet, gælder pligterne kunden, og jeres test er en oplysning, kunden bruger i sin egen vurdering af forsyningskæden efter § 6, stk. 1, nr. 4.

Er I selv omfattet, er testen stadig kun en del af billedet. Den kan belyse effektiviteten af nogle foranstaltninger, som nr. 6 handler om, men den dækker ikke de ti områder. En test af en webapplikation siger fx intet om, hvordan medarbejderne er uddannet, eller om der er en plan for genetablering efter et nedbrud. Hvor meget testen kan bære, afhænger af, hvad der var aftalt som omfang. → Selv omfattet eller kun kunden?

Fem ting, dokumentationen ikke viser

En testrapport, et resumé eller en erklæring kan ikke bevise:

At I overholder NIS2 · ingen enkelt test kan vise det, og vurderingen tilhører kunden og i sidste ende myndigheden.
At der ikke findes svagheder · testen fandt det, den fandt, inden for den tid og det omfang, der var aftalt.
At dele uden for omfanget er i orden · det, der ikke blev testet, siger testen intet om.
At tilstanden er den samme i dag · ændringer efter testperioden er ikke afprøvet.
At processerne virker · hændelseshåndtering, backup og leverandørstyring testes ikke af en penetrationstest, medmindre det var aftalt som en del af den.

Skriv gerne de fem punkter i kort form i jeres følgebrev til kunden. Det signalerer, at I kender grænserne, og det beskytter jer mod, at dokumentationen senere bliver læst bredere, end den var ment. → Det, NIS2 ikke siger om penetrationstest

Et særligt tilfælde af det første punkt er forvekslingen med certificering. NIS 2-lovens § 8 giver mulighed for regler om, at enheder skal bruge produkter, tjenester og processer, der er certificeret efter en europæisk cybersikkerhedscertificeringsordning. Det er noget andet end en penetrationstest. En testrapport er heller ikke en revisionserklæring.

SAMSIK skriver i vejledningen om anvendelsesområdet, afsnit 8, at en NIS2-kunde ikke skal kræve fx en særlig certificering eller revisionserklæring af sine leverandører. Kunden kan aftale det, men en testrapport bliver ikke til en certificering, fordi kunden kalder den det. → Certificering og NIS2

Hvad dokumentationen faktisk kan vise

Grænserne betyder ikke, at dokumentationen er uden værdi. Bilaget til forordning (EU) 2024/2690, som gælder direkte for bestemte digitale udbydere og bruges som model af andre, beskriver i punkt 6.5.2, litra c, hvad en dokumenteret sikkerhedstest indeholder: type, omfang, tid og resultater med en vurdering af kritisk betydning og afbødende foranstaltninger for hvert fund.

Det er netop det, en god dokumentation kan vise kunden:

Hvad der blev undersøgt · hvilke dele af leverancen, og på hvilken måde.
Hvad der blev fundet · fund med alvorlighed og den del, de angår.
Hvad der er gjort · rettelser, midlertidige tiltag og accepterede risici med begrundelse.
At I følger op · status over tid og en plan for næste afprøvning.

→ Type, omfang, tid og resultat

Formuleringer, der lover for meget

Det kan være i følgebreve og skemaer, at dokumentationen kommer til at sige mere, end den kan bære. Vær varsom med formuleringer som “leverancen er NIS2-sikker”, “testen bekræfter, at vi lever op til jeres krav” eller “ingen sårbarheder”. Skriv i stedet, hvad testen undersøgte, og hvad den fandt.

En præcis formulering kunne være: “Testen dækkede webapplikationen og supportadgangen i den angivne periode. Fundene og status for hvert fund fremgår af vedlagte liste.” Den lover ikke noget, men den er sand. Lad gerne en anden end den, der har skrevet følgebrevet, læse det igennem med netop det spørgsmål for øje: står der noget, testen ikke kan bære? Det tager få minutter og kan fange de brede formuleringer, før de når kunden. → Når en test ikke er svaret

Det, der kan supplere testen

Spørger kunden efter noget, en test ikke kan vise, er svaret en anden slags dokumentation. Kunden vil måske vide, hvordan I håndterer hændelser, hvordan adgange styres i hverdagen, eller hvordan I holder øje med nye sårbarheder mellem to test. Det dokumenteres med beskrivelser af processer, logs over gennemgange eller resultater af løbende scanning, ikke med endnu en penetrationstest.

SAMSIK’s vejledning om foranstaltninger, afsnit 6.b, nævner da også en række tekniske test ud over penetrationstest, fx sårbarhedsscanning, konfigurationsgennemgang og test af adgangskontroller. → Kontroller mellem to test

Et tænkt eksempel

En leverandør af et system til ruteplanlægning sender sin testrapport til et affaldsselskab. I følgebrevet stod sidste år, at testen “dokumenterer, at systemet lever op til NIS2”. Affaldsselskabets nye sikkerhedsansvarlige beder om en forklaring på, hvordan en test kan dokumentere det.

Leverandøren skriver følgebrevet om. Det beskriver nu omfanget, testperioden, fundene og status, og det har et kort afsnit om, hvad testen ikke dækker: hændelseshåndtering, backup og den kortserver, en hostingpartner driver, og som ikke var med. Affaldsselskabet beder om en kort procesbeskrivelse for hændelseshåndtering som supplement og noterer resten i sin leverandøropfølgning.

Det skal I lade være med

At skrive, at testen beviser overholdelse af NIS2 · det kan ingen test.
At bruge ingen fund som bevis for, at alt er i orden · det betyder ingen fund i det testede omfang.
At kalde en testrapport en certificering eller erklæring · det er forskellige ting.
At udelade grænserne for at undgå spørgsmål · spørgsmålene kommer senere og er sværere at besvare.
At svare på et processpørgsmål med en ny test · nogle spørgsmål kræver en anden dokumentation.

Hvad kan og ikke kan konkluderes

Testdokumentationen viser, hvad en afgrænset undersøgelse fandt, og hvordan I har fulgt op. Den kan indgå i kundens vurdering af jer og i kundens egen dokumentation over for ledelse og tilsyn. Den kan ikke stå alene som bevis for overholdelse, og den kan ikke garantere, at kundens tilsyn finder den tilstrækkelig. → Effektivitet af foranstaltninger