Når en test ikke er det rigtige svar på et effektivitetskrav

En penetrationstest er et stærkt bevis på, hvordan tekniske forsvar holder mod et forsøg på at komme igennem. Men når en NIS2-kunde beder jer dokumentere, at jeres foranstaltninger er effektive, handler en stor del af spørgsmålet om noget andet: om procedurer bliver fulgt, om planer virker i praksis, og om medarbejderne ved, hvad de skal gøre. Reglerne behandler test som én måde at vurdere effektivitet på, ikke som den eneste.

Det er værd at vide, før I bestiller en test, der skal svare på et spørgsmål, den ikke kan svare på. Teksten er ikke juridisk rådgivning.

Hvad effektivitetskravet omfatter

NIS 2-lovens § 6, stk. 1, nr. 6, nævner politikker og procedurer til vurdering af effektiviteten af foranstaltninger til styring af cybersikkerhedsrisici. Lovbemærkningerne, som SAMSIK gengiver i sin vejledning om foranstaltninger, siger, at enhederne skal vurdere effektiviteten af de implementerede foranstaltninger og vurdere behovet for tekniske test, fx sårbarhedsscanninger eller penetrationstest.

Bemærk rækkefølgen. Først kommer vurderingen af effektivitet, derefter vurderingen af, om der er behov for tekniske test. I vejledningens afsnit 6.a skal procedurerne blandt andet indeholde metoder til at vurdere, om politikken efterleves, en metode til at følge op på en foranstaltning, der vurderes ineffektiv, og en angivelse af, hvem der udfører vurderingerne. Tekniske test er nævnt som et eksempel på værktøjer, ikke som hele svaret. → Effektivitet af foranstaltninger

Forordningen nævner flere slags afprøvning

Gennemførelsesforordning (EU) 2024/2690 gælder direkte for en række digitale udbydere som cloud, datacentre og administrerede tjenester, men dens bilag kan bruges som tjekliste af andre kunder. Bilaget nævner afprøvning flere steder, og ikke alle handler om penetrationstest:

Hændelseshåndtering · punkt 3.1.3 siger, at roller, ansvarsområder og procedurer i politikken for håndtering af hændelser skal testes og gennemgås med planlagte mellemrum.
Driftskontinuitet · punkt 4.1.4 siger, at driftskontinuitetsplanen og katastrofeberedskabsplanen skal testes, og at erfaringerne skal indarbejdes i planerne.
Bevidstgørelse · punkt 8.1.3 siger, at bevidstgørelsesprogrammet testes med hensyn til effektivitet, hvor det er relevant.
Uafhængig gennemgang · punkt 2.3 handler om en gennemgang af hele tilgangen til sikkerhed, udført af personer med passende auditkompetence.
Måling · punkt 7.2 beder enheden fastlægge, hvilke foranstaltninger der skal overvåges og måles, med hvilke metoder, hvornår og af hvem.

Sikkerhedstest efter punkt 6.5 er altså én post blandt flere. → Uafhængig gennemgang og teknisk test

Spørgsmål, som en penetrationstest ikke besvarer

En penetrationstest viser, om en tester inden for et aftalt omfang og en aftalt tid kunne omgå jeres tekniske forsvar. Den siger lidt eller intet om:

Om procedurer bliver fulgt · fx at adgange fjernes, når en medarbejder stopper, eller at ændringer godkendes.
Om I kan genetablere driften · en gendannelse fra backup skal afprøves for sig.
Om beredskabet fungerer · hvem der ringer til kunden, og hvor hurtigt beslutninger træffes.
Om medarbejderne har forstået uddannelsen · det kræver andre målinger end en teknisk test.
Om jeres egne leverandører lever op til kravene · det afklares gennem aftaler og opfølgning.

Nogle af punkterne kan en test berøre i kanten. En test kan finde en glemt konto og dermed antyde, at fratrædelsesproceduren har huller. Men den kan ikke vise, at proceduren generelt virker. → Driftskontinuitet hos leverandøren

Det bedre svar på hver type spørgsmål

Når kunden spørger bredt til effektivitet, kan I dele spørgsmålet op og svare med den form for afprøvning, der passer:

Teknisk modstandskraft · penetrationstest eller sårbarhedsscanning af de dele, kunden er afhængig af.
Beredskab og hændelser · en øvelse, hvor rollerne afprøves, og hvor læring skrives ned.
Kontinuitet · en dokumenteret gendannelse og en gennemgang af planens forudsætninger.
Adgangsstyring · en periodisk gennemgang af brugere og rettigheder med dokumenterede ændringer.
Bevidsthed · målinger knyttet til uddannelsen, fx om medarbejderne melder mistænkelige henvendelser.
Helheden · en uafhængig gennemgang af styringen, som hører under ledelsens ansvar og ikke er en teknisk opgave.

Den sidste post hører til styring og dokumentation som helhed og nævnes her kun for at vise, hvor testen holder op. → Fra effektivitetskrav til testplan

Et tænkt eksempel

En leverandør af et bookingsystem til en regions ambulante klinikker får spørgsmålet: “Dokumentér, at jeres sikkerhedsforanstaltninger er effektive.” Leverandørens første indskydelse er at bestille en penetrationstest af hele virksomheden.

I stedet deler leverandøren svaret i tre. Bookingsystemet og supportadgangen testes, fordi regionens data og brugere er der. Beredskabsplanen afprøves i en kort øvelse, hvor leverandøren simulerer et nedbrud og noterer, hvornår regionen ville få besked. Endelig sendes resultatet af den seneste gennemgang af brugeradgange. Regionen får dermed tre forskellige former for bevis, der hver svarer på en del af spørgsmålet, og testen kan holdes til det, den er god til.

Øvelsen fik samme behandling som testen: et kort notat med dato, deltagere, scenariet, hvad der gik som planlagt, og hvad der skal ændres. Uden sådan et notat er en øvelse svær at bruge som dokumentation, fordi kunden ikke kan se, hvad den viste. Regionen bad bagefter om at deltage i næste øvelse, hvilket gav begge parter et bedre billede af, hvordan beskeder mellem dem fungerer i praksis.

Det skal I lade være med

At bruge en penetrationstest som svar på alt · den belyser tekniske forsvar, ikke procedurer og planer.
At kalde en øvelse for en test uden at beskrive den · skriv, hvad der blev afprøvet, og hvad I lærte.
At udvide testen for at dække organisatoriske spørgsmål · det gør testen dyrere uden at gøre svaret bedre.
At undlade at spørge kunden, hvad den vil vide · et bredt spørgsmål kan dække over et konkret behov.
At love, at en samlet pakke opfylder NIS2 · kunden og kundens myndighed vurderer kundens tilgang.

Hvad kan og ikke kan konkluderes

Reglerne viser, at effektivitet skal vurderes med metoder, enheden selv fastlægger, og at tekniske test er én af dem. De viser ikke, at en penetrationstest kan stå alene som bevis. Omvendt kan en øvelse eller en gennemgang heller ikke erstatte en test, når spørgsmålet er, om et teknisk forsvar holder. Det bedste svar til kunden matcher metoden med spørgsmålet. Hvis kunden vil have mere end en test, kan red teaming eller en kombineret øvelse være på tale. → Red teaming som svar på et NIS2-krav