AV-Comparatives.org: Whole Product Dynamic Test

[JoWa]

AV-Comparatives.org har publicerat resultatet av sitt första dynamiska test av säkerhetsprogram! Inte ett år för tidigt!

http://www.av-comparatives.org/comparativesreviews/dynamic-tests

[Silenz]

Tack för den du

[Cecilia]

Det testet ger ju inte så mycket. De skriver ju själva att det är alldeles för få testfall för att det ska kunna gå att dra några slutsatser. Det får väl mest ses som en övning inför nästa år:

This is our first public whole product dynamic test, and although our goal was to test many more samples, due to time/resources restrictions and some unexpected issues, we had to cut down to the relatively small number of around 100 test cases. Based on the experience and issues observed during this test, as well as feedback from AV vendors, AV-Comparatives will start providing whole product dynamic tests regularly starting from 2010, using a much greater number of test samples (to increase the statistical relevance), further infection vectors and improved reproducibility, by developing an automated system in co-operation with the Institute for Informatics and Quality Engineering of the University of Innsbruck.

[JoWa]

100 filer är i underkant, men metoden (dynamisk eller statisk) är mer avgörande än antalet filer. Sedan får filerna gärna vara färska också.

Det är i alla fall glädjande att AV-C äntligen har börjat testa programmen på riktigt (istället för att bara skanna passiva skadliga filer).

Nästa steg (förutom att göra testet mer omfattande) är att få testet granskat och eventuellt godkänt av AMTSO.

Nu tillåter inte AMTSO att man länkar till deras pdf-dokument, men är man nyfiken man kan ju alltid fråga vännen Google vad Best Practices for Dynamic Testing är.

[Cecilia]

Det är i alla fall glädjande att AV-C äntligen har börjat testa programmen på riktigt (istället för att bara skanna passiva skadliga filer).

Det håller jag med om

Även om den andra testen är viktig den också, allt kommer ju inte in via webbsidor.

[JoWa]

Oavsett varifrån de kommer utgör ”hoten” (t.ex. en massa programfiler i en mapp) inget verkligt hot så länge de inte gör/tillåts göra något. Om däremot ett enda program tillåts att installera/ladda en elak drivrutin…

Redigerad December 21, 2009 av JoWa

[Cecilia]

Jovisst, fast deras dynamiska test gick ut på att stoppa sådant som kommer in via webbsidor.

Den vanliga statiska testen motsvarar väl ungefär när man försöker installera något man har på USB-minne, tankat eller något sådant. Det är ju då bra om antivirusprogrammet upptäcker det så fort som möjligt. Det är ju inte meningen att man ska ha installationsfiler som installerar skadliga saker i datorn heller (om man nu inte är en expert som vill ha skadliga filer i datorn för test eller undersökning).

[JoWa]

De statiska testen missar allt som har hänt med säkerhetsprogram de senaste 20 åren, med undantag för heuristik i virusskannern Och jag tänker inte enbart på proaktiva tekniker, utan även möjligheten att skanna allt som laddas i arbetsminnet, där det är möjligt att detektera hot som annars undgår att detekteras med hjälp av packning/kryptering.

[Cecilia]

20 år var väl att ta i.

Visst, det behövs många typer tester för att täcka in allt, men nog tycker jag att det är bra om säkerhetsprogram reagerar på en gång när folk stoppar in USB-minnen med smittade filer i stället för att vänta tills installationsprogrammet börjar köra.

[JoWa]

Antivirusprogrammens historia börjar 1987, då virus spreds via disketter När heuristik började användas vet jag dock inte. Men också med hjälp av heuristik missar de bästa programmen tusentals filer då AV-C testar statiskt. Och en missad skadlig fil räcker för att infektera systemet Om alla skannade filer vore dagsfärska

Vilken skillnad gör det om varningen kommer då mappen som installationsprogrammet ligger i öppnas, eller då man klickar på det och får en varning och kan avbryta exekvering, eller om exekvering tillåts, och minnesskannern detekterar det i arbetsminnet?

För sent är det ju först då ett skadligt program har tillåtits utföra sitt verk. För att eliminera risken för att det skall hända, och göra programmen så lättanvända som möjligt, behövs flera tekniker, både proaktiva och reaktiva, och för att testa sådana program krävs dynamiska test.

[Cecilia]

Ja, att virus har funnits i mer än 20 år det vet jag. Men säkerhetsprogrammen använde ju bara signaturer och heuristik under lång tid, så de har ju inte utvecklats bort från de statiska testerna förrän efter år 2000.

Jag har inte menat att dynamiska tester inte behövs (ber om ursäkt om det jag skrivit kan tolkas så), bara att programmen behöver fungera på många nivåer/sätt och det är bra att de testas på många nivåer/sätt.

Proaktivitet har ju testas med statiska metoder också.

Ett annat dynamiskt test: http://blogs.pcmag.com/securitywatch/2009/12/av-testorg_releases_real-world.php

I vissa fall avviker det resultatet rejält från av-comparatives test.

[JoWa]

Ingen anledning att be om ursäkt, Cecilia. Det skadar aldrig att tvinga fram argument för och emot olika alternativ.

Jag antar att du åsyftar AV-Comparatives.org: Retrospective/Proactive Test. AV-C och jag har tydligen olika uppfattningar om vad proaktivt skydd innebär. Eller för att nyansera det något: det finns inte bara svart och vitt, utan även en skala med en mängd gråtoner däremellan. Den reaktiva extremen är ett program som uteslutande använder definitioner, och där en definition endast kan detektera ett hot. Ett litet steg åt det proaktiva hållet är att en generell definition som kan detektera en hel familj av hot, inklusive varianter som inte var kända då definitionen skapades. Nästa lilla steg i samma riktning är heuristik som reagerar på vissa filegenskaper. Det var dessa tekniker AV-C testade.

I den andra änden av skalan finns klassiskt intrångsskydd, som är rent proaktivt. Ett sådant skydd kan inte testas statiskt, då det handlar om att hindra program från att utföra olika åtgärder (t.ex. att starta), och vid ett statiskt test utför hoten inga åtgärder som kan hindras (och utgör därför inget reellt hot). I ett dynamiskt test klarar ett sådant program (om det är välgjort) 100 %. Utmaningen är att göra ett sådant skydd lättanvänt

Nåväl. Fördelen med ett dynamiskt test är att ett programs alla tekniker kan testas, såväl reaktiva som proaktiva.

[Cecilia]

Jag antar att du åsyftar AV-Comparatives.org: Retrospective/Proactive Test.

Det finns ju fler än AV-comparatives som utför proaktiva test på samma sätt.

[Opptokoppter]

AV-Comparatives.org har publicerat resultatet av sitt första dynamiska test av säkerhetsprogram! Inte ett år för tidigt!

http://www.av-comparatives.org/comparativesreviews/dynamic-tests

Spännande resultat, det gav en lite annorlunda bild mot hur tidigare tester har sett ut under hösten & sommaren.

Nästan så man börjar undra om tidigare tester går att jämföra med den här nya.

Ok vissa av programmen såg ut att ligga på en liknande nivå som innan, jämfört med de övriga men annars var min egen reaktion lite överaskande då man ser Kaspersky uppe på toppen tillsammans med Norton som väl också låg lite sämre till förut. Sedan saknade jag att flera andra inte fanns med i undersökningen, ger iaf mig en & annan misstanke om hur detta kommer sig. En som varit tippad är ju a-Squared som skrytit rätt bra efter framgångar dem haft, konstigt att dem inte fanns med. Verkar nästan som man valt att inte delta bara för man inte vill riskera sin ranking.

[JoWa]

Jag väntade att Kaspersky skulle hamna i topp. KIS2010 är ett mycket starkt paket med flera lager, och det ger resultat i ett dynamiskt test, liksom i verkligheten.

Nu testades programmen med standardinställningar, men hade Application Control (intrångsskyddet) konfigurerats annorlunda hade resultatet troligen blivit 100/100.

AV-C har väl aldrig testat a-squared?

[Silenz]

Även NIS 2010 har flera lager av säkerhet.

Redigerad Januari 27, 2010 av Silenz