Beveiligingsonderzoeker ontwikkelt T-shirtpatroon dat bewakingscamera’s met AI-gezichtsherkenning moet misleiden

Bewakingscamera’s houden niet langer alleen toezicht, maar zijn steeds beter in staat om te begrijpen wat ze zien.

Met behulp van kunstmatige intelligentie kunnen moderne camera’s automatisch mensen, voertuigen en kentekenplaten herkennen. Naarmate de technologie ook haar weg vindt naar onder meer slimme brillen, kan deze vorm van herkenning binnenkort een veel natuurlijker en meer geïntegreerd onderdeel van het dagelijks leven worden.

De Amerikaanse beveiligingsonderzoeker Bill Swearingen heeft het afgelopen jaar onderzocht of kunstmatige intelligentie kan worden misleid en fouten kan maken. Als initiatiefnemer van het project noRecognition heeft hij ongeveer 31 miljoen tests uitgevoerd in zijn zoektocht naar methoden die verschillende herkenningsalgoritmen op het verkeerde been kunnen zetten.

Het resultaat is een reeks bijzondere patronen die zijn ontwikkeld om de systemen in verwarring te brengen, maar die er voor mensen simpelweg uitzien als opvallende grafische ontwerpen. Voor de kunstmatige intelligentie van camera’s kunnen ze er daarentegen heel anders uitzien, en juist dat maakt het project bijzonder interessant.

De patronen zijn namelijk niet ontwikkeld om op een computerscherm of in een laboratorium te blijven, maar om in de echte wereld te functioneren. Swearingen heeft de patronen onder meer op T-shirts aangebracht om te onderzoeken of ze het voor een AI-systeem moeilijker kunnen maken om de persoon voor de camera te herkennen.

Het experiment draait echter om meer dan alleen het misleiden van een algoritme. De onderzoeker stelt tegelijkertijd de vraag hoeveel controle mensen over hun eigen identiteit zouden moeten hebben in een wereld waarin camera’s steeds intelligenter worden.

“Privacy is een fundamenteel recht,” zei Bill Swearingen in een interview met het Amerikaanse nieuwsmedium TechCrunch.

Niet onzichtbaar voor de camera

Zijn patronen moeten mensen toestaan zich tegen de nasporing te verzetten. Zijn systeem probeert verschillende patronen uit en controleert vervolgens of een camera het daarmee bedekte object nog herkent.

Werkt een patroon niet, dan wordt het aangepast en opnieuw getest. Swearingen omschrijft het proces vereenvoudigd als het trainen van een model dat leert schilderen.

Volgens hem konden de door hem ontwikkelde patronen uiteindelijk alle elf door hem geteste herkenningssystemen misleiden. Daartoe behoren wijdverbreide systemen zoals Flock-kentekenregistratie, Axon-bodycams en Clearview AI voor gezichtsherkenning.

Belangrijk daarbij is dat de patronen mensen of auto’s niet onzichtbaar maken voor de camera. Het beeld wordt nog altijd opgenomen en zou voor een mens zichtbaar zijn, het gaat om de software erachter.

Artikel gaat verder onder de afbeelding.

Die zou niet langer betrouwbaar moeten herkennen dat zich op het beeld een mens of een voertuig bevindt. Daardoor kunnen geautomatiseerde herkennings- en alarmsystemen falen.

Op de Def Con-conferentie in Las Vegas, de grootste conferentie ter wereld voor hackers en IT-beveiliging, werd de techniek voor het eerst openbaar onder reële omstandigheden gedemonstreerd. Een Toyota Yaris uit 2009 werd van een van de patronen voorzien en langs een Flock-camera gereden.

“We hebben bewezen dat het werkte”, aldus Swearingen tegen TechCrunch.

Er waren echter nog moeilijkheden met de wielen. De test is een eerste aanwijzing dat de patronen een algoritmische herkenning daadwerkelijk kunnen misleiden.

Swearingen wil de technologie nu bruikbaar maken voor het dagelijks leven. Via een crowdfundingcampagne worden al kledingstukken met bijbehorende patronen aangeboden, gepland zijn onder meer T-shirts en hoodies en op langere termijn zijn ook wrapfolies voor voertuigen voorzien.

Artikel gaat verder onder de afbeelding.

De ontwikkeling zou ook interessant kunnen worden voor een andere vorm van cameratoezicht. Slimme brillen zoals de Meta Ray-Ban-brillen kunnen met de geïntegreerde camera hun omgeving voortdurend vastleggen.

Meta lag onlangs onder vuur omdat het in het geheim een gezichtsherkenningstechnologie voor zijn slimme brillen zou hebben getest. Een patroon dat bepaalde AI-herkenningssystemen in de war brengt, zou daarmee in principe ook bij draagbare camera’s relevant kunnen worden.

Uit de tot dusver uitgevoerde tests valt echter niet af te leiden dat de kleding mensen ook beschermt tegen de camera’s van slimme brillen of hun AI-functies.

De ontwikkelaars hebben hun patronen getest tegen bepaalde beeldherkenningssystemen, niet tegen alle vandaag beschikbare camera- en AI-technologieën.

Patronen getest tegen systemen

Voor de automobilist raakt deze ontwikkeling aan een breder debat over privacy en de opmars van geautomatiseerd cameratoezicht op de weg.

Systemen die kentekens automatisch registreren en voertuigen volgen, worden wereldwijd steeds vaker ingezet, zowel voor verkeershandhaving als voor opsporing.

De voorgestelde wrapfolies voor voertuigen zouden in theorie een manier bieden om zich aan die geautomatiseerde herkenning te onttrekken. Of dergelijke folies juridisch toelaatbaar zouden zijn, is een heel andere vraag.

In veel landen gelden strenge regels rond het manipuleren of onleesbaar maken van kentekens en het bewust misleiden van handhavingssystemen kan al snel op gespannen voet staan met de wet. De technologie roept daarmee niet alleen technische, maar ook fundamentele juridische en ethische vragen op.