“Telkens wanneer een van deze crawlers uit mijn tarpit trekt, zijn de middelen die ze hebben geconsumeerd en zullen ze hard geld moeten betalen,” legde Aaron uit aan Ars. “Het verhoogt effectief hun kosten. En gezien hoe geen van hen winst heeft gemaakt, is dat een groot probleem voor hen.”
Op vrijdag kondigde Cloudflare ‘AI Labyrinth’ aan, een vergelijkbare maar meer commercieel gepolijste aanpak. In tegenstelling tot Nepenthes, die is ontworpen als een aanvallend wapen tegen AI -bedrijven, positioneert CloudFlare zijn tool als een legitieme beveiligingsfunctie om website -eigenaren te beschermen tegen ongeoorloofd schrapen, zoals we destijds hebben gemeld.
“Wanneer we ongeoorloofde kruipen detecteren, in plaats van het verzoek te blokkeren, zullen we linken naar een reeks door AI gegenereerde pagina’s die overtuigend genoeg zijn om een crawler te verleiden om ze te doorkruisen,” verklaarde Cloudflare in de aankondiging. Het bedrijf meldde dat AI -crawlers dagelijks meer dan 50 miljard verzoeken aan hun netwerk genereren, goed voor bijna 1 procent van alle webverkeer die ze verwachten.
De gemeenschap ontwikkelt ook samenwerkingsinstrumenten om te helpen beschermen tegen deze crawlers. Het project “AI.ROBOTS.TXT” biedt een open lijst van webcrawlers die aan AI -bedrijven zijn gekoppeld en biedt premade robots.txt -bestanden die het Robots Exclusion Protocol implementeren, evenals .HTACCES -bestanden die foutpagina’s retourneren bij het detecteren van AI Crawler -aanvragen.
Zoals het er nu uitziet, bedreigen zowel de snelle groei van door AI gegenereerde inhoud overweldigende online ruimtes en agressieve webcrawlingpraktijken door AI-bedrijven de duurzaamheid van essentiële online bronnen. De huidige aanpak van sommige grote AI-bedrijven-die enorme hoeveelheden gegevens uit open-source-projecten zonder duidelijke toestemming of compensatie hebben, ontstaat, loopt het zeer digitale ecosysteem ernstig van waar deze AI-modellen afhankelijk zijn.
Verantwoordelijke gegevensverzameling kan haalbaar zijn als AI -bedrijven rechtstreeks samenwerken met de getroffen gemeenschappen. Prominente spelers in de industrie hebben echter weinig stimulans getoond om meer coöperatieve praktijken aan te nemen. Zonder zinvolle regelgeving of zelfbeheersing door AI-bedrijven, lijkt de wapenwedloop tussen data-hongerige bots en degenen die proberen open source-infrastructuur te verdedigen waarschijnlijk verder escaleren, waardoor de crisis voor het digitale ecosysteem kan worden verdiept dat het moderne internet ten grondslag ligt.
