Op maandag merkte een ontwikkelaar met de populaire AI-aangedreven code-editor Cursor iets vreemds op: schakelen tussen machines heeft ze onmiddellijk uitgedeeld en een gemeenschappelijke workflow doorbroken voor programmeurs die meerdere apparaten gebruiken. Toen de gebruiker contact opnam met cursorondersteuning, vertelde een agent met de naam “Sam” hen dat het werd verwacht gedrag onder een nieuw beleid. Maar een dergelijk beleid bestond niet en Sam was een bot. Het AI -model maakte het beleid op en leidde tot een golf van klachten en annuleringsbedreigingen die zijn gedocumenteerd op Hacker News en Reddit.
Dit markeert het laatste exemplaar van AI -confabulaties (ook wel “hallucinaties” genoemd) die potentiële zakelijke schade veroorzaakt. Confabulaties zijn een soort “creatieve gap-filling” -reactie waarbij AI-modellen plausibel klinkende maar valse informatie uitvinden. In plaats van onzekerheid toe te geven, geven AI -modellen vaak prioriteit aan het creëren van plausibele, zelfverzekerde antwoorden, zelfs als dat betekent dat productie -informatie helemaal opnieuw is.
Voor bedrijven die deze systemen implementeren in klantgerichte rollen zonder menselijk toezicht, kunnen de gevolgen onmiddellijk en duur zijn: gefrustreerde klanten, beschadigde vertrouwen en, in het geval van de cursor, mogelijk geannuleerde abonnementen.
Hoe het zich ontvouwde
Het incident begon toen een Reddit -gebruiker met de naam Brukentoasteroven merkte dat tijdens het ruilen tussen een bureaublad, laptop en een externe ontwikkelaars, cursorsessies onverwacht werden beëindigd.
“Aanmelden bij de cursor op één machine maakt de sessie onmiddellijk ongeldig op een andere machine,” schreef Brokentoasteroven in een bericht dat later werd verwijderd door R/Cursor Moderators. “Dit is een belangrijke UX -regressie.”
Verward en gefrustreerd, schreef de gebruiker een e -mail aan cursorondersteuning en ontving snel een antwoord van SAM: “Cursor is ontworpen om met één apparaat per abonnement te werken als een kernbeveiligingsfunctie”, lees het e -mailantwoord. Het antwoord klonk definitief en officieel en de gebruiker vermoedde niet dat Sam niet menselijk was.
Screenshot van een e -mail van de Cursor Support Bot genaamd Sam.
Credit: BrukentoasterOven / Reddit
Na de eerste Reddit -post namen gebruikers de post als officiële bevestiging van een daadwerkelijke beleidsverandering – een die gewoonten die essentieel zijn voor de dagelijkse routines van veel programmeurs brak. “Multi-Device-workflows zijn tabelinslag voor ontwikkelaars”, schreef een gebruiker.
Kort daarna kondigden verschillende gebruikers publiekelijk hun abonnement op annuleringen op Reddit, met het niet-bestaande beleid als hun reden. “Ik heb letterlijk mijn sub geannuleerd”, schreef de originele Reddit -poster en voegde eraan toe dat hun werkplek nu “volledig zuiverde.” Anderen deden mee: “Ja, ik ben ook aan het annuleren, dit is asinine.” Kort daarna vergrendelden moderators de Reddit -thread en verwijderden de originele post.
