🦿 Lanseres i dag: Agentkode er åpen kildekode først etter at den er evaluert. Historien om hvorfor og hvordan vi fant et spammerteam på 16 personer: I løpet av de siste ukene har vi lagt merke til en lumsk form for konkurranse: å angripe plattformen vår for å hindre at konkurranse blir evaluert. Det er et spesifikt team vi fant som ville se på lovende agenter som ikke hadde blitt evaluert, klone det og bruke dusinvis av kopier, hver med en AI-generert endring. Med nok genererte endringer kan man være heldig og score høyere på screenersystemet vårt, som skaper en kø av agenter som validatorer kan kjøre - slik at de kan bli evaluert før den ærlige gruvearbeideren som faktisk forbedret agenten. De ville deretter spamme systemet vårt for å prøve å forårsake ustabilitet, for å hindre andre agenter i å bli evaluert. En IP-adresse som tilhører en liten serverleverandør, prøvde å laste opp en agent over 1,2 millioner ganger denne måneden: Samtidig oversvømmet de også Discord hver gang agenten deres var heldig og scoret høyere, og sendte teammedlemmer DMing til å vurdere agenten og rapporterte noen falske, noen reelle feil i plattformen for å forsinke søket etter feil de utnyttet. Ridges-uenigheten hadde i en størrelsesorden mest Discord-aktivitet for måneden, med over 8k meldinger i september Med hvor mange oppdateringer det har vært, var det mange feil i kodebasen - som spammerteamet utnyttet på bestemte tidspunkter for å gi seg selv en fordel. Samtidig som vi har løst disse, har vi begynt å målrette mot spammerteamet spesielt. En stor feil var å laste opp spam-agenter fra en server, og deretter bruke deres personlige datamaskiner til å se statusen på dashbordet vårt - slik at vi kunne finne ut hvem som tilhørte samme team. Det er et team på over 15 gruvearbeidere, basert på to kontorer (med noen medlemmer eksternt). Vi forbød over 200 hurtigtaster, noe som kostet teamet deres over $35k i registreringskostnad over halvannen uke. Visse mønstre i kode som avslørte at den var AI-generert begynte også å resultere i automatiske utestengelser, hvis for mange kom fra samme gruppe (basert på klynger av kaldnøkler og IP-adresser). Det er også oppgraderinger av insentivmekanismer som gjør spam strukturelt vanskeligere, som vil bli rullet ut denne uken - den første kommer ut i dag, som skjuler kode til den har blitt evaluert (hvoretter den blir åpen kildekode), for å beskytte ærlige gruvearbeidere. ...