Dette researchoverblik er samlet og skrevet af AI ud fra ugens udvalgte kilder. Det er ikke en personlig afprøvning eller en fagfællebedømmelse fra Evgeny Karpov.

Ugens kilder: 04.09.2026–10.09.2026.

Denne uge handler mindre om, hvor godt en agent kan formulere et svar, og mere om hvorvidt dens handlinger, patches og retrieval-resultater holder, når de møder rigtige grænser i et workflow.

Autoritet skal ligge ved grænsen, ikke i prompten

Ugens tydeligste forbindelse er, at agenters hukommelse, workspace og værktøjer ikke udgør én samlet sikkerhedstilstand. En agent kan se de rigtige filer og stadig mangle afgørende viden om, hvem der må publicere, ændre eller køre noget. Det gør beslutninger, der alene afhænger af det synlige repository eller modelkonteksten, skrøbelige.

Beyond Agent Harnesses undersøger denne afstand mellem planlægning og faktisk autoritet i kontrollerede mini-benchmarks. Forfatternes resultat peger på, at en deterministisk kontrol ved mutationsgrænsen kan standse uautoriserede handlinger, også når en model allerede har valgt dem som første skridt. Det er en mere driftbar idé end at forvente, at bedre kontekst alene gør agenten konsekvent sikker.

Authority Is Not a String anvender samme grundprincip på coding agents og prompt injection: autoritet afgrænses som capabilities pr. agent og kontrolleres uden for modelkonteksten. Det er især relevant i workflows med delegation, hvor en sub-agent måske må læse logs, men ikke ændre CI-konfiguration eller sende data ud af miljøet. Begge resultater kommer fra preprints og afgrænsede evalueringer; de dokumenterer ikke robusthed på tværs af alle værktøjer, repositories eller produktionsmiljøer.

Kilder: Beyond Agent Harnesses: Cross-Substrate Authority for Multi-Agent Systems; Authority Is Not a String: A Capability-Scoped Harness for Prompt-Injection-Resistant Coding Agents.

En patch er ikke færdig, fordi testen er grøn

To benchmarks udfordrer den velkendte genvej fra “tests passerer” til “ændringen er acceptabel”. SWE-Gate skelner mellem funktionelle tests og review constraints, altså eksplicitte krav der typisk fremkommer i pull request-review. Forfatterne finder, at en betydelig del af reparationer, der klarer funktionelle tests, ikke klarer hele specifikationen.

PatchBench viser den sikkerhedsmæssige version af samme problem. En sårbarhedspatch kan få en given Proof-of-Concept til at holde op med at crashe uden at rette årsagen, og historiske patches kan ligne trænings- eller referenceeksempler. Derfor foreslår forfatterne validering, der tester både sikkerhed og semantisk korrekthed, frem for kun crash-undertrykkelse.

For backend- og platformteams betyder det, at agent-evaluering bør følge den faktiske acceptance pipeline: tests, policy, reviewkrav og sikkerhedsegenskaber. Det er en fortolkning af benchmarkresultaterne, ikke en påstand om, at enhver grøn build er utilstrækkelig. Begge studier er benchmarkarbejde baseret på deres valgte repositories og scenarier, så størrelsen på de rapporterede huller kan ikke uden videre overføres til et konkret system.

Kilder: SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents; PatchBench: Evaluating AI Agents for Vulnerability Patching.

Benchmarkets miljø former svaret

PrivEscalate og Q2D-Web peger på en bredere platformlære: modelrangeringer og succesrater er egenskaber ved et helt setup, ikke kun ved modellen. I PrivEscalate varierer resultater med sårbarhedstype, agentarkitektur og miljøforstyrrelser. En agent, der ser stærk ud i ét Linux-scenarie, er derfor ikke automatisk det bedste valg til en anden driftssituation.

Q2D-Web finder tilsvarende, at retrieveres indbyrdes placering varierer på tværs af domæner, sprog og querytyper. Det er centralt for agentic RAG, fordi første retrieval ofte modtager agent-omformulerede queries frem for menneskeskrevne søgninger. En generel leaderboard-score kan dermed skjule en svaghed i netop de incident-, runbook- eller dokumentationsforespørgsler, et team faktisk har.

PrivEscalate beskriver et specialiseret wrapper-design med deterministisk enumeration og planlægning, mens Q2D-Web undersøger mere realistiske retrieval-data og relevance judgments. De er nyttige måleinstrumenter, men abstracts alene forklarer ikke alle datasætvalg, fejltilfælde eller operationelle omkostninger. Den praktiske læsning er derfor at måle på egne repræsentative workflows, før en model eller arkitektur bliver standardiseret.

Kilder: PrivEscalate: Measuring and Augmenting the Threat of LLM-Automated Linux Privilege Escalation; Q2D-Web: A Large-Scale Benchmark for Retrieval in Agentic RAG Systems.

Hvad er værd at tage med?

Vælg ét afgrænset agent-workflow i næste uge, for eksempel en automatiseret dependency-opdatering: skriv en capability-matrix for læse-, ændre- og publish-rettigheder, og lad acceptance kræve både testresultat og én konkret policy- eller reviewkontrol. Kør derefter samme workflow på repræsentative repositories og fejlscenarier, så beslutningen bygger på den lokale arbejdsgang frem for en generel benchmark-score.

Overblikket bygger på de linkede kilders abstracts eller artikeluddrag. Resultaterne er forfatternes egne rapporter; forslag til praksis er overblikkets fortolkning. Kildeudvalget dækker ikke al ugens forskning.