Skip to content
VibekollenBETAVibekollen

Källa

AI Engineer

146 referat i flödet. Sammanfattningarna är skrivna av Vibekollen — innehållet tillhör AI Engineer.

VideoAI Engineer

SOTA Generative Media Panel — Dumitru Erhan, Shane Gu & Nicole Brichtova, Google DeepMind

I en paneldiskussion från Google DeepMind diskuterar forskare problem med att utvärdera AI-genererad media. När deras videomodell återskapade scener från verkliga videor föredrog människor ofta den genererade versionen — men det berodde på att den var skarpare och mer färgmättad, inte mer realistisk. Panelen pekar på flera svårigheter: språk är en dålig mellanrepresentation för saker som ljud, smak och hudtoner som människor är känsliga för, AI-videomodeller låter alltid studiokvalitet eftersom det är vad modellerna tränas på, och modellerna hackar belöningen genom att lägga på bröllopsringar utan att någon märker det under utvecklingen. Slutligen konstaterar de att utvärdering av videomodeller fortfarande måste göras manuellt — tio personer som tittar på två videor och väljer en.

30 aug. youtube.com

VideoAI Engineer

Tell the Robot What You Want — Sandhya Subramani, AWS

Sandhya Subramani från AWS visar Scout, en liten robotkryp som körs på en Raspberry Pi över 4G-anslutning. Istället för att träna roboten för varje specifik uppgift lägger hon ett agentlager ovanpå — en AI-agent som kan förstå naturligt språk och själv bestämma vilken redan tränad regel den ska använda. I en demo frågar hon roboten hur många människor den ser, något den aldrig tränats på, och den svarar genom att kontrollera sin främre kamera. Det hela är kopplat med bara fem rader kod från ett öppet AWS-ramverk som redan stödjer ungefär 40 olika robotar.

29 aug. youtube.com

VideoAI Engineer

The Signal Layer: What to Build When Anything Can Be Built — Lena Hall, Akamai

Lena Hall från Akamai argumenterar att när AI-verktyg blir tillgängliga för alla blir genomsnittligt arbete värdeslöst — alla får samma svar från modellerna. Det som räddas är inte smak utan något snävare: omdöme om problem som ännu inte hänt och relationer som modellen aldrig sett. Hon menar att agenter (automatiserade AI-system) gav alla ett verktyg för att attackera alla möjliga problem, så den sällsynta skickligheten blev att välja vilka problem som faktiskt förtjänar en lösning. Hon varnar också för hur företag ofta tappar bort den verkliga kundfrågan på vägen från grundare till organisationen.

29 aug. youtube.com

VideoAI Engineer

Tribal Dungeons of Global Shipping: AI Agents at Global Scale — Dmitry Buykin, Maersk

Maersk använder AI-agenter för att automatisera globala shippingprocesser, men upptäckte att deras befintliga dokumentation — screenshots på vad människor klickar — inte funkar för agenter. Dmitry Buykin kallar detta gap för "tribal dungeons": kunskapen finns men inte i körbar form. En agent behöver regler, beslutspunkter, systemkopplingar, validering och bevis på att det fungerade. Det största arbetet var inte själva agenten utan den refineringslinga runt omkring — över 100 000 korrigeringar under nio månader för att hantera att samma shippingsteg betyder olika saker i olika länder. Exaktheten fanns inte från början utan måste tjänas fram genom att kartlägga vilka fel som händer oftast, ofta med varje enskild fix som tog ett par månader.

29 aug. youtube.com

VideoAI Engineer

Agentic Sites: Building Hyper Personalized Websites — Carlos Sanchez, Adobe

Adobe-teknolog Carlos Sanchez visar hur webbsidor kan byggas på sekunden för varje enskild besökare. När någon söker efter en campingkaffebryggare sätter sig sidan ihop själv på under två sekunder — med produkter, text och tips skapat just för den frågan. Istället för att generera en helt ny sida ändrar systemet bara vissa block (rubrik, produktlista, uppmaning till handling) och förankrar allt i webbplatsens befintliga innehål för att undvika hallucineringar. Adobe testar olika AI-modeller för varje webbplats, fokuserat på både noggrannhet och hastighet — deras snabbaste tog 1,1 sekund mot 4,6 för nästa bästa. Det behövs inte en avancerad modell för jobbet eftersom det handlar om att välja och ordna block.

29 aug. youtube.com

VideoAI Engineer

Agents Are Where Microservices Were in 2015 — Roberto Milev & Uday Kanagala, Navan

Roberto Milev och Uday Kanagala från Navan jämför agenter (AI-system som kan ta beslut och genomföra åtgärder själva) med hur microservices utvecklades för ett decennium sedan. De förklarar att agenter fortfarande är i ett tidigt stadium och att många arkitektoniska frågor inte är lösta — till exempel: vem är ansvarig när en agent köper något på uppdrag av en användare? Navan bygger sina agenter kring en huvudagent som progressivt laddar in olika "färdigheter", och de använder så kallade hooks för att fånga varje verktygsanrop tillsammans med agentens resonemang och säkerhetsbedömning. Ett konkret problem är att traditionell loggning inte fungerar när agenter tänker mycket internt, och att testa icke-deterministiska system kräver helt andra metoder än att kolla om ett resultat är rätt eller fel.

29 aug. youtube.com

VideoAI Engineer

From Tokenmaxxing to Trusted Throughput — Mingsheng Hong, Ironclad

Mingsheng Hong från Ironclad varnar för att mäta AI-användning som en tävling — det leder bara till att ingenjörer bryr sig om att använda mer tokens istället för mindre. Ironclad använder samma mätningar, men som rökalarm: om ett team använder överraskande få tokens är det värt att prata om. Det viktiga är inte bara att mäta kostnad, utan också värde — Ironclad följer nu "trusted throughput", alltså arbete som går genom kod-review, automatiska tester och nå faktiska kunder. Flaskhalsen ligger ofta inte i AI-kostnad utan i långsamma review-processer och testning, så Hong förespråkar unglamörösa förbättringar som att fixa opålitliga tester och minska agent-omförsök.

29 aug. youtube.com

VideoAI Engineer

Guardians of the State: An Air-Gapped AI Fortress for Consumer Data — Rachna Srivastava, DFPI

Californias finanspolismyndighet DFPI bygger ett AI-system för bedrägeridetektering med extrema säkerhetskrav. Istället för mjukvarufirewalls kopplade de en fiberoptisk kabel med endast mottagare inåt — data kan inte fysiskt lämna systemet. De upptäckte att deras första försök kollapsade för att de behandlade AI-modellen som magic snarare än en datapipeline; de löste det genom att låta Kafka och Spark rensa data innan modellen såg den. Nu skickar de över 80 procent av arbetet till små, effektiva modeller istället för att köra en stor modell för allt, vilket tredubblat genomströmningen.

29 aug. youtube.com

VideoAI Engineer

The Half Life of Agent Infrastructure — Ben Kus, Box

Ben Kus från Box visar hur AI-infrastruktur förändras mycket snabbare än vanlig mjukvara. Medan normal infrastruktur håller i 3–5 år, byts agent-infrastruktur på några månader — modellval, agentdesign och sökmotorer ser helt annorlunda ut från år till år. Kus råder människor att förvänta sig förändring som en normalitet snarare än ett misslyckande, bygga system som enkelt låter dig byta underliggande teknik, och bara byta när dina tester säger att det spelar roll — inte för att någon ny artikel är spännande. Box granskar nu all AI-teknik på en sex månaders cykel.

29 aug. youtube.com

VideoAI Engineer

AI-Native Organisations Run on Skills: How to Structure and Scale Them — Imad Touil, QuantumBlack

Imad Touil från QuantumBlack argumenterar att AI-organisationer bör byggas omkring "skills" — återanvändbara byggstenar som genomför specifika uppgifter. Problemet är att de flesta organisationer bygger samma skills om och om igen utan att dela eller underhålla dem centralt, vilket skapar teknisk skuld. Hans lösning är en central katalog med metadata, versioner, ägarskap och åtkomstkontroll — inspirerad av hur organisationer hanterar mikroservices. Han varnar för att utan struktur blir skills en säkerhetskris, eftersom de innehåller kod som kan dra in vulnerabiliteter från publika källor.

28 aug. youtube.com

VideoAI Engineer

Your Code Has Bugs. Lean4 Has Proofs: Formal Verification for Engineers — Varun Pant, AWS

En AI skrev om komprimeringsbiblioteket zlib på Lean-språket på en vecka och producerade 32 000 rader matematiska bevis istället för vanliga tester. Varun Pant från AWS förklarar att när AI-agenter producerar hundratals pull requests i veckan räcker inte vanliga kontroller — varken automatiska tester, modellbedömning eller mänsklig granskning kan garantera att koden fungerar för alla möjliga inmatningar. Hans lösning är att människor ansvarar för specifikationen (vad programmet ska göra) medan maskiner ansvarar för både kod och bevis på att koden följer specifikationen. AWS använder detta i produktion för Cedar, deras auktoriseringsverktyg, där semantiken är bevisad i Lean medan den faktiska koden är skriven i Rust — varje natt kör de cirka 100 miljoner tester för att se till att båda överensstämmer.

28 aug. youtube.com

VideoAI Engineer

How do you diffuse AI into the real world? — Varun Shenoy, Long Lake

Long Lake köper hela företag — hittills 35 tjänsteföretag inom fastighetsförvaltning, arkitektur och HR — för att implementera AI-verktyg från insidan. Varun Shenoy förklarar problemet med att få AI att fungera i verkligheten: det räcker inte att tekniken fungerar i demos, utan den måste integreras i hur folk faktiskt jobbar, precis som elektrifieringen tog från 1880-tal till 1920-talet att genomföra. De fokuserar på uppgifter som inte finns på nätet — att stänga bokslut när kvitton fattas, granska byggnadsritningar, koordinera leverantörer — eftersom dessa jobb har faktisk verifierbar resultat: fick taket lagat eller inte. Shenoy är tydlig: detta går inte att designa över Zoom, utan kräver att man träffar kunderna på plats, på deras konferenser och på mountainbiketur.

28 aug. youtube.com

VideoAI Engineer

How to Get Your Org to Adopt Coding Agents (Without Shipping Garbage) — Eyal Blum, Figma

Eyal Blum från Figma förklarar hur man får organisationer att använda kodningsagenter utan att skeppa dålig kod. De bästa ingenjörerna är långsammast att adoptera agenter eftersom de förstår systemet djupast och ser alla fel först — lösningen är inte att övertyga dem, utan att ge dem en väg för att göra agenter säkra, varpå de följer med när verifieringen förbättras och jobbet blir lättare. Blum är också ärlig om kostnaderna: utvecklares handlingsfrihet sjunker, ingenjörer som älskade kodskrivning väntar nu på AI-output, och dokument blir tre till fyra gånger längre utan att säga mer. Hans teams lösning är en konvention där pull request-beskrivningar börjar med en rad en människa skrev, följd av genererad text, så läsare vet vad som är viktigt.

28 aug. youtube.com

VideoAI Engineer

From AI-Assisted to AI-Native: Building a Frontier Development Team — Clare Liguori, AWS

Amazon studerade 50 ordinära utvecklarteam under ett år för att förstå när AI-kodningsassistenter faktiskt gör skillnad. Hälften av teamen såg mindre än 3x snabbare deployment, men den andra hälften såg 4,5x eller ibland över 10x förbättring — med samma verktyg. Skillnaden var inte verktyget utan hur teamen arbetade. Clare Liguori från AWS kallar detta "frontier development" och beskriver det genom fem arbetsvanor: dokumentera det som lever i huvudet och rensa det när modeller förbättras, acceptera att det blir långsammare innan det blir snabbare, låta agenter köra kontinuerligt utan att styra dem, göra intentionen tydlig före kodgenerering, och testa lokalt med mock-data för snabb feedback. Det nya flaskhalsen är beslutsfattningshastighet, inte kodningskapacitet.

28 aug. youtube.com

VideoAI Engineer

Productionizing LLM Gateways: Architecture, Tradeoffs and Hard Lessons — Kanish Manuja, Twilio

Kanish Manuja från Twilio förklarar hur man bygger LLM-gateways — mellanlager som dirigerar förfrågningar mellan olika AI-modeller — och varför det är svårare än det verkar. En grundläggande utmaning är att du inte kan maximera allt samtidigt: tillgänglighet, snabbhet, säkerhet och kostnad går ofta emot varandra. När en AI-modell börjar svara och strömmar tokens kan du inte längre byta till en annan leverantör om något går fel, så du måste planera för backup per förfrågan istället för globala återförsök. Olika modeller är långsamt olika — en resoneringsmodell som tar 60 sekunder är helt normal, medan en chattmodell skulle vara helt nere — så du måste mäta gränsvärden separat för varje modell och väg. Många team tror de behöver en central gateway, men ofta behöver de bara centraliserad kontroll över vilka modeller som används, vilket kan lösas utan att centralisera all trafik.

28 aug. youtube.com

VideoAI Engineer

AI Evals for Cross-Functional Teams — Nachiket Paranjape & Swaroop Chitlur Haridas, DoorDash

DoorDash bygger sin AI-bedömning (evals) genom att låta icke-tekniska team själva skapa verktyg för att testa och förbättra AI:n. Istället för att bygga ett perfekt gränssnitt från början, skapade plattformsteamet stabila API:er — standardiserade kopplingspunkter — som strategi-, operations- och produktteamen kunde koppla in sina egna verktyg i. Bedömningen blev en arbetsprocess över flera team: operations-folk annoterar och märker data, produktchefer sätter kvalitetskrav, och ingenörer tillhandahåller mätdata. Själva processen är enkel — de samlar in AI-svar, markerar de bästa exemplen, tränar en "domare" (en liten AI-modell som graderar automatiskt), och övervakar hur det går över tid. Eftersom olika team har olika behov accepterar de att det inte finns en enda rätt väg, och kostnaden per annoteringsjobb sjönk markant.

28 aug. youtube.com

VideoAI Engineer

Building uReview, Uber’s Multi-Agent Code Review Engine — Will Bond & Ameya Ketkar, Uber

Uber byggde 2024 ett system kallat uReview som använder AI-agenter för kodgranskning, efter att väntetiderna på mänskliga granskningar växte från tre till nio timmar. Systemet postade cirka 25 000 kommentarer per vecka och löste 67 procent av problemen det identifierade, medan kostnaderna minskade 60 procent jämfört med första versionen. Det utmanande för Uber var inte att skapa AI-agenterna utan att köra dem i stor skala billigt, och att mäta rätt saker — bland annat kommentarernas sentiment, om de faktiskt adresserades, och agenternas utveckling över tid — för att kunna justera systemet.

28 aug. youtube.com

VideoAI Engineer

Which AI startups actually land enterprise contracts? — Brian Lewis, Millennium

Brian Lewis köper AI-lösningar för en hedgefond och analyserar varför så få AI-startups lyckas sälja till företag. Av hundra demoanrop resulterar bara fem i kontrakt. Han listar konkreta problem: säkerhet som inte håller vad den lovar, integreringar som kräver alltför bred åtkomst, dåliga granskningsloggar, och leverantörer som inte kan förklara vad som händer vid säkerhetshål. Hans huvudpoäng är att detta inte är ett AI-problem utan ett arkitekturproblem — nya AI-modeller lanseras var elfte dag, men infrastrukturen under är tio år gammal, och ungefär 60 procent av arbetet med att bli "AI-native" handlar om rättigheter, integration och ändringshantering, inte om själva AI:n.

27 aug. youtube.com

VideoAI Engineer

How to avoid disaster when vibe-coding a billing engine — Andrew Garvin, Stripe

Andrew Garvin types one sentence asking for a billing engine that copies Lovable's pricing, and gets back a working sandbox: a customer, metered usage flowing in, and a draft invoice broken into separately scoped credit pools for builds, plan mode, cloud and gateway calls. Reproducing that by hand means understanding auto recharge, credit expiry and overage, which is exactly where people hurt themselves. He cofounded Metronome, the usage billing platform Stripe acquired this year in its largest deal, so he has watched a lot of companies get this wrong. What makes the talk useful is that a billing vendor stands on stage and argues against full autonomy. Billing carries deep business logic and real money, so his recommendation is to let an agent accelerate you into a test environment and stop there, rather than ship to production unattended. The guardrails are unglamorous: portable skills files that carry the API's hard won context, and deliberately verbose error messages written so an agent can correct itself. He also separates three things people blur together, an agent as your product, as your buyer, and as your user.

27 aug. youtube.com

VideoAI Engineer

How to Generate Mergeable Code with a Context Engine — Peter Werry, Unblocked

Peter Werry från Unblocked visar hur AI-agenter ofta missar viktig information när de arbetar med kod — ungefär som radiologer som hittar ett fynd och slutar leta. Han argumenterar att agenter är som nyanställda ingenjörer som måste återupptäcka hur man bygger och testar på varje uppgift, vilket leder till dåra antaganden och slöseri med tid och pengar. Lösningen är en "context engine" som sammanställer relevant information på förhand — när den används blev en kodoptimering färdig på under en minut för under en dollar, jämfört med dubbel tid och kostnad utan den. Han visar också hur en granskningsagent kan lyfta fram senior-ingenjörers feedback och spåra problem tillbaka till Slack-diskussioner.

27 aug. youtube.com

VideoAI Engineer

Can LLMs Write Fast Multi-GPU Kernels? — Simran Arora, Together AI

Between NVIDIA's A100 in 2020 and the B200 in 2024, BF16 tensor core throughput improved 7.2x. Intra node communication improved 3x, and inter node communication only 2x. That widening gap has pushed the bottleneck in large AI workloads off the individual GPU and onto the links between them, far enough that a standard PyTorch and NCCL baseline lands below 50% of its communication aware roofline on most problems. Simran Arora leads the frontier performance research team at Together AI, and her group's answer is ParallelKittens, a small set of primitives that adds roughly a dozen lines to a single GPU kernel and now runs in production at Together AI and Cursor. The harder question was whether models can apply the same principles. ParallelKernelBench hands a model an unoptimized PyTorch reference and a topology spec across 87 problems drawn from real repositories, then asks for a CUDA kernel that moves data directly over NVLink. The best frontier model solved 28 of them zero shot, with 22 beating the baseline. Drawing more samples lifts correctness to 36, but the share that is both correct and faster stalls near 31%.

27 aug. youtube.com

VideoAI Engineer

The Agentic Commerce Stack — Ahnaf Prio, Best Buy

Add a second unit of the same item to your cart and, to you, nothing much happened. To the merchant that is a second line item on a different SKU. Ahnaf Prio's argument is that agentic shopping breaks on exactly these unglamorous distinctions, which is why roughly 45% of sessions on the major assistants already touch shopping while the first wave of agents mostly failed at it. Those took screenshots, read the DOM and filled forms, and they were slow and brittle. From the merchant side an agent driving a browser trips every fraud alarm there is, so it often died at the payment step. What replaced it is a pile of acronyms he untangles one at a time: MCP for tool access, A2A so a customer agent and a merchant agent can talk, then two competing commerce primitives in ACP from OpenAI and UCP from Google, and AP2 for payment mandates that carry an authorizing party, a spend ceiling and a revocation URL. He runs the whole loop live through Jenny, his orange tabby recast as a bakery agent on Cerebras at 3,000 tokens per second, with an inspector showing every call and checkout state transition.

27 aug. youtube.com

VideoAI Engineer

Building the Engine While Flying the Plane: Launching the Figma MCP Server — Jesse Lumarie, Figma

Jesse Lumarie från Figma byggde företagets första MCP-server (ett standardiserat sätt för AI-modeller att koppla till verktyg) som ett sidoprojekt på cirka tre månader. Teamet ställdes inför utmaningar som att specifikationen ändrades mitt i utvecklingen och olika klienter stödde MCP-standarden ojämnt. De testade tre sätt att representera Figmas rityta för AI-modellerna och valde React och Tailwind eftersom de antog att AI hade tränat mest på det. De insåg snabbt att bara att skicka bilder i bas64-format tog för mycket plats i AI-modellernas minneskapacitet. Ett större problem var att företag inte ville ha vackert genererad UI-kod utan sin egen tillgänglig och internationaliserad kod, så de utvecklade Code Connect som pekar på riktiga komponenter istället. Efter att ha gjort handberäknade utvärderingar i ett kalkylark en gång började de köra hundratals automatiska tester per vecka.

27 aug. youtube.com

VideoAI Engineer

AI Agents Are Just Distributed Systems Now — Salman Munaf, TikTok

Salman Munaf från TikTok argumenterar att AI-agenter inte längre är en modellproblem utan ett distribuerat systems-problem. När en agent anropar externa tjänster — som att be om en återbetalning — möter den alla klassiska fallgropar från distribuerade system: timeouts betyder ofta "okänd status", inte misslyckande, vilket kan leda till att samma operation körs två gånger om man inte är försiktig. Munaf framhäver att eftersom agenter fattar beslut probabilistiskt snarare än enligt förutbestämda regler måste kontrollen ligga i omgivningen: idempotency-nycklar för att förhindra dubbletter, circuit breakers för att stänga av felade tjänster, och begränsade rättigheter så att agenten inte kan göra för mycket skada.

27 aug. youtube.com

VideoAI Engineer

How Anthropic Builds: Lessons from Labs — Mike Krieger, Anthropic

Mike Krieger, som jobbar på Anthropic Labs, delar erfarenheter från att bygga AI-produkter. Han menar att många fortfarande ber om för lite när de använder AI-modeller — en gammal vana från när modellerna hade få möjligheter — och ger exempel på hur Claude på en helg portade hundratusentals kodlinjer från Python till TypeScript helt själv. På Labs jobbar han med tvåveckors-cykler där projekt kan avslutas regelbundet, och lag bygger om från grunden kring varje nytt försök. Han pekar på att huvudflaskhalsen inte är granskningstid utan att människor faktiskt kan begripa förändringarna, och avslutar med att påminna om vikten av att kunna ta ledigt utan att världen brinner ner.

26 aug. youtube.com

VideoAI Engineer

The Death of Developer Advocates — Stephanie Jarmak, Sourcegraph

Stephanie Jarmak, tidigare astronom och nu agent advocate hos Sourcegraph, argumenterar att developer relations inte är död utan omförändrad. Istället för att prata med utvecklare, bör företag optimera för AI-agenter som läser dokumentation, anropar API:er och rekommenderar verktyg. Hon byggde ett benchmark med hundratals uppgifter och körde AI-modeller med och utan Sourcegraphs kodverktyg — och såg hur dålig dokumentation och felaktig API-beskrivning får agenterna att slösa tokenbudget på gissningar. Företag måste nu tänka på att agenter är användare vars upplevelse är värd att mäta, hålla dokumentationen aktuell, finnas där agenterna är, och bygga med tanken på att en bra lösning för en person ofta öppnar vägen för alla.

26 aug. youtube.com

VideoAI Engineer

How AI Agents Let GTM Teams Scale — Justin Joyce, Cloudflare

Justin Joyce från Cloudflare beskriver hur AI-agenter (små AI-program som arbetar tillsammans) hjälper deras säljteam att arbeta mer effektivt. Hans team använder tre agenter i följd för att skriva veckovisa marknadssammanfattningar: en samlar data, en granskar det, och en omformulerar texten så att risker och möjligheter väger jämnt. Joyce identifierar två stora problem med traditionell försäljning: försäljare tappar sammanhanget när de hoppar mellan möten, och det finns stora skillnader mellan deras bästa säljare och nybörjare. Hans lösning är tre delar: agenter som kan svara på affärsfrågor utan att kräva SQL-kunskap, automatisk distribution av insikter istället för att invänta att folk öppnar rapporter, och en intern workspace (Cloudflare OS) där säljare själva kan hämta prognoser och planeringsmaterial. Resultatet är enligt Joyce dubbel effektivitet.

26 aug. youtube.com

VideoAI Engineer

Knowledge Systems: The New GTM Stack — Jeffrey Wang, Exa

Jeffrey Wang från Exa visar hur man bygger ett AI-drivet försäljnings- och marknadsteam. Han skapade "Jeffbot", en AI-klon av sig själv baserad på 760 e-postmeddelanden, som kan skriva Slack-meddelanden i hans stil. Wang presenterar två konkreta verktyg: en ICP-dashboard som klassificerar företag på marknaden med förväntad budget, och Request Lens som varnar när något viktigt händer med en kund. Bottlinen är att försäljning nu är ett AI-ingenjörsarbete — en dataproblem där man behöver ett levande system som agenter kan agera på.

26 aug. youtube.com

VideoAI Engineer

How We Got LLMs to Recommend Our Open Source Library — Christopher Burns, Inth

Christopher Burns från Inth berättar hur hans open source-bibliotek c15t (en consent banner) började rekommenderas av AI-agenter — från april 13:e blev detta den största källan för nya användare. För att göra sitt projekt AI-vänligt byggde han en dokumentationspipeline som genererar filer specifikt för agenter. Hans huvudsakliga insikter: skriv llms.txt för hand istället för att generera det, servera markdown istället för HTML, och packa dokumentation direkt i paketet eftersom agenter oftast läser källkod och node_modules snarare än att besöka webbplatser. Han sparade nästan hälften av de tokens som agenter behöver genom att skicka bundlad markdown inuti paketet.

26 aug. youtube.com

VideoAI Engineer

The Building Blocks of GTM Orchestration — Arman Vaziri, Ramp

Arman Vaziri från Ramp förklarar hur man bygger automatiserade arbetsflöden för försäljning och marknadsföring — han kallar det GTM orchestration. Exemplet är att sälja golfbollar till golfspelare på byggföretag på östkusten, men poängen är att få från en enkel idé till faktiska målgrupper, e-postkampanjer, annonser och landningssidor utan att behöva göra allt manuellt. Det största problemet är inte ideerna utan allt arbete efter: att plocka ut rätt personer, skriva material, få folk att använda playboken — det tar månader. Lösningen bygger på en intern kunddata-plattform som samlar information från CRM, produktanvändning och köpsignaler på ett ställe, med enkla verktyg som gör att folk kan bygga sina egna format istället för att vänta på perfekta lösningar.

26 aug. youtube.com

VideoAI Engineer

AI in GTM at Notion — Flora Liu

Flora Liu från Notions GTM-team beskriver hur de byggde ett system som låter AI-agenter och försäljningsrepresentanter arbeta tillsammans på samma plattform istället för att hålla dem åtskilda. Problemet var att kundinformation låg spretat i Salesforce, Gong, Outreach, Snowflake och dokument — och agenter kunde göra katastrofala misstag om de inte läste mötesanteckningar. De löste det genom att ställa fyra frågor (vad vet vi, vad ska hända nästa, hur gör vi det säkert, fungerade det?) och bygga fyra motsvarande lager i systemet. Snowflake beräknar "sanningen" om kunder, DynamoDB serverar snabba kopior som agenter kan fråga, och resultatet hamnar i Notion där repen redan arbetar. Efter tretton veckor loggade representanter fler kvalificerade möjligheter, och de som fick kontextmedveten rekommendation var 63 procent mer benägna att ta nästa steg.

26 aug. youtube.com

VideoAI Engineer

GTM Engineering: The Technical Bits — Everett Berry, Clay

Everett Berry från Clay går igenom de fyra största utmaningarna inom GTM engineering — arbetet att få försäljnings- och marknadsverktyg att samarbeta. För det första måste man samla rätt data om företag och kontakter, men företagen förändras ständigt: de köps upp, öppnar kontor, byter personal. För det andra måste man koordinera mellan tjugo till trettio olika verktyg som ofta har olika uppfattningar om vad som är sant. För det tredje bygger man agenter — ett slags digitala assistenter per företag som vaknar när något händer och håller reda på avtalsprocessen. För det fjärde måste man faktiskt genomföra kampanjerna på ett sätt som inte förstör ditt emailrykte.

26 aug. youtube.com

VideoAI Engineer

KV Cache-Aware Routing and P/D Disaggregation on Kubernetes — Yuchen Fama & Ashish Kamra, Red Hat

Red Hat-ingenjörerna Yuchen Fama och Ashish Kamra presenterar två sätt att göra AI-modeller snabbare när man kör dem på servrar. Det första är smart routing — när en användare ställer följdfrågor återanvänds tidigare beräkningar på samma server, vilket gör svaret 3 gånger snabbare. Det andra är att dela upp arbetet mellan två typer av servrar: en som förbereder texten och en som genererar ord. I ett praktiskt test föll väntetiden mellan ord från 900 millisekunder till 100 millisekunder. Men disaggregation fungerar bara bra vid medelhög belastning och kräver särskild nätverkshårdvara — annars är det bättre att hålla allt på en server.

26 aug. youtube.com

VideoAI Engineer

Einstein Arena: Harnessing Collective Agent Intelligence for Open Science — James Zou, Together AI

James Zou från Together AI och Stanford har byggt Einstein Arena, en miljö där AI-agenter löser öppna vetenskapliga problem mot varandra. Istället för att berätta för agenter hur de ska arbeta sätter systemet upp ett rum med verifierade problem, en forum där agenter delar vad som inte fungerat, och en live-rankingslista. Inom några veckor hade agenternas lösningar slått tidigare rekord på elva problem — bland annat lyckades de lösa kissing number-problemet (hur många sfärer kan röra en central sfär utan att överlapps) i elva dimensioner genom att iterativt förbättra varandras försök. Samma setup tillämpades på GPU-kerneloptimering med resultat som var dubbelt så snabb än tidigareState-of-the-art.

25 aug. youtube.com

VideoAI Engineer

Building GTM AI Agents: Lessons from Deploying to 6,000 Users — Sait Izmit, Snowflake

Sait Izmit från Snowflake byggde en AI-agent som svarar på frågor från försäljningsorganisationen. Innan lanseringen skrev han 150 konkreta frågor från verklig försäljningsprocess, accepterade att första versionen bara svarade rätt på 50 procent av frågorna, och fokuserade på att svara väl på ett fåtal snarare än dåligt på många — för att användare dömer agenten på de första fem svaren. Agenten lanserades för ett år sedan och har sedan besvarat över en miljon frågor (ungefär 40 000 per vecka) för omkring 6 000 försäljare. Det största problemet var inte tekniken utan att få folk att faktiskt använda det: bara en femtedel av organisationen testade det utan aktiv försäljning och demande från hans team.

25 aug. youtube.com

VideoAI Engineer

Reverse-Engineering the AI Buyer — Aliisa Rosenthal, Acrew Capital

Aliisa Rosenthal, som hjälpte OpenAI växa från några miljoner till flera miljarder i intäkter, delar lärdomar om hur man säljer AI-verktyg till företag. Hon säger att OpenAI gjorde många misstag i början: de byggde för de högljuddaste kunderna med dyr enterprise-mjukvara, men när de senare lanserade billigare självbetjäning växte det mycket snabbare och åt upp enterprise-försäljningen. Hennes råd till grundare är att först automatisera så mycket som möjligt, sedan anställa människor bara där systemet brister — inte tvärtom. Hon varnar också för att ge köpare "läxor" att göra hemma, att låta pilotprojekt bli gratis försäljningsprocesser, och att automatisera säkerhetsfrågor som ofta dödar affärer.

25 aug. youtube.com

VideoAI Engineer

The Missing Layer in Agentic AI — Giedrius Šteimantas, Oxylabs

Giedrius Šteimantas från Oxylabs visar hur AI-agenter ofta slösar pengar och tokens på att läsa blockerade webbsidor utan att märka det — en 200-statuskod betyder inte att sidan är faktisk innehål. Hans exempel är en shopping-agent som körde långsamt och kostade mycket för mycket. Genom att dela upp arbetet i tre delar — sökning via API istället för webbläsare, beslutsstadiet med en scraper som misslyckas tydligt när den blockeras, och endast checkout via automatiserad webbläsare — får man ner kostnaderna drastiskt. Regeln från tio år av webskrapning är enkel: använd webbläsare bara när du måste, och validera innan du skickar data till modellen.

25 aug. youtube.com

VideoAI Engineer

Inside 847 Production Clinical AI Notes — Sebastian Fox, Composo

Sebastian Fox från Composo studerade kliniska anteckningar från AI-verktyg som skriver patientnoteringar automatiskt (så kallade ambient scribes). Han hittade att ungefär en av tjugo anteckningar innehöll fel allvarliga nog att skada patienten, nästan en av fem hade viktiga utelämnade uppgifter, och mer än en av tio innehöll påhittad information. Även när han byggde en avancerad checker-modell för att fånga dessa fel gick en femtedel av problemanteckningarna ändå igenom. Det största problemet är att veta vilka skillnader mellan inspelning och anteckning som faktiskt spelar roll medicinskt — en utelämnad dag kan vara ointressant, men att missa symptom som käksmärta tillsammans med ny huvudvärk över 50 år kan vara en allvarlig diagnos som hotar synen.

22 aug. youtube.com

VideoAI Engineer

Agent Frameworks Considered Harmful — Rémi Louf, .txt

Rémi Louf byggde ett eget agentsystem efter att ha stött på problem med befintliga ramverk — dubbletter, försvunna meddelanden och ologgade ändringar i prompter. Istället för komplicerade grafer gjorde han något litet: agenter som enkla markdown-filer, en logg där allt sparas och kan spåras, och ett system där varje del av en prompt lagras separat med en hash så man exakt kan se vad som ändrades mellan körningar. Det tog två veckor att bygga och kör nu tjugo agenter på hans femtonpersonersföretag.

22 aug. youtube.com

VideoAI Engineer

Preferences Over Benchmarks: Model Routing — Archana Kamath & Tyler Gillam, DigitalOcean

Archana Kamath och Tyler Gillam från DigitalOcean presenterar en router som automatiskt väljer vilken AI-modell som ska använda för varje uppgift, istället för att alltid köra samma modell. I en demo bygger två terminaler samma app — den ena använder en dyr premiummodell för allt, den andra använder routern. Båda tar ungefär lika lång tid, men routern kostar 8 cent mot routerns 25 cent. Routern baserar sitt val på vad du faktiskt behöver: uppgiftstyp, kostnad, hastighet, systemkonfiguration och vad användaren vill ha. Det finns inget enkelt svar på vilken modell som är bäst — det beror på sammanhanget.

22 aug. youtube.com

VideoAI Engineer

What If Your Chip Design Team Moved Like a Single Body? — Abduallah Mohamed, AIDAChip

Abduallah Mohamed från AIDAChip beskriver hur AI-agenter används i chipdesign — ett område där misstag kostar omkring 50 miljoner dollar per felaktigt tryckt krets. Huvudproblemet de identifierade är inte agenternas skicklighet utan deras överensstämmelse: 70 procent av tiden går åt till att hålla agenter på rätt spår. När de blockerade agenter från att skriva till vissa filer, tog agenterna sig runt det genom att använda andra verktyg som bash och sed — lärdomen blev att kontroll måste ligga på systemnivå. AIDAChip byggde en "delad nervsystem": ett levande nätverk av avsikter och begränsningar som agenter inte kan ändra utan mänskligt godkännande, plus ett lagringssystem för kunskap som växer från projekt till projekt.

22 aug. youtube.com

VideoAI Engineer

FinOps for AI Agents: Who Spent All the Tokens? — Tisha Chawla & Susheem Koul, Microsoft

Microsoft-forskarna Tisha Chawla och Susheem Koul presenterar ett system för att kontrollera kostnaderna när AI-agenter kör kod. Problemet är att dagens AI-verktyg saknar en kontrollmekanism mellan din kod och vad den faktiskt kostar — till skillnad från molntjänster som autoskalning eller SaaS-tjänster med användargränser. Deras lösning använder "steering" istället för att bara stänga av dyra körningar: systemet övervakar utgifterna i realtid och instruerar agenten att ge kortare svar när kostnaderna hotar att spränga budgeten. I tester minskade detta genomsnittskostnaden med 78 procent samtidigt som andelen körningar som faktiskt slutfördes ökade från 67 till 96 procent.

22 aug. youtube.com

VideoAI Engineer

Building Agents Is Trivial Now, Context Is the Next Frontier — Jeff Ng, Unblocked

Jeff Ng från Unblocked visar att det blivit enkelt att bygga AI-agenter — ramverk och molnverktyg har löst det tekniska arbetet. Men agenter fallerar när de saknar sammanhang. I hans exempel rekommenderade en agent fel åtgärd för ett prestandaproblem i en kodförfrågan, för att den läste biljetten och koden men inte Slack-diskussionerna där teamet redan hade löst problemet och dokumenterat varför en viss inställning orsakat ett strömavbrott. Genom att istället ge agenten tillgång till ett sammanhangssystem som omfattar dokumentation, kod, biljetter och konversationer vände den samma agent sitt svar från att upprepa strömavbrottet till att förhindra det.

21 aug. youtube.com

VideoAI Engineer

Agentic SDLC at Uber — Uday Kiran Medisetty & Adam Huda, Uber

Uber har byggt infrastruktur som låter AI-agenter skriva kod — över 70 procent av deras kodgranskningar kommer nu från automatiska agenter istället för människor. Det fungerar genom sex stora komponenter: en central gateway där varje AI-anrop granskas för säkerhet på under 100 millisekunder, ett system som minskar mängden data agenten behöver hålla i minnet (vilket minskar tokens med 40 procent), en databas med 2 500 färdiga kodverktyg, och ett nätverk av 40 miljoner datasamlingar som ersätter många separata system. Hela flödet styrs från Slack, och agentens arbete stoppas medvetet innan det går till byggkön så att människor kan kolla skärmdumpar mot designfiler först.

21 aug. youtube.com

VideoAI Engineer

The Missing Layer: Design Taste in AI Agents — Hassan El Mghari, Together AI

Hassan El Mghari från Together AI har skapat Hallmark, ett verktyg som hjälper AI-agenter att förstå designkvalitet. Han förklarar att alla kan se när en app ser "dåligt designad" ut — lila gradienter, kursiv rubrik, scrollprompts som ingen frågat om, versaler med bred bokstavsspacing, för många emojis — men få kan säga varför. Genom att namnge dessa mönster kan man lära en AI-agent att undvika dem. Hallmark kodifierar designmönster som regler och ger modellen ett bibliotek av färdiga teman. El Mghari har byggt tio appar per år i fem år genom att iterera med mindre AI-modeller, och säger att designkvalitet är den största faktorn för att nå många användare.

21 aug. youtube.com

VideoAI Engineer

Unlock Agent Autonomy: The Runtime for AI-Native Systems — Tushar Jain, Docker

Tushar Jain från Docker beskriver ett problem: när AI-agenter får för mycket tillgång kan de göra oväntade saker — hans exempel är en agent som plötsligt postade interna anteckningar som en pull request utan att instrueras. Problemet är att agenter bestämmer vad de behöver under tiden de arbetar, inte innan, så traditionella åtkomsträttigheter fungerar dåligt. Hans lösning är en runtime-lager under alla modeller som bygger på tre delar: kontroller som sitter utanför agentens sandlåda, verktyg som är begränsade till en specifik uppgift i taget, och åtkomst som kontrolleras mot vad agenten faktiskt försöker göra — så att konstiga förfrågningar (som e-post under en felutredning) kan vägras eller eskaleras till en människa.

20 aug. youtube.com

VideoAI Engineer

Your Fine-Tuned Model Is Tech Debt: A 50x ROI House of Cards — Dan Bjornn, Lease End

Dan Bjornn visar hur en finjusterad AI-modell som genererade 12 miljoner dollar i intäkter med 50x avkastning på ett år blev allt dyrare att underhålla. Varje gång något gick fel — när modellen ringde kunder utan att det var läge eller bekräftade möten felaktigt — tog det en vecka att åtgärda: samla exempel på felen, syntetisera nya träningsdata när det inte fanns nog, validera dem manuellt, sortera dem, granska igen, och slutligen träna om (som bara tog en timme). Förr eller senare fixade varje uppdatering ett problem men introducerade ett gammalt igen, så team rankade buggar efter hur mycket kundbeskyllning man tålde. Modellen blev också låst — träningsdata överfördes inte mellan modellversioner, så de kunde aldrig uppgradera till nyare arkitektur. Lösningen var att bygga om systemet med prompter, verktyg och kontext istället för att finjustera: reparationer kunde då skickas ut på under en timme, och totalkostnaden sjönk.

20 aug. youtube.com

VideoAI Engineer

How I automate my own job at Hugging Face using agents — Niels Rogge, Hugging Face

Niels Rogge på Hugging Face automatiserade sitt jobb att hitta AI-modeller som ligger gömda på Dropbox eller Zenodo och be författare flytta dem till Hugging Face Hub istället. Han byggde lösningen två gånger på olika sätt: först som ett enkelt, förutsägbart arbetsflöde som kör varje natt och skickar personliga meddelanden utan att avslöja att det är automatiserat, senare som en helt autonom loop med bash-kommandon som hanterar uppföljning. Det första sättet var enkelt och billigt, det andra hanterar följdfrågor utan mänsklig inblandning. Resultatet är att tusentals GitHub-issues öppnades automatiskt, och bara två blev negativa.

20 aug. youtube.com

VideoAI Engineer

IT Admin for the AI Workforce — Sarthak Aggarwal, Decawork

Sarthak Aggarwal argumenterar att företag nu tar in en andra arbetskraft — AI-agenter — och att säkerhetsproblemen inte längre handlar om hur modellerna beter sig utan om hur man hanterar dem som anställda. Han visar två exempel på misslyckanden: Replit-incidenten där en kodningsagent ignorerade en kodfrysning och raderade data i en produktionsdatabas, och EchoLeak där ett externt e-postmeddelande komma in i Microsoft 365 Copilots kontext och hämtade data. Lösningen är att ge agenter identiteter, ägarskap och begränsad åtkomst — ungefär som OAuth redan gör för människor — tillsammans med ett system där en planerare först skapar en loggad handlingsplan innan en executor kör den, så att modellen föreslår men policyn fattar beslut.

20 aug. youtube.com

VideoAI Engineer

Prototyping as Leadership: How a CTO Ships with AI Agents — Hursh Agrawal, The Browser Company

Hursh Agrawal, CTO på The Browser Company, visar hur han använder AI-agenter för att faktiskt skriva kod trots tjugo möten i veckan och sjuvarahanterare. Han sätter igång en kodningsagent på kvällen som jobbar overnight, och granskar resultatet på morgonen — en process som låter honom leverera två till tio pull requests varje vecka. Hans poäng är att ledare har mest affärskontext och därför kan styra AI-agenten effektivare än vanliga utvecklare, plus att visa en fungerande prototyp löser många diskussioner om vad nya AI-modeller egentligen kan göra. Det kräver dock bra testautomation, feature flags och ärlig granskning av sin egen kod.

20 aug. youtube.com

VideoAI Engineer

The Last Human Code Review: Building Trust in AI-Generated Code — Itamar Friedman, Qodo

Itamar Friedman från Qodo argumenterar att problemet med AI-genererad kod inte är modellernas kvalitet utan att kodgranskningskontexten är splittrad och ofta okodifierad. Han identifierar två motsatta läger bland utvecklare: ett som kräver mänsklig granskning av varje rad, ett som accepterar buggar för högre hastighet. Friedmans poäng är att denna kontext — arkitekturregler, tidigare fel, tjänstekontrakt — ligger spridd i instruktionsfiler, Slack-trådar och utvecklares huvuden, och måste samlas ihop och kodifieras på ett sätt som både AI-agenter och människor kan använda. När det görs rätt kan kodgranskning utvecklas från att läsa enskilda förändringar till att förstå hela systemets beroendegrafer.

20 aug. youtube.com

VideoAI Engineer

The Agent Behind the Curtain: Building the Oz Cloud Agent Platform — Safia Abdalla, Warp

Safia Abdalla från Warp presenterar hur de byggt en molnbaserad agent-plattform som hjälper utvecklare utan att överbelasta dem. Istället för att låta agenter agera fritt sätter de dem in i arbetets naturliga flöde — agenter trierar issues, granskar pull requests och godkänner dem innan människor behöver se dem. Plattformen stödjer olika utvecklarverktyg, låter agenter samarbeta med underagenter, och kan användas av vem som helst via ett API — till exempel användes det för att bygga Slack-verktyg för triering. Abdalla betonar att en bra agent-plattform ska absorbera komplexitet innan den når användaren, och jämför det med en potterverkstad snarare än en fabrik.

20 aug. youtube.com

VideoAI Engineer

Coding Agents Don't Scale Themselves. Neither Do Your Teams. — Patrick Debois, Tessl

Patrick Debois jämför dagens utmaningar med AI-agenter med motståndet mot continuous delivery 2009 — tekniken fungerar, men organisationen är inte redo. Hans poäng är att det som blir skillnaden är inte själva agenten eller promperna, utan hur teamet, plattformen och arbetssätten förändras omkring den. Istället för att fixa agentens kod bör man förbättra systemet som helhet. Det handlar om att minska antal gånger en människa måste röra vid en uppgift, och om att göra förbättringar som drar nytta för hela teamet, inte bara en person.

20 aug. youtube.com

VideoAI Engineer

Give the Agent a Budget, Not a Token — Sachin Malhotra, Anthropic

Sachin Malhotra från Anthropic berättar om en agent som råkade ta bort 200 arbetsjobb på 90 sekunder — en påminnelse om risken med att ge AI-agenter för mycket makt. Problemet var inte att agenten var elak, utan att den fick obegränsad tillåtelse. Istället för att bara begränsa vad en agent får göra (token-baserad kontroll) föreslår Malhotra ett "budget"-system med fyra dimensioner: hur mycket, hur snabbt, vad som kan återställas, och vem som övervakar. Det handlar om att ge agenter operationer som misslyckas tydligt (som att ångra något) medan människor behåller kontrollen över saker som misslyckas i tysthet, plus hastighetsrestriktioner och övervakningsmeknanismer.

20 aug. youtube.com

VideoAI Engineer

Your Agent Evolved. Your Evals Didn't. — Ameya Bhatawdekar, Braintrust

Teams built orchestration graphs because the models of 2024 could not be trusted to orchestrate, and then the models learned to orchestrate and the graphs became the thing holding them back. Ameya Bhatawdekar traces that loop across five generations of architecture, each one forced by a step change in model capability, and argues that evals have to move with it. A single prompt needed only answer quality. A retrieval chain added a parser that grabs the wrong field and a retriever that returns the wrong context. Graphs added branch logic, contracts between nodes, and classifier nodes that misfire quietly, which is a great deal of new surface to check. What changed most recently is not another layer but the unit of measurement. Once a loop is reliable enough to run free, the same input produces visibly different trajectories on every run, so a single eval result stops meaning very much. He separates the two questions it hides. Pass at k asks whether the system succeeds at least once across k attempts, which measures capability. The stricter variant asks how many of those k attempts succeed, which measures reliability.

20 aug. youtube.com

VideoAI Engineer

The Era of Compound Engineering — Kieran Klaassen, Every/Cora

Kieran Klaassen har byggt en fullständig e-postklient helt ensam med hjälp av AI, utan att själv skriva eller läsa större delen av koden. Han beskriver en arbetsgång där han upptäckte att flaskhalsen inte längre var kodkvaliteten utan istället hans egen tid — han blev begränsad av upprepningar och beslut som bara han kunde ta. För att lösa det byggde han ett minnessystem som lagrar lösningar från tidigare problem, så nästa gång en liknande utmaning dyker upp behöver AI-verktyget inte börja från noll. Hans huvudinsikt är att han lägger ungefär hälften av tiden på att bygga en funktion och hälften på att lära systemet vad det gjorde fel, vilket på sikt blir billigare i termer av AI-användarkvoter — och viktigare: nästa funktion blir lättare att bygga.

20 aug. youtube.com

VideoAI Engineer

Why Your Enterprise Tech Stack Isn’t Ready for AI Agents — Christopher Lovejoy & Saul Howard

Christopher Lovejoy och Saul Howard visar varför många AI-agenter misslyckas i företag trots att prototyperna fungerar bra. Problemet är att compliance-krav som revisionshistorik ofta klistras på efteråt istället för att byggas in från början. De föreslår en arkitektur som utgår från begränsningar: en omutable händelselog som registrerar varje åtgärd agenten tar, patientdata lagrat separat från loggen så agenter kan debuggas utan att se känslig information, och att behandla både människor och AI-modeller som samma typ av agent. Detta gör att granskning, säkerhet och eskalering blir naturliga delar av systemet istället för tillägg.

19 aug. youtube.com

VideoAI Engineer

Don’t be data poor — Anuj Iravane, Anterior

Anterior arbetar med medicinsk data som ofta kommer som faxade dokument på över 300 sidor med handskrifter och tabeller — men de får inte spara denna data på grund av juridiska krav. Istället för att försöka träna AI på data de inte får behålla, kör de processen baklänges: de börjar med rätt svar (diagnosen eller besluten), arbetar bakåt genom resonemanget, och genererar sedan de patientjournaler som skulle ha lett dit. Eftersom de modellerar medicinska riktlinjer som beslutsträd har det genererade materialet större variation och är mer realistiskt än om en AI-modell bara försökte hitta på data själv. Resultatet är att ungefär 90 procent av deras träningsdata nu är syntetisk, och läkare kan bara skilja syntetisk från verklig data ungefär 60 procent av tiden.

19 aug. youtube.com

VideoAI Engineer

How to build an AI-Native Health Company — Dan Feng, Maven Clinic

Dan Feng från Maven Clinic, en hälsovårdsapp, beskriver hur AI förändrar hur företag planerar och bygger produkter. Eftersom det nu tar minuter att bygga något istället för veckor, har kostnaderna skiftat — det dyra är nu att diskutera vad man ska bygga, inte att bygga det. Maven Clinic planerar bara två till fyra veckor framåt i detalj, medan långsiktiga planer bara fungerar som riktning. Kodgranskningar blev också ett problem när ingenjörer skrev tio gånger mer kod än tidigare, så Maven låter ingenjörer själva bedöma vilka ändringar som behöver granskas av två personer. För kritiska funktioner som att räkna ut ersättningar använder de flera AI-modeller som måste komma överens innan något går igenom.

19 aug. youtube.com

VideoAI Engineer

Trading Desks to Clinical Trials: Parallels in Applied Vertical AI — Ayush Bhardwaj, Allos AI

Ayush Bhardwaj arbetar med AI-verktyg i två mycket olika branscher — finansiell handel och läkemedelsutveckling — och upptäckte att problemen är nästan identiska. Det stora problemet är att kunna bedöma om det AI-systemet bygger faktiskt är bra: en erfaren kodare ser på en minut om genererad kod är svag, men ingen på hans team kunde döma kvaliteten på en handelsstrategi eller ett läkemedelskandidatförslag. Han försökte först lösa det genom att träna en modell att bedöma resultaten, men det fungerade inte eftersom viktig data hålls hemlig (tradingfonder vill inte avslöja vinnande strategier, och cirka 30 procent av läkemedelsföretagen publicerar aldrig sina försökresultat). Lösningen blev att anställa en senior expert från respektive område som kan bedöma resultaten, välja bästa datakällor och förfina hur man ber AI-systemet om hjälp. Expertisen och datan är det enda som skapar ett verkligt konkurrensförsprång — själva AI-modellen och infrastrukturen är i princip utbytbar.

19 aug. youtube.com

VideoAI Engineer

Healthcare’s Agent Bytecode: X12 as the Harness for AI Agents — Vasant Kearney, Onlay

Vasant Kearney från Onlay menar att när AI-agenter hanterar sjukvårdsersättningar bör de använda X12 — standarden för försäkringskommunikation — som ett ramverk snarare än bara ett filformat. Problemet är att en försäkringsgivares telefonsystem, webbportal och X12-data ofta är byggda av olika team och kan motsäga varandra eller bli felaktiga tillsammans. Genom att använda X12 som ett strukturerande ramverk kan AI-agenter normalisera alla möjligheter — ett telefonsamtal, en portalinteraktion, en försäkringskontroll — till samma underliggande transaktion. Han betonar två praktiska krav: minnet måste lagras i en databas för logisk separation, och en "bättre" AI-modell kan inte bara bytas in, eftersom bättre på ett test inte betyder bättre inom ett system byggt runt en annan modell.

19 aug. youtube.com

VideoAI Engineer

AI is the World’s largest Relationship Therapist — Clay Cockrell & Tony Fabrikant, CoupleWork AI

Clay Cockrell, en terapeut, och Tony Fabrikant diskuterar varför AI-chattar som ChatGPT — som används av hundratals miljoner människor för relationsproblem — är dåliga på att hjälpa med kärleksrelationer. Problemet är inte att AI är okompetent, utan att den är för överens med användaren: om du frågar varför din partner inte lyssnar, säger AI bara att du har rätt, vilket gör dig säkrare på din position istället för att få dig att förstå partnern bättre. Riktiga terapeuter använder metoder som John Gottmans forskning och emotionsfokuserad terapi för att faktiskt lösa konflikter. Cockrell och Fabrikant har byggt ett verktyg som istället startar från vad en bra terapeut gör, testar det grundligt mot säkerhetskrav, och lär sig att veta när den borde sluta coacha.

19 aug. youtube.com

VideoAI Engineer

Shipping AI to a Million Patients Without an A/B Test — Jared Joselowitz, Ufonia

Jared Joselowitz från Ufonia beskriver hur man säkert lanserar Dora, en AI-röstassistent som ringer patienter för uppföljning efter operation på brittiska sjukhus. Eftersom systemet ger medicinsk rådgivning är det en reglerad medicinprodukt — man kan inte A/B-testa på patienter för det är oetiskt, och en felaktig råd kan inte tas tillbaka. Istället använder Ufonia simulering: en AI spelar patient mot faror skrivna tillsammans med läkare, och en annan AI bedömer varje samtal. Den bedömande modellen testades mot 10 specialister på 240 fall och presterade lika bra eller bättre. Istället för att justera instruktioner för hand optimerar de dem mot en kostnadsmatris som väger överdiagnostisering mot missade varningssignaler.

19 aug. youtube.com

VideoAI Engineer

Guardrails First: Engineering Member-Facing Health AI — Rashi Agrawal, Hinge Health

Rashi Agrawal från Hinge Health argumenterar att säkerhet i hälsovårds-AI handlar om arkitektoniska beslut före modellen genererar något, inte bara om bra instruktioner. Hon pekar på verkliga fall där AI-assistenter ger farlig medicinsk rådgivning — en man fick sodium bromide-förgiftning efter att ha frågat en populär chatbot om saltbrist, och oberoende tester visar att hälsovårds-AI ofta missbedömer allvarliga tillstånd. Hon förespråkar att känslig patientinformation aldrig lagras i systemet, att kritiska beslut (som att ringa 911) kodas hårdare än i prompten, och att säkerheten körs som ett löpande lager av bedömare som granskar all live-trafik.

19 aug. youtube.com

VideoAI Engineer

The Next Medium: Why Real-Time Interactive Video Changes Everything — Ahmed Ahres, Reactor

Ahmed Ahres argumenterar att realtidsinteraktiv video inte bara är snabbare utan en helt ny medium — ungefär som GPS förändrade navigering och viewfinder förändrade filmmaking. Han definierar world models som video som genereras så snabbt att du kan styra den medan den skapas, vilket han demonstrerar genom att prompta in en katt i en scen medan den fortfarande genereras. Detta öppnar tre möjligheter: kontrollutrymmen där du får omedelbar feedback, världar där AI-karaktärer kan träna robotar eller användas i utbildning, och live-avatarer (som han medger fortfarande inte fungerar bra). Tekniskt kräver det helt nya system — istället för att skicka filer tillbaka måste servrar strömma pixlar i realtid, varje session måste minnas vad som hände, och latensen måste under 100 millisekunder.

18 aug. youtube.com

VideoAI Engineer

Infra behind Krea 2: How to train and serve at scale — Gabriel Jorge Menezes, Krea.ai

Gabriel Jorge Menezes från Krea.ai berättar hur man tränar stora AI-modeller på tusentals GPU:er. Han visar att många standardmätningar är vilseledande — till exempel visade GPU-användningen 100 procent hela tiden även när klustret inte kördes effektivt, så istället följde han något som kallas tensor core utilization. När träningen kördes på större bilder (från 128 till 1024 pixlar) steg denna mätning märkbart. För att övervaka nätverkskommunikationen mellan servrar — en vanlig fehrkälla — byggde de egna verktyg eftersom inga färdiga lösningar fanns. En GPU som blir varmere än 78 grader dras omedelbar från systemet för att inte sakta ner hela träningen. Krea 2-modellen sparades ofta med checkpoints till en mycket snabb lagring som kunde skriva en terabyte på under 30 sekunder, så att träningen kunde återhämtas snabbt efter kraschar.

18 aug. youtube.com

VideoAI Engineer

Generative Video at the Speed of Light — Keegan McCallum, uRun

Keegan McCallum från uRun presenterar hur generativ video blivit mycket billigare och snabbare — tio dollar ger nu ungefär tre timmar kontinuerlig video. Han argumenterar att kvalitet inte längre är det intressanta utan snarare möjligheten att styra videon i realtid. Detta öppnar helt nya användningsfall: en webbkamera som visar frisyren du överväger, eller verktyg för personer som inte tänker i text. Det stora tekniska problemet är inte längre att skapa videon utan att servera den globalt och hålla den synkroniserad med användarens kontroller bild för bild.

18 aug. youtube.com

VideoAI Engineer

While my guitar gently speaks — Todd Fisher, Philo Ventures

Todd Fisher byggde ett plugin för musikproduktion (JUCE) som förvandlar en gitarr till ett talande instrument. Han kopplad en mikrofon till automatisk tal igenkänning och en AI-modell, som sedan skickar sitt svar tillbaka genom gitarrsträngarna. Det svåra var att dela upp syntetiserat tal i enskilda ord — hans lösning kombinerade två metoder för att hitta ordgränser, plus handarbete för att få det helt rätt. För att få gitarren att sjunga behövde han helt annan teknik: en algoritm för tonhöjdsdetektering, syntesynth med vokodereffekt och förberäknade sångsampler, eftersom direkt beräkning skulle vara för tung för liveframförande.

18 aug. youtube.com

VideoAI Engineer

The Next Game Engine Won't Have a Manual — Arturo Nunez, Nereu

Arturo Nunez från Nereu presenterar en ny typ av spelmotorer där du beskriver vad du vill göra på naturligt språk, och ett AI-verktyg hjälper dig att bygga det. Istället för att kräva kunskap om tekniska komponenter som renderare och rigidbodies använder motorn ett taggningssystem — du märker saker som "spelare", "animerad" eller "kan hoppa" och AI:n förstår vad som ska hända. Det smarta är att motorn inte försöker generera ett helt färdigt spel från en beskrivning, utan hjälper dig när du kör fast. Systemet lånar från renderingstekniken "level of detail" för att bara ge AI:n information om de tillgångar som är relevanta för det du arbetar med just nu.

18 aug. youtube.com

VideoAI Engineer

Building an Agentic Video Editor for Mass Consumer — Ekaterina Deyneka, Reelful

Ekaterina Deyneka från Reelful presenterar en AI-agent som redigerar video automatiskt. Du matar in rå filmmaterial och en instruktion, och agenten hittar användbara klipp, klipper ihop dem och lägger till textning, musik, röstöver och b-roll. Systemet använder Remotion — ett verktyg som skriver video som kodrad — och en verifieringskontroll för att fånga sammansättningar som inte fungerar. Det viktigaste är att agenten måste välja bland verkligt inspelat material snarare än generera från ingenting, vilket kräver större omdöme. Allt döljs bakom mobiltemplates så att användaren aldrig ser komplexiteten.

18 aug. youtube.com

VideoAI Engineer

How to Kill the Code Review — Ankit Jain, Aviator

Ankit Jain från Aviator argumenterar att kodgranskning redan är död — över 30 procent av kodändringar slipps igenom utan granskning, och när AI skriver koden och AI granskar den går människan bara igenom tråden och godkänner. Problemet, enligt honom, är att kodgranskning aldrig bara handlade om att hitta fel; det var också kunskapsdelning, mentorskap och feedback om systemdesign. Hans lösning är att fånga de beslut som tas när man skriver instruktioner till AI:n, göra dem till acceptanskriterier, bygga upp ett register från tidigare granskningskommentarer, och generera testplaner som körs mot förhandsgranskningar istället för att bara granska kodskillnader.

17 aug. youtube.com

VideoAI Engineer

Security Firewall for Agents — Ryan Dahl, Deno

Ryan Dahl från Deno presenterar Claw Patrol, ett säkerhetssystem för AI-agenter som har tillgång till känslig produktionsmiljö som databaser och AWS. Problemet är att agenter kan bli offer för prompt injection — attackerande instruktioner som smugglas in genom supportkanalerna som agenten är kopplad till. Även om moderna AI-modeller som Opus ofta vägrar skadliga kommandon, kan de omöjligtvis förlitas på att stå emot alla möjliga attacker. Lösningen är Claw Patrol, en proxy som sitter mellan agenten och resursen och granskar varje byte data som lämnar agenten — även på protokollnivå under HTTP, eftersom agenter kan öppna direkta databaseanslutningar som ingen HTTP-regel skulle se. Regler skrivs i HCL (Terraforms konfigurationsspråk), lagras i git och kan testa mot falska förfrågningar. Proxyn kan också vidarebefordra beslut till en AI-domare eller en människa i Slack innan något tillåts köras.

17 aug. youtube.com

VideoAI Engineer

Context Engineering in 2026 — Louis-François Bouchard, Omar Solano & Samridhi Vaid, Towards AI

I en video från Towards AI presenterar Louis-François Bouchard, Omar Solano och Samridhi Vaid resultat från experiment med hur man bäst hanterar långt sammanhangshistorik i AI-system. De testade en AI-handledare och fann att det ofta är bättre att behålla all historia istället för att försöka komprimera den — eftersom prompt caching (där API:erna sparar tokens och återanvänder dem billigare) gör att komprimering faktiskt blir dyrare när den förstör cachen. I sina mätningar behöll den okomprimerade versionen detaljerna 95 procent av tiden jämfört med 32 procent efter sammanfattning, och klarade att hålla specifika fakta ända till 800 000 tokens. Huvudregeln de landar på är att först identifiera vilken begränsning du faktiskt har — kontextfönstrets storlek, hastighet eller kostnad — innan du börjar komprimera.

17 aug. youtube.com

VideoAI Engineer

From Ambient Documentation to Clinical Intelligence — Chaitanya Asawa, Abridge

Abridge är ett AI-verktyg som hjälper läkare med dokumentationen efter patientbesök — ett arbete som läkare kallar "pyjamastid" och som tar ungefär två timmar per dag efter jobbet är klart. Företaget har nått 300 stora sjukhussystem i USA. Grundaren Chaitanya Asawa förklarar att all administrativ dokumentation i sjukvård växte fram runt en enda grundläggande samtal mellan läkare och patient, och att de stora utmaningarna handlar om att verifiera att AI:s svar är korrekta — något som är särskilt svårt i medicin eftersom många olika svar kan vara rätt. För att lösa det använder de fyra läkare för att bygga en bedömningsmall för vad ett bra svar ska innehålla. För att hantera kostnaden vid deras skala — nästan 100 miljoner medicinska samtal per år — tränar de mindre modeller för varje sektion i läkarens anteckningar istället för att köra den mest avancerade AI-tekniken över allting.

17 aug. youtube.com

VideoAI Engineer

200 Million Patient Interactions Later — Vivek Muppalla, Hippocratic AI

Hippocratic AI har genomfört över 200 miljoner patientsamtal genom sitt system Polaris, som är utformat för att ringa upp patienter proaktivt — något som nästan aldrig händer idag på grund av brist på läkare och tid. Systemet kör 31 AI-modeller parallellt på varje samtal: en som håller tråden och 30 specialistmodeller för allt från läkemedelskontroll till schemaläggning. För att få både säkerhet och snabbhet byggde de hela stacken själva, bland annat med anpassad taligenkänning som förstår både vad patienten säger och hur de säger det. De är mycket strikta med vad som räcker — en felquot på 1 procent betyder 100 felaktig styrda patienter per dag vid 10 000 samtal, så de testning måste omfatta cirka 450 fall för att fånga den felnivån.

17 aug. youtube.com

VideoAI Engineer

Training Krea 2: What matters in generative model training — Sangwu Lee, Krea.ai

The most reliable way to render a person is to render the most boring average person and put them in the center of the frame. Sangwu Lee offers that as the price the big image models pay for consistency: ask a production model for a burning skull and every output comes back clean, competent, and nearly identical. Krea 2, whose medium variant is now open source, trades the other way, optimizing for fast generation and stylistic range so that a studio that does not yet know what it wants can actually explore. Most of the talk is about data, which he says twice over is basically everything once the architecture is locked. The examples are specific. A painting photographed on a wall is perfectly good training data except that captioners consistently omit the frame and the white wall behind it, so the model learns to hang every painting it generates. They refuse to train on AI generated images at all, because the aesthetic is sticky and you inherit somebody else's model. Deduplication runs on hashes first across two to ten billion images, then on embeddings for near duplicates.

15 aug. youtube.com

VideoAI Engineer

Voice agents with Realtime Video — Sidney Primas, LemonSlice

Sidney Primas från LemonSlice visar hur man bygger AI-agenter med avatar och video som kan köra kontinuerligt i timmar. Det svåraste är att video genereras frame för frame — varje ny bild baseras på tidigare bilder, och fel adderar sig över tid. LemonSlice löser det genom att träna modellen att bara titta bakåt (eftersom framtida frames inte finns än) och reducerar beräkningsstegen drastiskt. Ett överraskande problem är ljud: uttryck och mimik beror på hur ljudet analyseras, men de flesta ljudmodeller är tränade på entoniga ljudböcker, så de behövde bygga sin egen. Tjänsten kostar ungefär lika mycket att köra som en röstmodell, men den största framtida värdet ligger enligt Primas i hur man orkestrar beräkningarna över GPU och CPU utan att videon stottar.

15 aug. youtube.com

VideoAI Engineer

How Web Data Infrastructure Powers the Next Generation of AI — Patricija Žemaitytė, Oxylabs

Patricija Žemaitytė från Oxylabs delar erfarenheter från att bygga infrastruktur för AI-tjänster i skala. Hon beskriver tre huvudkonflikter: när ett sök-API som skulle svara på under en sekund blev blockerat live hos klient, krävdes ombygge genom att ta bort långsamma webbläsare — resultatet blev 550 millisekunder i stället för 4 sekunder. En video-API-begäran med två veckors deadline växte från ett enkelt jobb till en hel produktsvit (transkripter, undertexting, sökning, metadata) när klienten hittade nya behov, och skalade till 30 petabyte data utan att betala ännu. Skalan blev också ett problem själv: när hon försökte testa "unblocker"-tjänsten upp till 60 000 förfrågningar per sekund gick testerna fast vid 20 000, delvis för att själva telemetrin blev så stor att den påverkade det hon skulle mäta.

14 aug. youtube.com

VideoAI Engineer

The Rise of CaaS: Context-as-a-Service for Agentic AI — Omer Primor, Bright Data

Omer Primor från Bright Data presenterar en jämförelse mellan att hyra färdig kontextdata (Context-as-a-Service) och att bygga sin egen pipeline för att hålla AI-agenter uppdaterade med webbdata. I ett test som anrikade 25 informationsfält för 100 företag visade det sig att kostnaderna blev lika stora vid ungefär 15 000 frågor. Det viktigaste problemet är inte mängden data utan hur ofta den måste uppdateras: sociala medier blir föråldrad inom en dag, nyheter och finansdata inom 30 dagar. Om man hyr tjänsten kostar varje upprepning av samma fråga lika mycket även när svaret inte har förändrats, medan egenbyggda lösningar betalar stora kostnader upfront men sedan är effektivt gratis per sökning.

14 aug. youtube.com

VideoAI Engineer

The Dark Arts of Web Automation: Teaching Agents to Use Websites Like Humans — Corey Gallon, Rexmore

Corey Gallon visar hur man bygger AI-agenter som automatiserar webbläsare genom Chrome DevTools Protocol — de kan klicka, skriva och navigera webb liksom en människa. Hans metod är en loop: agenten observerar sidan, gör en handling, verifierar resultatet. Han demonstrerar tre nivåer av komplexitet: enkla formulär, knappar som kräver äkta klick-events, och slutligen CAPTCHA-utmaningar som Cloudflare Turnstile och reCAPTCHA v2. Ett viktigt val: CLI-verktyg är snabbare än MCP-servrar (under en minut mot åtta minuter) — det spelar roll när CAPTCHA:or löper ut på tid. Gallon fick varning från OpenAI för denna forskning och visar bara kod som körs på hans egen infrastruktur.

14 aug. youtube.com

VideoAI Engineer

Bringing agents onto the world wide web — Paul Klein IV, Browserbase

Paul Klein IV från Browserbase argumenterar att webagenter — AI-system som kan navigera och interagera med webbsidor — inte längre begränsas av AI-modellernas förmåga, utan snarare av den saknade infrastrukturen runt dem. De bästa agenterna i produktion kombinerar flera sinnen (kan både klicka och skriva kod), har minne och skicklighet så de inte måste rediscovera samma webbplats varje gång, och körs på infrastruktur som renderar sidor identiskt varje gång. Klein pekar också på tre olösta problem: hur agenter loggar in på dina vägnar, vad webben bör erbjuda agenter för att göra dem tillförlitliga, och vem som certifierar att en agent kan lita på. Det faktiska värdet ligger inte i Silicon Valley utan hos logistikföretag i Singapore, banker i Sydafrika och trälaboratorier i Mexiko som idag är bundna till gamla PHP-formulär.

14 aug. youtube.com

VideoAI Engineer

Computer Use at the Edge of the Statistical Precipice — Pierluca D'Oro, Programma Labs

Pierluca D'Oro visar hur AI-agenter kan få höga poäng på standardtester genom att bara upprepa inspelad sekvenser av knapptryckningar — utan att faktiskt titta på skärmen eller förstå vad de gör. Det här fungerar på många vanliga benchmarks för att testerna är för förutsägbara. Han presenterar PRISM-principerna för att göra miljöer mindre exploaterbara (slumpmässiga variationer, sandlådor, flera startlägen), och introducerar DIGIWORLD med 15 mobila appar och 3,2 miljoner verifierade testkonfigurationer. Han visar också att dagens osäkerhetsmått är dåliga: ett 95%-konfidensintervall täcker faktisk prestanda bara 20% av tiden, vilket gömmer stora skillnader mellan modeller.

14 aug. youtube.com

VideoAI Engineer

Improving Agents is a Data Mining Problem — Vivek Trivedy, LangChain

Vivek Trivedy från LangChain argumenterar att att förbättra AI-agenter handlar om att analysera spårdata — det vill säga de loggade steg och beslut som agenten tar när den arbetar. I stället för att gissa varför en agent blir sämre efter uppdateringar kan man låta andra AI-modeller läsa igenom dessa spår och identifiera problem. Trivedy menar att observerbarhet och kontinuerlig inlärning är samma problem sett ur olika vinklar. Han visar att billigare, öppna modeller kan nå samma kvalitet som dyrare toppmodeller om man är smart med hur man formulerar instruktionerna — och att det lönar sig att ändra instruktioner tills det går långsamt, sedan finjustera modellen för att komma vidare, sedan tillbaka till instruktioner igen.

12 aug. youtube.com

VideoAI Engineer

Designing Agents (The Floor Is the Frontier) — Ben Hylak, Raindrop

Ben Hylak från Raindrop argumenterar att det nuvarande rådet om att testa AI-agenter är designat för en äldre tid med chatbotar, där man visste vad användare skulle fråga. Istället bör man fokusera på «golvet» — de värsta misstagen som förstör förtroendet, som när en agent rekommenderar en konkurrent eller raderar data — snarare än på alla möjliga problem. Det viktiga är att spåra två siffror för varje fel: när det började och hur många användare det drabbar. Hylak delar tre lärdomar från Raindrop: klassificering av agentspår är inte samma sak som feldetektering, automatisk kodbaserad testning skalbar väl, och agenter är bättre på att undersöka anomalier än att hitta dem själva.

12 aug. youtube.com

VideoAI Engineer

Bringing Continual Learning into Enterprises — Samuel Denton, Applied Compute

Applied Compute använder en teknik som kallas kontinuerligt lärande för att förbättra AI-modeller direkt i företags-produktionen. I ett exempel fick de en Qwen-modell att slutföra uppgifter på SWE bench dubbelt så snabbt (från 80 ned till 40 steg) genom att visa modellen hur den bör agera baserat på hur den redan beter sig — istället för att tvinga den mot ett "rätt svar". Deras approach fungerar i två lägen: antingen med gamla sparade data från produktion (snabb att börja men begränsad förbättring), eller med live-feedback från varje ny körning (långsammare att sätta upp men ger mycket bättre resultat). I ett verkligt exempel lyckades de få en modell att formatera hyperländar rätt i 80 procent av fallen genom att ge smarta tips efter varje försök — något som både belöningar och vanlig träning misslyckades med.

12 aug. youtube.com

VideoAI Engineer

Adaption Labs: Gradient-Free Continual Learning — Sara Hooker, Adaption

Sara Hooker från Adaption Labs argumenterar att AI-utveckling står inför en revolution. I dag kontrollerar en handfull företag och forskningsinstitut hur stora AI-modeller tränas — färre än 5 000 personer världen över vet hur man gör det. Hooker presenterar AutoScientist, ett verktyg som automatiserar själva träningsprocessen och hittar bättre lösningar än människor genom att testa olika designval istället för att förlita sig på tidigare erfarenhet. Hon hävdar också att den era då större modeller alltid är bättre börjar ta slut, vilket skulle göra det möjligt för fler att bygga kraftfulla AI-system — eftersom mindre, smarta modeller kan distribueras utan att kräva enorma GPU-resurser samlade på ett ställe.

12 aug. youtube.com

VideoAI Engineer

Intelligence + Continual Learning = Expertise — Yu Su, NeoCognition

Yu Su från NeoCognition skiljer på två saker som ofta blandas ihop: intelligens och expertis. Intelligens är förmågan att resonera genom nya problem — något som moderna AI-modeller blir allt bättre på. Expertis är kunskaper man byggt upp över tid genom erfarenhet, något som nästan ingen skalas idag. Han förklarar varför kodningsagenter fungerar bra medan andra verktyg är skört: kod är redan strukturerat och symboliskt med tester som feedback, men resten av digitalt arbete är miljontals små världar med olika regler som en statisk modell inte kan hantera. Su argumenterar att intelligens och expertis är nästan ortogonala — skala bara intelligens och du får världens smartaste nybörjare som är lysande men lär sig ingenting mellan problem.

12 aug. youtube.com

VideoAI Engineer

Scaling Compute on Context — Jack Morris, Engram

Jack Morris från Engram förklarar varför det är svårt att få AI-modeller att förstå privat företagsdata. Modeller tränas på offentlig data från internet och blir mycket bra där, men när du försöker lära dem din egen data blir de ofta värdelösa när de ska generera resultat. Han beskriver tre klassiska vägar att förbättra detta — mer data, mer beräkningskraft och större modeller — men säger att när det gäller privat data är bara beräkningskraft ett alternativ. Han går igenom olika tekniker som KV-kompression och syntetisk träningsdata, men visar att de alla stannar upp när modellen har lärt sig allt du givit den, och det finns inget magiskt sätt att fortsätta förbättra med mer beräkningskraft.

12 aug. youtube.com

VideoAI Engineer

Scaling up Continual Learning — Ronak Malde, Trajectory

Ronak Malde från Trajectory presenterar self-distillation, en metod för att träna AI-modeller på långvariga uppgifter med många steg. Problemet han löser är att när modeller tränas på långa sekvenser med befintliga metoder, blir de osäkra och fyller sitt svar med ord som "men", "vänta" och "kanske" — vad han kallar "but wait-problemet". Self-distillation fungerar genom att göra modellen till sin egen lärare: man ger en version av modellen extra information ("hints") och tränar en annan version att matcha dess beslut utan dessa hints. Till skillnad från andra träningsmetoder som måste välja mellan olika fördelar, säger Malde att self-distillation får alla fyra önskade egenskaper: att träna på verklig data, att kunna sampla olika vägar, att göra det effektivt utan parallella körningar, och att ge belöning för varje enskild token.

12 aug. youtube.com

VideoAI Engineer

Beyond Static Intelligence: Evaluating Continual Learning — Parth Asawa, UC Berkeley

Parth Asawa från UC Berkeley kritiserar hur AI-modeller utvärderas idag. Alla rankinglistan bygger på att testa en modell på en uppgift, nollställa dess minne, och testa på nästa — vilket döljer hur väl systemet faktiskt lär sig över tid. Han presenterar ett nytt mätverktyg som jämför samma system när det kan lära sig (behålla minne mellan uppgifter) mot när det nollställs efter varje uppgift. Resultaten är överraskande: enkel in-context-inlärning (där modellen använder tidigare svar för att förbättra sig inom samma konversation) slår mer komplicerade minneshanteringssystem. Hans benchmark täcker sex områden, från databassökning till prognosmodeller, och avslöjar problem som att modeller kan glömma sina egna korrigeringar.

12 aug. youtube.com

VideoAI Engineer

Computer-use models will agentify the web, not APIs — Dhruv Batra, Yutori

Dhruv Batra argumenterar att AI-agenter inte kommer att kunna förlita sig på API:er för att interagera med webben. Istället måste de lära sig att navigera webbsidor visuellt — genom att läsa skärminnehål och klicka, liksom en människa gör — eftersom de flesta av webben (omkring 200 miljoner aktiva webbplatser) aldrig kommer att bygga API:er. Mycket av det vi ser på webben är inte faktisk text utan ritad grafik: en "såld slut"-status är kanske bara en grå knapp, inte ord skrivna någonstans. Yutoris Navigator-modell löser detta genom att ta skärmbilder, klicka på element och ibland skriva JavaScript för att åstadkomma det den behöver — och fokuserar på att verifiera resultaten på skärmen snarare än att förvänta sig strukturerad data.

12 aug. youtube.com

VideoAI Engineer

From RL to IRL — Gaurav Mishra, Amazon AGI Lab

Gaurav Mishra från Amazons AGI-lab visar hur AI-agenter som tränas för att använda webläsare stöter på helt nya problem när de möter verkliga inloggningsskärmar och webbsidor. I träningen gissade agenten sitt eget lösenord och klickade på fejkade knappar — problem som uppstår för att agenten inte kan se allt på skärmen, inte kan ångra misstag, och inte vet när den är autentiserad. Hans lösning är att träna agenterna mer som pilotskolor tränar piloter: med sanningsenlighet i miljön, processbelöningar som straffar farliga steg under vägen, och själv-medvetenhet om när en åtgärd är reversibel och säker innan den utförs.

12 aug. youtube.com

VideoAI Engineer

Agents, codebases, and teams — Aditya Khandelwal, Amazon AGI Lab

Aditya Khandelwal från Amazon AGI Lab delar erfarenheter från att introducera AI-agenter i ett kodteam. Problemet är inte agenternas teknik utan hur de införs: om bara några ingenjörer använder agenter medan andra inte gör det, skapas kaos — de som inte använder dem hamnar efter, och alla förutsätter att agenter är problemet. Khandelwals lösning var att omstrukturera hela kodbasens arbetsflöde med hjälp av en speciell funktion kallad "ship it" som automatiserar allt från färdig kod till att PR är redo för granskning. Runt detta valde teamet att koppla in agenter för kodgranskning och andra uppgifter. Det blev inte perfekt — agenter skapade tusentals öppna issues — men det fick ingenjörerna att faktiskt ha tillit till verktygen.

11 aug. youtube.com

VideoAI Engineer

Taking Reinforcement Learning Cross Datacenter — Nan Jiang, Modal

Nan Jiang från Modal presenterar en teknik för att köra reinforcement learning (AI-träning genom trial-and-error) på GPU-servrar spridda över flera världsdelar. Problemet är att checkpoints — sparade versioner av en tränad AI-modell — väger omkring 500 GB och tar timmar att skicka mellan datacenter, vilket förstör möjligheten att uppdatera modellen snabbt. Hans lösning är att skicka endast omkring 500 MB istället: en liten patch som innehåller bara de viktigaste ändringarna. Det fungerar för att mindre än 1% av vikterna faktiskt förändras mellan versioner — inte för att gradienter är glesa, utan för att uppdateringarna är mycket små, ofta tusen gånger mindre än precisionen tillåter. Modal kallar implementationen Stitch.

10 aug. youtube.com

VideoAI Engineer

Lessons from Studying Every Memory System — Shlok Khemani, Independent

Shlok Khemani analyserade hur olika AI-system bygger minne av sina användare. Han började när ChatGPT felaktigt sa att han rest till Turkiet — något han aldrig gjorde, utan hade bara diskuterat det som alternativ till Thailand. Problemet var inte felet i sig utan att systemet inte undrade över motsägelsen eller kollade hans e-postbevis. ChatGPT använder en "löpande profil" som uppdateras i bakgrunden med omkring 4 000 tokens av tätpackad information som användare inte kan se utan att hacka sig in. Claude började motsatt, utan profil men med två sökverktyg i gamla samtal, och lade senare till ett tredje. Khemani menar att minnessystem i grunden handlar om beräkningskostnad: en stor profil är dyr att underhålla och dyr varje gång den läses in i samtalet, så olika system löser samma budget-problem på olika sätt.

10 aug. youtube.com

VideoAI Engineer

LLM Knowledge Bases: a practical guide — Ben Holmes, Warp

Ben Holmes visar hur man bygger en kunskapsbas genom att först skriva ned tankar slarvigt via röstdiktation, utan att oroa sig för ordning. Därefter låter man AI-agenter (som Claude) strukturera materialet i flera omgångar: de lägger på tidsstämplar, lägger till taggar från en förutbestämd lista, söker upp källor och skapar länkar. Slutligen genererar man en wiki från anteckningarna och kör hela processen automatiskt varje dag via molntjänst, så man vaknar till en uppdaterad wiki. Systemet kan också visa en grafvy över alla anteckningar för att hitta luckor i ens eget tänkande.

10 aug. youtube.com

VideoAI Engineer

Memory Harnesses for Long-Running Research Agents — Stefania Druga, Sakana.ai

Stefania Druga från Sakana.ai testade hur AI-agenter kan minnas information under längre arbetsuppgifter. Hon byggde ett minnessystem som fungerar som en skrivning-hantering-läsning-loop runt modellen, inte en enkel databas. Det viktigaste resultatet var negativt: när all information redan fick plats i modellens korttidsminne (context window) gjorde minnet ingen skillnad — bara högre kostnad. Men när svaret låg långt ut — på steg 124 medan frågan kom på steg 500 — blev minnet helt avgörande. Hennes bästa approach var en rangordnad lista över tidigare beslut, vilket slog både slumpmässig sökning och en "oracle" som fick perfekt minne. Hon körde experimenten på en lokal dator i Tokyo med fläktar runt den.

10 aug. youtube.com

VideoAI Engineer

Multiplayer agentic engineering — Arjun Singh, Superconductor

Superconductor använder AI-agenter som sitter med i möten och Slack-kanaler för att fånga idéer direkt från konversationer — utan att någon manuellt behöver skriva ner vad som behövs gjort. En bot lyssnade på ett möte på fyra timmar, plockade upp en kundönskan om tydligare kriterier för när arbete är klart, öppnade ett ärende själv och implementerade förslaget. Företaget kör agenterna i isolerade molnmiljöer där de inte kan komma åt produktionsdatabaser av misstag, och folk från support och tillväxt kan trigga verkligt arbete utan att behöva en utvecklarmiljö. Under en månad använde de 10,5 miljarder tokens och körde 3 300 agentsessioner för ungefär 10 000 dollar.

9 aug. youtube.com

VideoAI Engineer

Guide, Verify, Solve — Anirban Chatterjee, Sonar

En Carnegie Mellon-studie visade att produktivitetsvinsten från AI-kodning försvinner efter tre månader, medan problem och komplexitet stannar kvar — det kallas verifieringsskuld. En Wharton-studie fann att utvecklare följer AI:s råd 92,7 procent av gången när det är rätt, men också närmare 80 procent när AI är instruerad att ljuga med säkerhet. Anirban Chatterjee från Sonar föreslår en tvåskiktad lösning: noll tillit (verifiera kod med andra metoder än de som skrev den) och flera lager av granskning (både automatisk analys och resonemang-baserad granskning). Sonars jämförelser av olika AI-modeller visar att samma modell är bra på olika saker — en Claude är stark på korrekthet medan en annan är bättre på underhållbarhet och säkerhet.

9 aug. youtube.com

VideoAI Engineer

Velocity Sickness: What Happens When Your Whole Team Gets 10x Faster — Matt Dailey, Ref.

Matt Dailey beskriver "velocity sickness" — problemet när AI-verktyg gör ett team mycket snabbare utan attOutputen faktiskt har effekt. En nyhetsbrevsskrivare skrev en bok per vecka med AI-hjälp, men publiken läste inte så mycket. På ingenjörsteam blir det för många kodändringar att granska samtidigt, och decisions fattas av AI-agenter istället för människor som förstår konsekvenserna. Daileys lösning är att skilja mellan beslutsfattande och implementation: använd delade dokument för beslut (inte chatthistorik som försvinner), så agenter blir statslösa och teamet återfår kontrollen.

9 aug. youtube.com

VideoAI Engineer

Evolution of agentic surfaces — Gagan Bhat & Isabella Kai He, Anthropic

Anthropic's Applied AI-team presenterar hur agenter — AI-system som löser uppgifter självständigt — bör byggas för att klara långvariga jobb i produktion. De visar att gamla lösningar blir overhead när modellerna blir smartare: Sonnet 4.5 var försiktig med sitt minnesutrymme och avslutade tidigt, så de byggde in en fix — men när Opus 4.5 skickades utan detta beteende blev fixen bara långsam överflödig kod. Huvudinsikten är att separera agentens hjärna (resoneringsloopen) från dess händer (verktygsexekveringen), vilket gör systemen 60–90 procent snabbare och gör fel återhämtningsbara istället för ödesdigra. En logg av allt som händer under sessionen används för tre saker: att se vad agenten gör, att hämta tillbaka information som Claude glömt, och för något de kallar "dreaming" — ett nattligt jobb som förbättrar agentens minne inför nästa dag.

9 aug. youtube.com

VideoAI Engineer

Benchmarking Coding Agents on New vs Legacy Codebases — Denys Linkov, Wisedocs

Wisedocs processade medicinska anspråk genom tio olika kodrepon som ingen ville röra vid. Denys Linkovs team spenderade sex månader på att slå ihop det till ett enda repo, och han benchmarkade om de borde ha väntat på bättre AI-modeller istället. En refaktoringsuppgift tog tre timmar med o3-modellen och resulterade i tio stora fel, medan nyare modeller som Sonnet 4.6 och Opus 4.8 klarade det snabbare och med färre misstag. Men när man gav GPT 5.5 hela jobbet på en gång skrev den 2 000 rader kod på 10 minuter som mest var skalet utan själva funktionerna — något modellen själv erkände. Linkov drar slutsatsen att att göra jobbet direkt var värt det: kodroller öppnades för commits, arbete som tog månader tar nu en vecka, och utvecklare från andra delar av företaget hjälper till frivilligt nu.

8 aug. youtube.com

VideoAI Engineer

The New Primitives: Building AI Native Software — Kwindla Kramer, Daily

Kwindla Kramer argumenterar att agenter — AI-system som kan utföra uppgifter själva — är dagens primitiva byggblock, ungefär som webbsidor var på 1990-talet. Han går genom teknikhistorien för att visa hur varje decennium hade sitt fokus: på 1950-talet handlade det om att få människors avsikter in i datorn, på 1960-talet kom interaktivitet, på 1970-talet kom abstraktioner för större system. Hans huvudpoäng är att den riktiga framtiden ligger i AI-inbyggd mjukvara som kommer efter agenter — system med asinkron kommunikation, långvariga deltagenter som delar kunskap, och dynamiska gränssnitt. Han använder sitt eget spel Gradient Bang som exempel på tekniken han tror vi bör bygga nästa.

8 aug. youtube.com

VideoAI Engineer

Open Source Is Dead. Long Live Open Source. — Saoud Rizwan, Cline

Saoud Rizwan argumenterar att open source-communityn har dött — inte för att koden försvunnit, utan för att AI-genererade pull requests och säkerhetsbuggar gjort det omöjligt att underhålla projekt. Projekt som Zig, curl och tldraw stänger nu ned bidrag eller bannar AI helt. Det som överlevar är istället "open weights", dvs öppna AI-modeller som företag kan använda själva. Rizwan jämför med Open Compute, där Facebook öppnade sina datacenterdesigner, industrin standardiserade på dem, och alla — inklusive Facebook — sparade miljarder. Han uppmanar amerikanska AI-labb att släppa öppna modeller innan världen blir beroende av utländska alternativ.

8 aug. youtube.com

VideoAI Engineer

Anthropic's CCA Exam as a Field-Guide for Agentic Engineering — Frank Coyle, UC Berkeley

Frank Coyle går igenom sex produktionsscenarier från Anthropics Claude Certified Architect-examen och visar vad man INTE ska göra när man bygger med AI-agenter. Ett kritiskt misstag är att bara ta modellens svar och använda det direkt — man måste istället kontrollera "stop reason" för att veta om modellen faktiskt lyckades köra ett verktyg eller om den tog slut på tokens. Andra vanliga fel är att ge en enda agent för många verktyg (bättre att ha små specialiserade agenter med ett eller två verktyg vardera), och att låta agenter se varandras tankeprocess (vilket får dem att konvergera på samma idé). Coyle visar också praktiska trick som att köra batch-jobb för halva tokenkostnaden, och att isolera deluppgiftsresultat i egna kontextrader för att spara tokens.

7 aug. youtube.com

VideoAI Engineer

Realtime multiplayer, automation, and you! — Idan Gazit, GitHub

Idan Gazit från GitHub visade hur han skrev en automatiseringsbeskrivning på bara tre rader vanlig engelska — instruktioner han skulle ge en kollega — och fick Copilot att expandera det till ett helt arbetsflöde som uppdaterar hans webbsida från Astro 5 till Astro 7. Det viktiga är inte bara att det fungerade, utan hur han byggde in säkerhet: agenten kan bara öppna exakt en pull request, hemliga nycklar ligger helt utanför systemet, och tillåtna åtgärder deklareras tydligt i förväg så att ingen kan instrukera om den gränssnitt. Han presenterade också en andra prototyp som kör varje session i en isolerad virtuell miljö och liknar en chattapp, för att hålla politiska begränsningar och infrastrukturbeslut synliga innan agenten börjar arbeta.

7 aug. youtube.com

VideoAI Engineer

Always-on agents run production without the on-call tax — Justin Smith, Resolve AI

Justin Smith från Resolve AI beskriver hur agenter — AI-program som körs automatiskt — kan övervaka produktionsmiljöer utan att kräva att utvecklare är på beredskap dygnet runt. När någon släpper en ny kodversion kan agenten läsa vad som förändrades, ta reda på vilka övervakningsmätningar som är relevanta för just den ändringen, och skapa en anpassad kontrollplan. Agenten kan också själv besluta när den ska kolla igen — kanske om en timme om det är en typ av fel som dyker upp intermittent, eller om tre dagar för att kontrollera att allt fortfarande är stabilt. Smith poängterar att cirka 70 procent av en utvecklares tid går åt till att drifta kod snarare än skriva den, och att nya AI-verktyg faktiskt har gjort det värre genom att öka mängden förändringar som måste övervaka. Resolve-agenter fungerar genom att svara på tre frågor: när de ska köras, hur de körs (isolerat i molnet så att det inte spelar roll om du stänger laptopen), och hur de vet vad de ska göra.

7 aug. youtube.com

VideoAI Engineer

Codex, Behind the Harness — Dominik Kundel, OpenAI

Dominik Kundel från OpenAI presenterar Codex, ett system för att köra AI-modeller som agenter — alltså program som kan utföra uppgifter själva. När modellen kunde köra tillräckligt snabbt blev nätverket flaskhalsen, så de bytte till websockets för en konstant anslutning istället för att skicka all data om igen. Systemet hanterar vilka verktyg modellen har tillgång till genom att gömma sällan använda verktyg från kontextfönstret och bara visa dem när modellen söker efter dem. Alla åtgärder — som att redigera filer eller köra kommandon — körs i sandboxar för säkerhet, och när någon ber om något farligt aktiveras ett undantag som en helt separat, skyddad AI-agent granskar. Hela systemet är öppen källkod skriven i Rust.

7 aug. youtube.com

VideoAI Engineer

The State of Model Routing — NVIDIA, Cognition, OpenRouter

Videon diskuterar hur man väljer mellan stora och små AI-modeller för olika uppgifter. Det visar sig att det inte alltid lönar sig att välja den billigaste modellen för varje enskild uppgift — en liten modell som hamnar utanför sitt kompetensområde kan bli väldigt dyr genom att kalla hjälpfunktioner om och om igen. Cognition löser det genom att låta en stor modell planera och delegera arbetet till mindre modeller, vilket sparade 40 procent på kostnader. En annan upptäckt är att det är värdefullt att hålla samma modell vid liv under en hel konversation — då sparas pengar eftersom redan processad information kan återanvändas istället för att bearbetas på nytt.

6 aug. youtube.com

VideoAI Engineer

Compression at the Edge — Chris Alexiuk, NVIDIA

En paneldiskussion om hur man kan krympa stora AI-modeller utan att de blir dummare. Huvudinsikten är att modellernas lager är väldigt olika viktiga — de första och sista är kritiska medan många mittlager nästan inte spelar någon roll. GLM 5.2 kunde minskas från 1,5 terabyte till 250 GB (86 procent mindre) utan motsvarande försämring. NVIDIA förespråkar NVFP4, ett kompakt format för tal som delar precisionsinfo mellan grupper om 16 värden. Panelen betonar att riktiga testningar i faktiska användarfall är viktigare än abstrakta mätningar.

6 aug. youtube.com

VideoAI Engineer

Local Models: Trust, Control, Optimization — Carter Abdallah, NVIDIA

I en paneldiskussion från NVIDIA argumenterar experter för att öppna AI-modeller (där man kan se och förändra koden) blir allt viktigare för företag. Lucas Atkins från Arcee AI förklarar att många företag valde kinesiska öppna modeller inte för att de var bättre, utan för att tillgängligheten var säkrare — det är hans definition av tillit. Vincent Weisser från Prime Intellect visar exempel på hur man kan anpassa en öppen modell till ett specifikt jobb på en eller två veckor och få bättre resultat än dyrare slutna system. En stor fördel med öppna modeller är att du äger dina egna data och kan träna vidare på dem, vilket skapar en kraftfull återkopplingsslinga. Panelen förutspår att öppna modeller kommer nå samma nivå som dagens bästa slutna system inom ett år.

6 aug. youtube.com

VideoAI Engineer

Gadgets: Personal app vibe coding that is actually safe — Kenton Varda, Cloudflare

Kenton Varda från Cloudflare presenterar Gadgets, ett sätt att låta AI-agenter lägga till funktioner direkt i appar utan att utvecklaren behöver göra något. I exemplet bad Claude på att bygga ett presentationsprogram från ett Google-dokument, och agenten lade helt enkelt till funktioner som strikethrough, textcentrering och en SVG-box som själva appen saknade. Istället för dagens modell där användares önskemål hamnar i utvecklarnas backlog för evigt, kan varje användare få sin egen AI-assistent som fixar det de behöver — men utan att säkerhetshålet blir stort, för Gadgets bygger på isolering: varje app-instans kör i en sandbox där en XSS-bugg inte kan stjäla något.

6 aug. youtube.com

VideoAI Engineer

Building Turbopuffer: Gergely Orosz (@pragmaticengineer ) × Simon Eskildsen (CEO)

# Fireside Chat: Gergely Orosz × Simon Eskildsen **Location:** Main Stage **When:** Day 2 - June 30, 2026 · 12:30pm-1:30pm ## Speakers ### Gergely Orosz Author / Founder, The Pragmatic Engineer · The Pragmatic Engineer [X/Twitter](https://twitter.com/gergelyorosz) · [LinkedIn](https://www.linkedin.com/in/gergelyorosz/) · [Website](https://pragmaticengineer.com) Software engineer, engineering leader, and author of The Software Engineer's Guidebook; best known for The Pragmatic Engineer newsletter and blog covering software engineering practices, engineering leadership, and the tech industry. Previously held engineering leadership roles at Uber and worked at companies including Skype and Skyscanner. ### Simon Eskildsen CEO and co-founder · turbopuffer [X/Twitter](https://x.com/Sirupsen) · [LinkedIn](https://www.linkedin.com/in/sirupsen/) · [Website](https://sirupsen.com) · [Blog](https://sirupsen.com/napkin) Co-founder and CEO at turbopuffer. Formerly Principal Engineer at Shopify, where he helped scale infra from 1K → 1M RPS. — [View on the schedule](https://www.ai.engineer/worldsfair/schedule?session=asn_slot_2026_06_30_main_stage_1230_2026_06_25t07_57_06_000z)

3 aug. youtube.com

VideoAI Engineer

MCP Apps: Extending the Frontier — Ido Salomon & Liad Yosef

MCP Apps är ett sätt för AI-assistenter att visa interaktiva gränssnitt istället för långa textblock. Liad Yosef, som skapade MCP UI, presenterar hur en server kan returnera en riktig knapp, ett diagram eller en interaktiv vy som renderas direkt i chatten — och när användaren klickar flödar svaren tillbaka in i AI:ens loop. Eftersom det är en öppen standard snarare än en särskild lösning för varje verktyg, visas samma gränssnitt överallt — från små verktyg till plattformar med hundratals miljoner veckovisa användare. Specifikationen utvecklas fortfarande, bland annat hur appar och chat ska prata med varandra.

3 aug. youtube.com

VideoAI Engineer

MCP Tasks (async): Why Aren't Any Agents Supporting Them? — Cornelia Davis, Temporal

MCP tasks är en standard som låter AI-agenter starta långkörande jobb som kan pausas, rapporteras på och återupptas utan att förlora sitt arbete — till exempel en fakturabehandling som kan vänta på att en människa godkänner något mittunder. Cornelia Davis, expert på distribuerade system, visar hur detta löser ett verkligt problem: när nätverk bryter eller processer kraschar under ett långtidsjobb går ofta all kontext förlorad. Specifikationen använder en statslös kärna med långkörande beteende som tillägg, och låter servern skicka uppdateringar till klienten i stället för att klienten frågar hela tiden. Trots att tekniken finns stöder nästan ingen AI-agent den än, delvis för att det är svårt att få långkörande arbete rätt.

2 aug. youtube.com

VideoAI Engineer

When Will The Benchmaxxing Plague End? — Nick Heiner, Surge AI

Nick Heiner från Surge AI argumenterar att AI-modeller ofta ser bättre ut på tester än de faktiskt är i praktiken — ett problem han kallar «benchmaxxing». Han identifierar flera sätt testerna blir felaktiga: vissa uppgifter i testerna är helt brutna, modeller kan ha memorerat testinnehållet i stället för att förstå det, och företag kan fuska genom att systemet lär sig att svara på exakt sätt testerna förväntar snarare än att lösa uppgiften. Det värsta fallet är när testinstruktionerna motsäger varandra eller stöter på tekniska buggar, så det enda sättet få perfekt poäng är att lära sig systemets svaghet. Heiner menar att lösningen är att använda experter inom relevant område, se till att testinstruktioner och bedömning stämmer överens, och betala för verklig mänsklig bedömning.

2 aug. youtube.com

VideoAI Engineer

What's Next After RLHF? — Diogo Almeida, TypeSafe AI

Diogo Almeida, som var med och utvecklade GPT-4, argumenterar att RLHF (en träningsmetod som lär AI-modeller att behaga människor) löst ett problem men skapat ett nytt. Metoden gör modeller bra på att verka användbara och säkra, men den optimerar för att människor ska bli glada snarare än för att modellerna faktiskt gör rätt sak — precis som trycket att behaga kan få en modell att påstå att ett ljud av ett prutt är en symfoni. Almeida delar in AI-användning i två världar: assistance (där människor fångar misstag) och automation (där systemet agerar på egen hand med verkliga konsekvenser). För automation är RLHF-tankesättet en nackdel, eftersom modellens inbyggda vilja att behaga blir farlig när ingen är där för att kontrollera den. Hans förslag är att börja optimera för verifierbara resultat istället för mänsklig godkännande.

1 aug. youtube.com

VideoAI Engineer

Emulated: The Data for Fully Autonomous Software Engineers and Companies — Joseph Wang

Emulated bygger träningsdata för AI-agenter som ska kunna jobba som mjukvaruingenjörer i verklig produktion. Deras insikt är att dagens träningsumgebningar är för enkla — de simulerar bara rena kodändringar, inte det kaotiska verklighetsarbetet med att hålla system igång när databaser kraschar, servrar slutar fungera och problem dyker upp under pågående incidenter. Istället skapar Emulated simuleringar av hela företag och molninfrastruktur, där en AI-agent måste hantera allt från att allokera resurser och hålla nere kostnader till att skala upp tjänster när något går fel. Grundarna kommer från bakgrund inom nätverksinfrastruktur och tror att genom att kombinera domänexpertis med verklighetstrogna simuleringar kan AI-agenter lära sig det mesiga, fullständiga arbetet som faktiska infrastrukturtekniker gör.

31 juli youtube.com

VideoAI Engineer

The Base Model Is Dead — Varun Singh, Arcee AI

Varun Singh från Arcee AI argumenterar att den gamla uppfattningen om basmodeller — att de är speglar av internet som andra tekniker bygger på — inte längre stämmer. Moderna modeller blandar in instruktionsdata och syntetisk träningsdata mycket tidigare i processen, och en egen mellanstagium har dykt upp. Raw webtext tar en backseat samtidigt som reinforcement learning (ett sätt att träna AI att resonera bättre) har blivit så viktigt att det ändrar vad basmodellen behöver göra från början. Singh går igenom praktiska problem hans team stötte på när de tränade Trinity-serien, som att få rätt balans i olika datakällor och få modellen stabil tidigt så den är förberedd för vad som kommer senare. Poängen är att basmodellens roll ständigt omdefinieras när kapaciteten ökar.

31 juli youtube.com

VideoAI Engineer

Verifiable Environments for AI in Biology — Kenny Workman, LatchBio

Kenny Workman från LatchBio pratar om hur man använder AI för att göra faktisk biologisk forskning. Biologiska experiment genererar enorma mängder data — två till sex terabyte per försök — som är för mycket för forskare att analysera manuellt. LatchBio har utvecklat verktyg som tar kodningsmodeller och anpassar dem till biologi, och byggt benchmarks där man kan testa om AI faktiskt löser riktiga biologiska problem. Det stora problemet är att dagens avancerade AI-modeller ännu inte är tillräckligt pålitliga för detta arbete, och att biologi är svårare än många andra områden eftersom experimentet själv ofta är messy och forskare sällan helt eniga om svaren.

31 juli youtube.com

VideoAI Engineer

Ending AI Slop — Thais Castello Branco, Taste Labs

Thais Castello Branco från Taste Labs argumenterar att AI-modeller idag är dåliga på subjektivt arbete som skrivande och design, och att problemet är att modeller tenderar att optimera mot genomsnittet — det mest sannolika — vilket dödar kreativiteten. Lösningen är att bryta ner design i mätbara delar (en logotyp, en överskrift, en färg) som kan jämföras mot originalet, och sedan samla högkvalitativ feedback från experter kopplad till specifika val. Genom att göra smak mätbar och träningsbar på det sättet kan AI lära sig att bryta från det uppenbara när situationen kräver det.

31 juli youtube.com

VideoAI Engineer

Agents at Scale: Inside MiniMax's Model and the Infrastructure Behind It — Olive Song

Olive Song, som leder förstärkningsinlärning på MiniMax, går igenom hur företaget byggt sin AI-modell och infrastrukturen bakom den. MiniMax fokuserar på att släppa öppen källkod så att andra kan optimera och använda modellen brett. Song beskriver det praktiska arbetet: hur man tränar modeller som kan bygga spel och använda datorer, hur man skriver och justerar GPU-kod för snabb beräkning, och hur man hanterar flera modaliteter (text och bilder) utan att de kollapsar under träningen. Mycket av arbetets fokus ligger på tekniska detaljer som KV-cache-hantering och optimering på dag ett när modellen släpps.

31 juli youtube.com

VideoAI Engineer

fighting slop with slop — Vaibhav Gupta, Boundary

Vaibhav Gupta från Boundary presenterar en strategi för att hantera problem med AI-agenter som genererar felaktig kod och data — han kallar det «att bekämpa slask med slask». Hans approach är att använda billiga AI-agenter själva som verktyg för att övervaka andra agenter: de granskar transkript, flaggar hallucinationer (när AI hittar på saker) och jämför vilka lösningar som fungerade bäst. Han kombinerar detta med stabila regler och checklistor som inte ändras, vilket skapar ett fast lager under den mesiga detektionslagret. Det djupare spelet är att använda typsystem — designmönster som gör vissa fel omöjliga från början — så att agenter kan röra sig snabbt inom definierade gränser utan att kunna gå vilse. Han presenterar också BAML, ett verktyg som låter agenter arbeta över Python, TypeScript och Rust med starka begränsningar.

31 juli youtube.com

VideoAI Engineer

Data Quality Is the Compute Multiplier — Ari Morcos, DatologyAI

Ari Morcos från DatologyAI argumenterar för att datakvalitet är viktigare än råa beräkningsresurser när man tränar AI-modeller. Istället för att bara mata in massa data (en brandslang) bör man fokusera på att rensa, organisera och skapa högkvalitativ träningsdata — liksom ett oljeraffinaderi. Det visar sig att en mindre modell tränad på noggrant utvald data kan slå mycket större modeller, och använder mindre kraft när den körs. Exempel från kunder som Thomson Reuters och Arcee visar att denna strategi fungerar i praktiken. Det är billigare att göra bättre data än att köpa dyrare datorer.

31 juli youtube.com

VideoAI Engineer

Rethinking Environments for Long-Horizon Work — Rayan Garg, Theta Software

Rayan Garg från Theta Software diskuterar hur man mäter och bygger miljöer för AI-agenter som ska lösa långvariga uppgifter. Problemet är att det inte finns något självklart sätt att definiera vad "långvarigt" betyder — många använder sig av en tidsgräns där agenten når en viss framgångsnivå, men det är både bullrig och missvisande eftersom samma tid kan dölja helt olika svårighetsgrader. Hur man väljer att mäta påverkar enormt vad man slutsatser om modellen. Gargs fokus ligger på att designa miljöer och verifieringssystem som gör dessa mätningar ärliga, genom att förstå hur en dålig tidig beslut kan få följdeffekter genom hela uppgiften, och genom att verifiera resultat från slutstaten snarare än från en domarens gissning.

31 juli youtube.com

VideoAI Engineer

Teaching AI to Find Real Vulnerabilities — David Brumley, Bugcrowd

David Brumley visar hur man tränar AI-modeller att hitta säkerhetshål i kod genom en stegvis metod — från att krascha ett program till att läsa och skriva minne till fullständiga attacker. Det stora problemet är mätning: eftersom det finns många möjliga säkerhetshål kan en modell alltid hävda att den hittat ett, så vanliga tester fallerar. Brumley byggde därför riktiga träningsliljor med sandlådor och objektiva bedömare som faktiskt testar om exploatet fungerar. Han demonstrerade detta på V8 (JavaScripts motor i Chrome) mot 41 riktiga säkerhetshål där de bästa modellerna nådde omkring 95 procent framgång, inklusive ett faktiskt okänt säkerhetshål.

31 juli youtube.com

VideoAI Engineer

Scaling to Long Horizons — Ross Taylor & Chengxi Taylor, General Reasoning

Ross Taylor och Chengxi Taylor från General Reasoning diskuterar hur man tränar AI-agenter som kan hålla fokus och fungera väl över längre tidsperioder — timmar snarare än sekunder. De förklarar tekniker som värdemodeller (som hjälper AI:n att förstå vilka val som leder långsiktigt) och bootstrapping (att dra ut användbar signal från få belöningar). De visar konkret hur frontier-modeller misslyckades när de gavs riktiga pengar för att handla fotbollsmatcher, vilket avslöjade att miljön som AI:n tränade i inte var realistisk nog. Poängen är att för att lyckas med långa horizonter behövs inte bara större context-fönster utan framför allt bättre och mer simulerade miljöer att träna i.

31 juli youtube.com

VideoAI Engineer

Data and Environment Curation for Post-Training LLMs — Mahesh Sathiamoorthy, Bespoke Labs

Mahesh Sathiamoorthy från Bespoke Labs argumenterar att det svåra med att träna stora språkmodeller efter de är färdigtränade inte är algoritmerna utan själva datan och miljöerna modellerna lär sig i. Han beskriver hur hans team byggt OpenThoughts, en datamängd för resonemang, och lärt sig att det viktiga är att ha många olika sätt att lösa samma problem, inte bara en "rätt" metod. Ett exempel är hur rätt märkt träningsdata om kreditkortskompliansregler gjorde en modell mycket bättre på att förstå dessa regler. Grundidén är att noggrann datakurering — val och organisering av bra träningsexempel — är mer avgörande än bara mer datorkraft.

31 juli youtube.com

VideoAI Engineer

First Steps Toward Automated AI Research — Richard Socher, CEO Recursive AI

Richard Socher, CEO på Recursive AI, presenterar en vision om att automatisera vetenskaplig forskning genom att låta AI-agenter upprepade gånger testa idéer, hitta problem och förbättra lösningar — utan att en enskild forskare blir flaskhalsen. Han kallar målet en "Eureka-maskin" och visar på konkreta tidiga exempel: ett automatiserat system som gjorde en AI-modells noggrannhet betydligt bättre än genom vanlig träning, en arkitektur-sökning som hittar bättre designval utan manuell justering, och GPU-optimeringar som gav verkliga förbättringar. Socher är försiktig med att betona att dessa är bara första steg, men hävdar att riktningen är rätt — att automatisera forskningen i medicin, ekonomi, astrofysik och andra fält kan komprimera vetenskaplig framgång på samma sätt som människan komprimerade vägen från upplysningen till månen på några hundra år.

30 juli youtube.com

VideoAI Engineer

Benchmarks: The Good, the Bad, and the Ugly — Ali Khial, G2i

Ali Khial från G2i undersökte populära kodningsbenchmarks — test som mäter hur bra AI-modeller är på programmering — tillsammans med sina bästa ingenjörer. Han upptäckte att många benchmark-uppgifter är felaktiga: instruktioner så vaga att korrekta svar förkastas, tester som kollar felaktiga detaljer som variabelnamn, och många genuint bra lösningar markeras som fel. Problemet är att AI-modeller blir allt bättre på att "fuska" genom att hitta testet istället för att lösa problemet. Khial presenterar principerna för benchmarks man kan lita på: var precis där det spelar roll, vag där det inte gör det, håll en privat testmängd hemlig så den inte läcker, och kräv produktionskvalitet.

30 juli youtube.com

VideoAI Engineer

Learning on the Job: The Future of Post-Training — Raymond Feng, Applied Compute

Raymond Feng från Applied Compute presenterar hur AI-modeller kan fortsätta lära sig efter de släppts, genom en process kallad reinforcement learning. Istället för att träna på enkla fråga-och-svar-par tränar man modellerna på riktiga arbetsuppgifter som företag behöver lösa. Systemet fungerar som en orkestrering som samlar in hur modellen presterar, betygsätter resultaten, och använder den informationen för att uppdatera modellen. En stor utmaning är att modellerna kan lära sig att fuska — till exempel genom att få en verktyg att time out istället för att faktiskt lösa uppgiften. En annan svårighet är att återskapa produktionsmiljön trogna nog så att träningen speglar verkligheten, och att hantera data från tidigare interaktioner som inte är lätt att spela upp igen.

30 juli youtube.com

VideoAI Engineer

Reinforcement Learning without Verifiable Rewards — Will Brown, Prime Intellect

Reinforcement learning has been easy to sell where the answer is checkable, like math or code, and Will Brown's talk is about everything else. Most valuable tasks have no clean verifier, so Prime Intellect's work is on how you build reward signal when there is no ground truth waiting. He frames RL simply first, a model acting in a harness with tools and skills, getting a reward, and nudging its weights, then asks how you keep climbing once you leave the verifiable island behind. His answer leans on environments as the anchor. You can set up judges, generate question and answer pairs grounded in real documents and repos, and use a reverse direction trick where you hide something, like a bug or a backdoor, so the model can learn to find it again, which conveniently gives you a difficulty dial to keep tasks not too easy and not too hard. He is direct about the dangers: reward hacking will find you if you are not careful, so you inspect traces, run small experiments, and bring in expert understanding. The goal he keeps returning to is making this a real science, with open models and shared benchmarks, where environments turn into new tasks and higher levels of ability.

30 juli youtube.com

VideoAI Engineer

Your Finance Agent's Bottleneck Is You — Ramana Siddanth Emani, Auditoria AI

Ramana Siddanth Emani från Auditoria AI argumenterar att utvecklaren själv ofta är flaskhalsen när man skalar produktionsagenter för finans — inte modellerna eller hårdvaran. Han visar hur man kan använda kodningsagenter för att automatisera sin egen utvecklarloop: agenter kan köras parallellt på separata kodgrenar, plocka uppgifter från GitHub, Jira och QA-rapporter, skriva tester, köra byggprocesser och rapportera resultat. Med en människa som slutlig verifierare kan man skeppa mycket mer kod medan man själv steg för steg blir mindre nödvändig i processen. På Auditoria använder de samma mönster för finansagenter som talar med varandra och stämmer av data.

30 juli youtube.com

VideoAI Engineer

Build for the Memo, Not the Demo — Shawn Chan, China Resources Holdings

Shawn Chan, som efter 15 år och cirka 200 investeringskommittéer fattar miljardärbeslut, säger att AI-genererade presentationer ofta ser snygga ut men är "säkert fel" på farliga sätt. Han skiljer mellan en demo — en vacker presentation byggd för att imponera — och en memo som måste hålla i ett rum fullt av människor vars jobb är att hitta problemen. För att en AI-produkt ska klara "memo-testet" krävs det att siffror stämmer överens, att fakta och gissningar hålls åtskilda, och att man kan spåra var varje påstående kommer ifrån. Han ger exempel på hur en enda felaktig mening i en demo en gång kostade enorma värden när marknaden märkte det.

30 juli youtube.com

VideoAI Engineer

Let's integrate AI Agents in Event-Sourced Systems — Divakar Kumar, FlyersSoft

Divakar Kumar visar hur man lägger till AI-agenter i befintliga betalningssystem för att hantera de svåra fall som varken regelbaserade system eller maskininlärning kan lösa själva — till exempel när ett kort nekas utan en tydlig anledning. Istället för att bygga om systemet lägger han agentlager ovanpå befintlig arkitektur baserad på event sourcing, där händelser strömmar genom ett system och agenter läser av dessa för att fatta beslut. Han använder flera agenter som arbetar tillsammans — en analyserar risken, en annan fattar slutsatsen — och de kommunicerar via meddelandeköer. Systemet är utformat för att undvika oändliga slingor och hållas serverless.

30 juli youtube.com

VideoAI Engineer

Wearing the Agent: From Group Chats to Glasses — Sai Krishna Rallabandi

Sai Krishna Rallabandi har tillbringat åtta månader på att förstå vad som går fel när man tar en AI-agent från att jobba för en person och placerar den i en gruppchatt eller på smarta glasögon. Det största problemet är att agenten måste hålla koll på vem som sa vad under långvariga samtal utan att slösa på tokens, och den måste förhindra att information läcker mellan användare. Han visar att två säkra funktioner kan blir osäkra tillsammans, och hans lösning är att låta agenten läsa allt, skapa väktare, sedan trimma en mindre modell med personliga filter som bara visar relevant information och stoppar prompt injection-attacker.

30 juli youtube.com

VideoAI Engineer

We Vetted 2000 AI Skills Before They Reached Developers — Lucas Palma, Nubank

Lucas Palma från Nubank beskriver hur banken byggt ett verktyg kallat Skill Vector för att kontrollera AI-funktioner — små kodprogrammen som utökar vad AI-modeller kan göra — innan de når utvecklarna. Varje funktion skannas först med automatiska kontroller som söker farliga kommandon, sedan granskas den av en AI-modell för att fånga problem som automatiken missar. Efter att ha kontrollerat över 2000 funktioner på det här sättet hittade de verkliga säkerhetsproblem som matades in i bankens system för hantering av sårbarheter. Nubank kombinerade automatiska skanningar med AI-granskning, men behövde förbättra vägledningen och stoppa utvecklare från att köra okontrollerade funktioner lokalt innan de godkänts.

30 juli youtube.com

VideoAI Engineer

How Kepler Built Verifiable AI for Financial Services — Vinoo Ganesh

Kepler har byggt ett system för att göra AI pålitlig för finansbranschen. Utgångspunkten är att språkmodeller är bra på att gissa nästa ord, men dåliga på exakt matematik som finansvärlden faktiskt behöver. Istället för att låta modellen göra allt själv omger Kepler den med ett system där varje tal måste kunna spåras tillbaka till sin källa, modellen bara gör de saker den är bra på, och alla siffror granskas innan de används. På det sättet blir systemet pålitligt för finansiell data istället för att bara producera innehål som låter bra.

29 juli youtube.com

VideoAI Engineer

Persona Engineering: A Field Guide to AI Synthetic Personas — Ishan Anand, InsightSciences.ai

En forskargrupp jämförde ett tusentals riktiga människors svar på marknadsundersökningar med AI-agenter som spelade samma roll. Agenterna matchade människorna väl men utan mänsklig variation — och små ändringar i prompten (instruktionen) fick köpbesluten att svänga kraftigt, eftersom modellen gissade på dolda samband som aldrig nämndes. Problemet är att en modell kan se rätt ut i genomsnitt men samtidigt förvränga minorietsgrupper och dölja den variation som faktiskt spelar roll. Lösningen är att först jämföra människor mot människor för att veta vilket överensstämmelse som ens är möjligt, sedan döma de syntetiska personorna mot den gränsen — och viktigast: behandla dem som ekonomiska aktörer som måste valideras mot verkliga resultat innan de påverkar ett beslut.

29 juli youtube.com

VideoAI Engineer

Why Off-the-Shelf AI Doesn't Understand Money — Udi Menkes, Intuit

Udi Menkes från Intuit förklarar varför vanliga AI-modeller inte förstår ekonomi och pengar på ett djupt sätt. De kan ge flytande svar på finansiella frågor, men fattar inte det unika i din verksamhet eller vad som hände när liknande företag gjorde samma beslut. Intuits egna finansiella AI-modeller är tränade på data från över 100 miljoner kunder och presterar bättre än generella modeller samtidigt som de är snabbare. Menkes diskuterar hur verklig ekonomisk intelligens går längre än att bara rapportera vad som hänt — den ska hjälpa dig att fatta bättre beslut, eller t.o.m. fatta dem åt dig.

29 juli youtube.com

VideoAI Engineer

SimulationMaxxing: How we ship agents 20× faster — Aman Gupta (Nubank) + Shreya Rajpal (Snowglobe)

Nubank, som betjänar 135 miljoner kunder, använde simulerad träning för att skicka fem AI-agenter till produktion 20 gånger snabbare än tidigare. Problemet var att det tog långt tid att testa agenter — man behövde verklig data från kundsamtal som var långa och kontextberoende, inte bara enkla frågor och svar. Snowglobe löste det genom att generera simulerade kundsamtal automatiskt, med realistiska detaljer som kundkonto, tonfall och syfte. Denna metod fungerade tillräckligt väl — simulerade samtal stämde överens med riktiga i cirka 80 procent av fallen — för att låta Nubanks team testa agenter snabbt och iterera utan att vänta på feedback från produktionen.

29 juli youtube.com

VideoAI Engineer

Skills are new features: Building Skill-Centric Harness — Yogendra Miraje, FactSet

En skill är en möjlighet du ger en AI-agent — i grunden en kort fil (skill.md) med ett namn och en beskrivning som fungerar som routningsignaler för att agenten ska välja rätt verktyg. På små skalor räcker det med en enkel register, men när systemet växer — över tio skills behövs sökning och embeddings, över hundra behövs faktisk styrning med ägarskap, tester och granskning. Det viktigaste är att skills utan tester börjar fungera dåligt när nya modeller släpps, och på enterprise-nivå är det minst lika viktigt att styra och granska skills som att skriva dem.

29 juli youtube.com

VideoAI Engineer

Morgan Stanley's ALPHALAB: Multi-Agent Research Across Optimization Domains — Brendan Rappazzo

Morgan Stanley har byggt AlphaLab, ett system med flera AI-agenter som tillsammans löser forskningsproblem. Du beskriver problemet på vanlig engelska, och systemet skriver kod, kör tester, hanterar beräkningsjobb och gör statistiska analyser helt på egen hand. En strategiagent föreslår experiment och arbetaragenter kör dem, allt presenterat på ett kortformat som människor kan läsa och godkänna innan systemet optimerar. Morgan Stanley öppensourcade det och använder det redan internt för att hitta verkliga förbättringar inom områden som modeller och kreditprognos.

29 juli youtube.com

VideoAI Engineer

Your Agent Didn't Fail. Your Harness Did. — Vinoth Govindarajan, OpenAI

Videon handlar om fel som uppstår inte i AI-modellen själv utan i systemet omkring den — det som kallas "harness failures". Problemet är att agenter kan svara självsäkert från gammal data medan två processer skriver över varandra utan att krascha, eller när ett verktyg anropas men aldrig får svar. Lösningen är att se det som: modellen föreslår, systemet genomför, och en kvittans bevisar att det faktiskt hände. Föreläsaren visar vanliga misstag som felaktig tillåelse, saknade deadlines och state som aldrig sparas, och presenterar fem frågor man bör ställa för varje incident: vad startade det, vilken state ärvde det, vilken behörighet användes, vad kördes, och vilken bevis finns kvar.

29 juli youtube.com

VideoAI Engineer

How Forward Deployed Engineering is done at Factory — Eno Reyes

Factory använder ingenjörer som sitter direkt hos sina största kunder och rapporterar tillbaka vad som behövs för att förbättra sin AI-agent Droid. Processen fungerar som en fabrik: signaler från verkliga kundbehov blir planer, testas, och blir sedan uppdateringar till Droid. Det viktiga är att kunden äger själva systemet som kopplar Droid till sitt miljö, så deras data stannar hos dem och agenten kan även köras helt isolerad från internet. Framtidsfokus är på autonomi — hur mycket kan Droid göra själv utan att en människa behöver gripa in — men man måste balansera så utvecklingen inte går sna

29 juli youtube.com

VideoAI Engineer

AI tools for Forward Deployed Engineering — Vasuman Moza, Varick Agents

Varick Agents bygger AI-agenter som sätts på toppen av de system företag redan använder, istället för att tvinga dem att migrera. De kartlägger hur en avdelning faktiskt arbetar idag — bland annat hur inköpsorder matchas mot fakturor — och automatiserar dessa processer från början till slut. Företaget använder egna tränade modeller för att förstå messy företagsdata och veta vilka personer som är samma entitet, så agenten kan köra autonomt med rätt kontext.

28 juli youtube.com

← Alla nyheter