Gemini versteht Video jetzt „agentisch“: Google spart bis zu 88 Prozent Tokens – und findet den richtigen Frame selbst

Google hat am 1. September 2026 eine Funktion vorgestellt, die weniger nach Spektakel klingt als der nächste Text-zu-Video-Generator – für die tägliche Arbeit in der Postproduktion aber womöglich mehr verändert: agentisches Video-Verständnis („agentic video understanding") in den Gemini-Modellen. Statt ein Video stur Bild für Bild durchzurechnen, darf das Modell künftig selbst entscheiden, welche Stellen es sich genauer ansieht, in welcher Geschwindigkeit und über welchen Kanal – Bild, Ton oder Transkript. Google beziffert den Effekt mit bis zu 88 Prozent weniger Tokens, bis zu 66 Prozent geringeren Kosten und bis zu 7 Prozent höherer Genauigkeit. Für alle, die mit langen Rohschnitten, Multicam-Material oder stundenlangen Interviews hantieren, ist das kein Randthema.

Was „agentisch" beim Video-Verständnis eigentlich bedeutet

Bislang verarbeitet Gemini – wie die meisten multimodalen Modelle – ein Video mit einer festen Bildrate, standardmäßig ein Frame pro Sekunde. Jeder dieser Frames wird in Tokens übersetzt und kostet Rechenzeit, egal ob auf dem Bild etwas Relevantes passiert oder nicht. Bei einem Zehn-Minuten-Clip sind das Hunderte Frames; bei mehrstündigem Material summiert sich das zu einem Token-Berg, der teuer wird und das Kontextfenster sprengt.

Der agentische Ansatz dreht dieses Prinzip um. Das Modell ruft intern ein Werkzeug auf, mit dem es gezielt suchen, scannen und einzelne Segmente inspizieren kann – ähnlich wie ein Mensch, der in einem Rohschnitt nicht jede Sekunde ansieht, sondern vor- und zurückspult, an interessanten Stellen anhält und genauer hinschaut. Braucht die Antwort eine schnelle Bewegung, tastet das Modell die betreffende Passage feiner ab; genügt der grobe Überblick, bleibt es grob. Bild, Audiospur und Transkript werden dabei nicht mehr pauschal gleich behandelt, sondern je nach Frage einzeln herangezogen. Das ist der Kern des Fortschritts: nicht mehr Frames, sondern die richtigen Frames.

Die Zahlen: bis zu 88 Prozent weniger Tokens

Google untermauert die Ankündigung mit Benchmark-Werten aus mehreren etablierten Testsets für langes Video-Verständnis. Die Ersparnis fällt je nach Aufgabe unterschiedlich aus, ist aber durchweg deutlich:

• Minerva: 58,4 Prozent weniger Tokens bei zugleich 5,3 Prozentpunkten höherer Genauigkeit.
• 1H-VideoQA (einstündige Videos): 88,0 Prozent weniger Tokens, Genauigkeit relativ um 1,1 Prozent verbessert.
• LVBench: ebenfalls 88,0 Prozent weniger Tokens, Genauigkeit relativ um 4,1 Prozent verbessert.

Weniger Tokens bedeuten weniger Kosten – Google nennt eine Ersparnis von bis zu 66 Prozent – und, fast wichtiger, mehr Reichweite: Wer sein Token-Budget nicht für gleichförmige Standbilder verbrennt, kann längeres Material an einem Stück analysieren, ohne es vorher in Häppchen zerschneiden zu müssen. Dass die Genauigkeit trotz drastisch reduzierter Datenmenge steigt statt fällt, ist dabei der eigentliche Clou: Das Modell verschwendet seine Aufmerksamkeit nicht mehr an belanglose Frames.

Vier Anwendungsfälle, die für die Praxis zählen

Google hebt vier Szenarien hervor, die sich fast eins zu eins auf einen Video-Workflow übertragen lassen. Erstens die Momentsuche im Sekundenbruchteil: Das Modell soll präzise Zustandswechsel und enge Schnittgrenzen erkennen – also genau jene Punkte, an denen eine Cutterin ansetzt. Zweitens die Nadel-im-Heuhaufen-Suche über mehrstündiges Material: „Zeig mir die Stelle, an der die Person den roten Ordner aufschlägt" wird damit zur beantwortbaren Frage, auch wenn das Rohmaterial drei Stunden lang ist. Drittens die Anomalie-Erkennung mit feiner nachgetasteter Bildrate für schnelle Bewegungen – nützlich für Qualitätskontrolle und Überwachungsmaterial. Und viertens das Zählen von Aktionen und Objekten über längere Zeiträume hinweg.

Der Sprung liegt nicht darin, dass Gemini plötzlich mehr sieht – sondern darin, dass es gezielt hinschaut. Für die Postproduktion ist das der Unterschied zwischen „einmal alles durchspielen" und „direkt zur relevanten Stelle springen".

Verfügbarkeit: welche Modelle es können und wie man es aktiviert

Die Funktion ist ab sofort über die Gemini-API verfügbar und wird von den drei aktuellen Flash-Modellen unterstützt: Gemini 3.7 Flash, Gemini 3.6 Flash und Gemini 3.5 Flash-Lite. Entwicklerinnen und Entwickler schalten sie frei, indem sie den Verarbeitungsparameter in der API-Konfiguration auf „agentic" setzen. Zusätzliche Gebühren fallen laut Google nicht an – abgerechnet wird über die üblichen Token-Preise, die durch den Effizienzgewinn ohnehin sinken. Nutzbar ist das Ganze über die Gemini-API direkt, über Google AI Studio sowie über die Gemini Enterprise Agent Platform, und zwar sowohl für hochgeladene Videos als auch für YouTube-URLs.

Für Endnutzer außerhalb der Entwicklerwelt kündigt Google einen späteren Rollout in der Gemini-App an; eine Integration in YouTube unter dem Stichwort „Ask YouTube" soll in den kommenden Monaten folgen. Wer die Funktion heute produktiv einsetzen will, bewegt sich also im API-Umfeld – für Produktionsfirmen mit eigenem Tooling ist genau das aber der richtige Andockpunkt.

Einordnung: kein Generator, sondern ein Assistent für den Schnittplatz

Wichtig zur Einordnung: Hier entsteht kein neues Video. Agentisches Video-Verständnis erzeugt nichts, es liest – es analysiert vorhandenes Material. Damit gehört die Neuvorstellung nicht in die Reihe der Generatoren wie Veo, Kling oder Runway, sondern in die weniger glamouröse, aber alltagsnähere Kategorie der Werkzeuge, die den Weg vom Rohmaterial zum fertigen Schnitt verkürzen. Genau dort, im Logging, im Sichten, im Finden der einen Einstellung unter hundert Takes, liegt in vielen Produktionen der größte Zeitfresser – und der teuerste.

Interessant ist der Zusammenhang mit einem zweiten Google-Baustein: Die Momentsuche im Sekundenbruchteil zielt ausdrücklich auf automatisiertes Editing. Ein Modell, das Schnittgrenzen und Zustandswechsel zuverlässig benennen kann, ist die Voraussetzung dafür, dass ein Assistenzsystem einen brauchbaren Rohschnitt vorschlägt, den ein Mensch danach nur noch verfeinert. Agentisches Video-Verständnis liefert dafür die Wahrnehmungsschicht.

Was das für eure Projekte bedeutet

Für eine KI-Videoproduktion ist die Neuerung vor allem im Backoffice der Postproduktion relevant – dort, wo aus vielen Stunden Material ein Schnitt wird. Drei konkrete Hebel: Erstens Media-Logging. Wer Interviews, Event-Mitschnitte oder Multicam-Material sichten muss, kann Gemini künftig gezielt fragen lassen, wo bestimmte Aussagen fallen, wo eine Person lacht, wo ein Produkt ins Bild kommt – und bekommt Zeitmarken statt eine Wall of Text. Das ersetzt keine kreative Entscheidung, aber es erspart das stumpfe Durchspulen. Zweitens Kosten und Volumen. Wenn dieselbe Analyse plötzlich einen Bruchteil der Tokens kostet, werden Auswertungen wirtschaftlich, die vorher am Budget scheiterten – etwa das automatische Verschlagworten eines ganzen Archivs. Drittens Vorbereitung für Assistenz-Schnitt. Die präzise Momenterkennung ist die Basis für halbautomatische Rohschnitte; wer jetzt Prozesse rund um Gemini aufbaut, hat die Infrastruktur bereit, sobald die generativen Schnitt-Assistenten nachziehen.

Ein praktischer Hinweis zur Kennzeichnung und zum Datenschutz: Weil die Analyse auch über YouTube-URLs und hochgeladene Kundenclips läuft, gehört die Frage, welches Material in welche Cloud wandert, in jeden Auftrag geklärt. Analyse ist datenschutzrechtlich etwas anderes als Generierung, aber Kundenmaterial bleibt Kundenmaterial.

Grenzen und offene Fragen

Bei aller Euphorie über die Effizienzwerte lohnt der nüchterne Blick. Google veröffentlicht die Zahlen selbst; eine unabhängige Reproduktion der Benchmarks ist bislang nicht dokumentiert, und Vergleichswerte zur Latenz – also wie viel schneller oder langsamer die agentische Verarbeitung in der Praxis läuft – nennt der Konzern nicht. Denkbar ist, dass das mehrfache Hin- und Herspringen im Material die reine Rechenzeit in manchen Fällen erhöht, auch wenn unterm Strich weniger Tokens anfallen. Für produktionskritische Abläufe gilt daher: erst an eigenem, repräsentativem Material testen, dann in den Workflow gießen. Die Werte sind vielversprechend, aber es sind Herstellerangaben.

Unterm Strich ist agentisches Video-Verständnis eine dieser unspektakulären Ankündigungen, die im Arbeitsalltag mehr bewegen als mancher Modell-Release mit Trailer. Nicht weil es beeindruckende Bilder erzeugt – sondern weil es die stille, zeitraubende Arbeit davor und danach billiger und schneller macht. Und genau dort entscheidet sich in der Praxis, ob eine Produktion profitabel läuft.