OpenAI Realtime API bietet günstigeres Mini-Modell für Echtzeitkommunikation

Knapp ein Jahr nach der Vorstellung der Developer Preview hat OpenAI im August 2025 die GA-Version (General Availability) der Realtime API veröffentlicht. Die Realtime API ist eine multimodale Schnittstelle, über die Audio- und Textdaten mit sehr geringer Latenz direkt mit einem Sprachmodell ausgetauscht werden können. Der Developer Day im Oktober 2025, einige Monate nach dem GA-Launch, brachte zusätzliche Neuerungen, darunter neue Tools, Preisänderungen und eine kleinere, schnellere Modellvariante.

Marius Obert

Marius Obert baut gerne Prototypen mit den neuesten Cloud-Technologien und spricht noch lieber darüber. Seine Karriere startete in der UI-Entwicklung im sonnigen Kalifornien. Während dieser Zeit lernte er Webtechnologien wie JavaScript im Allgemeinen und das gesamte Node.js-Ökosystem im Speziellen zu lieben.

Mit der GA-Version erweitert OpenAI die Möglichkeiten der Interaktion mit KI-Agenten deutlich. In einem Blogbeitrag stellt das Unternehmen Anwendungsbeispiele von Partnern wie Zillow, T-Mobile, StubHub, Oscar Health und Lemonade vor, die die Vielfalt der Einsatzszenarien verdeutlichen. Die Anwendungsfelder reichen über klassische Sprachdialoge hinaus und ermöglichen sogenannte „hands-free Interaktionen“, bei denen Anwenderinnen und Anwender Text-, Sprach- und visuelle Eingaben flexibel kombinieren können. Die Realtime API ist dabei nicht ausschließlich als Voice-to-Voice-Lösung konzipiert, sondern als multimodales System, das Text, Audio und Bilder gleichermaßen als Eingaben akzeptiert. Sprachinteraktion stellt somit einen ergänzenden Kommunikationskanal neben weiteren Nutzungsformen dar.

Technische Neuerungen im allgemeinen Release

Im Vergleich zur Developer Preview enthält die GA-Version der Realtime API zahlreiche technische Erweiterungen und Verbesserungen in den Bereichen Modellarchitektur, Integration und Nutzbarkeit. Eine zentrale Änderung ist die Einführung einer Mini-Variante des Modells, die kosteneffizientere und schnellere Anwendungen ermöglicht. Die OpenAI-Website zeigt die Unterschiede zwischen gpt-realtime und gpt-realtime-mini.

Heise-Konferenz: enterJS Integrate AI

Wann ist Voice AI in Webanwendungen sinnvoll, und wann nicht? Marius Oberts Vortrag auf dem Online-Thementag enterJS Integrate AI am 28. April 2026. Frühbuchertickets und Gruppenrabatte im Online-Ticketshop.

Die Audioqualität wurde deutlich überarbeitet: Die erzeugte Sprache klingt natürlicher und ausdrucksstärker, mit feineren Betonungen, flüssigeren Pausen und einer besseren Anpassung an Gesprächsverläufe. OpenAI hat hierfür zwei neue Stimmen eingeführt: „Cedar“ und „Marin“.

Auch die Fähigkeit zur Befolgung komplexer Anweisungen hat der Anbieter verbessert. Das Modell reagiert präziser auf System- und Entwickler-Prompts, und es kann Texte exakt vorlesen, alphanumerische Sequenzen korrekt wiedergeben und fließend zwischen Sprachen wechseln. Benchmark-Tests wie die Big Bench Audio Evaluation weisen eine Steigerung der Genauigkeit (Accuracy) von rund 65 Prozent in der Beta-Version auf über 82 Prozent in der GA-Version aus:

Eine wesentliche Verbesserung betrifft die erweiterten rhetorischen Fähigkeiten des Modells. Die Realtime API kann Gesprächsverläufe nun flüssiger, natürlicher und kontextbewusster gestalten, indem sie Pausen, Betonungen und Gesprächsdynamik besser interpretiert. In diesem Zusammenhang führt OpenAI die Funktion der Conversation Idle Timeouts ein. Erkennt das Modell über einen definierten Zeitraum keine Eingabe, kann es automatisch Folgesätze wie „Sind Sie noch da?“ ausgeben, um den Gesprächsfluss aufrechtzuerhalten und dem Nutzer oder der Nutzerin ein aktives Gespräch zu signalisieren.

Darüber hinaus reagiert das Modell während längerer oder asynchroner Funktionsaufrufe mit Zwischentexten, beispielsweise „Ich warte noch auf das Ergebnis“, um Wartezeiten kommunikativ zu überbrücken und den Dialog lebendig zu halten. Diese Ergänzungen tragen dazu bei, die Interaktion natürlicher und konsistenter zu gestalten – insbesondere in Anwendungsfällen, in denen Echtzeit-Feedback und gesprochene Zwischenausgaben entscheidend für die Nutzererfahrung sind.

Zudem unterstützt die OpenAI Realtime API nun neben WebSocket und WebRTC auch das Session Initiation Protocol (SIP), was die direkte Integration in Telefonie- und Contact-Center-Systeme erleichtert.

Für Entwicklerinnen und Entwickler hat der Anbieter die Strukturen der Ereignis- („Event“-) und Nachrichten-Items überarbeitet, um Debugging und Fehlerbehandlung zu vereinfachen. Dieses Modell verfügt zudem inzwischen über EU-Datenresidenz, um europäischen Datenschutzanforderungen Rechnung zu tragen.

Vorgefertigte Werkzeuge wie Web-Search oder Code Interpreter sind derzeit noch nicht integriert, sodass Anwender sie selbst nachbauen müssen. Über die Implementierung des MCP-Servers (Model Context Protocol) ist es möglich, externe Tools in die Agentenlogik einzubinden. Damit lassen sich die Fähigkeiten eines Agenten relativ einfach erweitern und in bestehende Tools größerer Anwendungen integrieren. Diese Änderungen erhöhen insgesamt die Robustheit, Flexibilität und Praxistauglichkeit der API.

Modellübersicht

Die folgende Tabelle gibt einen Überblick über die wichtigsten Modellparameter und Preisstrukturen von gpt-realtime und gpt-realtime-mini.

Tabelle 1: Vergleich der Kernparameter beider Modelle; Kosten pro Million Token in US-Dollar ($)

Verbesserte Developer Experience mit dem Agents SDK

Parallel zum GA-Release hat OpenAI auch die Developer Experience weiterentwickelt. Das Anfang 2025 vorgestellte Agents SDK unterstützt inzwischen die Realtime API und erleichtert die Erstellung interaktiver, multimodaler Agenten.

Es bietet standardisierte Integrationen für verschiedene Plattformen, darunter:

• Twilio: Über die Media Streams API kann Live-Audio von Telefonaten direkt an die Realtime API weitergeleitet werden. Das SDK übernimmt dabei technische Details wie Latenzmanagement und Audioformatierung.
• Cloudflare Workers: Eine angepasste Transportschicht ermöglicht Echtzeit-Interaktion auch in Umgebungen ohne native WebSockets.
• Vercel AI SDK: Ein Adapter erlaubt die Anbindung verschiedener Modelle, was für Multi-Agent-Anwendungen und Modellmischungen vorteilhaft ist.

Diese Werkzeuge reduzieren den Infrastruktur- und Integrationsaufwand und ermöglichen es Entwicklern, sich auf Logik und Nutzererfahrung zu konzentrieren. In produktiven Umgebungen verbessert dies Zuverlässigkeit und Skalierbarkeit, ohne tief in Streaming- oder Audioarchitekturen einsteigen zu müssen.

Im praktischen Einsatz lässt sich damit beispielsweise ein Voicebot mit minimalem Code realisieren, der während eines Live-Telefonats dynamisch Daten aus einer externen API abruft – ohne manuelle Arbeit an WebSocket- oder Netzwerkprotokollen. Mit dem Agents SDK können Programmierer die gesamte Implementierung, die ohne das Agents SDK beispielsweise 275 Zeilen benötigen kann, elegant in weniger als 100 Zeilen JavaScript-Code schreiben, was eine Einsparung von mehr als 60 Prozent bedeutet. Das folgende Listing zeigt ein Beispiel:

import Fastify from 'fastify';
import dotenv from 'dotenv';
import fastifyFormBody from '@fastify/formbody';
import fastifyWs from '@fastify/websocket';
import {
   RealtimeAgent,
   RealtimeSession,
   backgroundResult,
   tool,
} from '@openai/agents/realtime';
import { TwilioRealtimeTransportLayer } from '@openai/agents-extensions';
import { z } from 'zod';

// Lese Umgebungsvariablen aus einer .env-Datei
dotenv.config();

const { OPENAI_API_KEY } = process.env;
if (!OPENAI_API_KEY) {
   console.error('Fehlende Umgebungsvariable. Bitte definieren Sie diese in einer .env-Datei.');
   process.exit(1);
}

// Initialisiere Fastify-Server
const fastify = Fastify();
fastify.register(fastifyFormBody);
fastify.register(fastifyWs);

// Tool zum Bewerten von Reisepreisen – entspricht der ursprünglichen Funktionalität
const bewerteReisePreisTool = tool({
   name: 'bewerte_reise_preis',
   description: 'Falls der Nutzer nach dem Preis der Reise fragt, nutze diese Funktion, um den Preis zu berechnen.',
   parameters: z.object({
       start: z.string().describe('Ort, von dem die Reise startet'),
       ziel: z.string().describe('Ort, an dem die Reise endet'),
       verkehrsmittel: z.string().describe('Verkehrsmittel für die Reise'),
       dauer: z.number().describe('Dauer der Reise in Minuten'),
   }),
   execute: async ({ start, ziel, verkehrsmittel, dauer }) => {
       const preis = Math.round(Math.random() * 10 * dauer);
       console.log(`Der zufällige Preis für die Reise von ${start} nach ${ziel} mit ${verkehrsmittel} beträgt ${preis}€`);
       return backgroundResult(`Der Preis für die Reise von ${start} nach ${ziel} mit ${verkehrsmittel} (Dauer: ${dauer} Minuten) beträgt ${preis}€.`);
   },
});

// Erstelle den Agent mit deutschen Anweisungen
const agent = new RealtimeAgent({
   name: 'Reise-Assistent',
   instructions: 'Du bist ein hilfsbereiter Sprachassistent, der Fragen kurz und bündig beantwortet, ohne viel zu reden. Du hilfst hauptsächlich bei Reisefragen und Preisbewertungen.',
   tools: [bewerteReisePreisTool],
});

// Route für eingehende Anrufe von Twilio
fastify.all(
   '/incoming-call',
   async (request, reply) => {
       const twimlResponse = `<?xml version="1.0" encoding="UTF-8"?>
<Response>
   <Say language="de-De">Viel Spaß beim Testen des Sprachassistenten!</Say>
   <Connect>
       <Stream url="wss://${request.headers.host}/media-stream"/>
   </Connect>
</Response>`;
       reply.type('text/xml').send(twimlResponse);
   },
);

// WebSocket route für die WebSocket-Verbindung zwischen Twilio und OpenAI
fastify.register(async (scopedFastify) => {
   scopedFastify.get(
       '/media-stream',
       { websocket: true },
       async (connection) => {
           console.log('Anrufer verbunden');

           const twilioTransportLayer = new TwilioRealtimeTransportLayer({
               twilioWebSocket: connection,
           });

           const session = new RealtimeSession(agent, {
               transport: twilioTransportLayer,
               model: 'gpt-realtime'
           });

           // Verbinde zur OpenAI Realtime API
           await session.connect({
               apiKey: OPENAI_API_KEY,
           });
           console.log('Verbunden mit der OpenAI Realtime API');

       },
   );
});

fastify.listen({ port: 3000 }, (err) => {
   if (err) {
       console.error(err);
       process.exit(1);
   }
   console.log(`Server gestartet`);
});

Listing 1: Beispiel für einen kompakten Telefon-Assistenten mit dem Agents SDK

Das Listing demonstriert, wie sich mit dem Agents SDK ein Sprachassistent mit Echtzeitaudio in wenigen Zeilen umsetzen lässt. Ein Fastify-Server verarbeitet eingehende Anrufe und Audio-Streams über Twilio, während der mitgelieferte Transport-Layer die Verbindung zur OpenAI Realtime API herstellt. Ein Tool zur Bewertung von Reisepreisen wird über zod-Validierung eingebunden. Der Agent reagiert auf deutschsprachige Anweisungen und gibt kurze, prägnante Antworten.

Die Verarbeitung erfolgt ohne Medienbruch und mit minimaler Latenz: Sprache wird erkannt, verarbeitet und die Antwort direkt synthetisiert. Die gesamte Logik bleibt in einem kompakten, skalierbaren Serverprozess gebündelt und ist wartungsarm implementierbar.

Änderungen beim Übergang von Beta zu GA

Neben den funktionalen Erweiterungen gab es auch strukturelle Änderungen im API-Design:

• Entfernung des Beta-Headers OpenAI-Beta: realtime=v1; Anfragen erfolgen ohne speziellen Header.
• Einführung kurzlebiger API-Keys, die zentral generiert werden
• Entfernung des Parameters Temperature zur Steuerung der Modellkreativität
• Neue Endpunkte und optimierte Event-Struktur für WebRTC- und WebSocket-Streams
• Neues URL-Schema für WebRTC-Initialisierung
• Überarbeitete Eventnamen und Item-Formate (z. B. wurde response.text.delta zu response.output_text.delta).
• Neue Item-Events .added und .done zur feineren Synchronisierung

Einschränkungen und bekannte Grenzen

Trotz der erheblichen Fortschritte der OpenAI Realtime API bestehen weiterhin einige zentrale Einschränkungen, die Entwicklerinnen und Entwickler bei der Planung ihrer Anwendungen berücksichtigen sollten.

Dem System liegt ein Large Language Model (LLM) zugrunde, das grundsätzlich darauf ausgelegt ist, aktiv zu interagieren. Diese Eigenschaft führt dazu, dass das Modell tendenziell eigeninitiativ auf Gesprächssituationen reagiert – auch dann, wenn das nicht ausdrücklich erwünscht ist.

Selbst bei klaren Anweisungen wie „Bitte nur antworten, wenn du namentlich angesprochen wirst“ oder „Höre nur zu“ beteiligt sich das Modell in Gruppengesprächen häufig unaufgefordert an der Unterhaltung, etwa wenn während einer Telefonkonferenz eine kurze Sprechpause entsteht.

Da jeder Input in der Realtime API nahezu unmittelbar mit einer Ausgabe beantwortet wird, lassen sich passive Notetaker-Szenarien, bei denen ein System lediglich zuhört und das Gespräch erst später zusammenfasst, nur eingeschränkt oder gar nicht realisieren. Für solche Anwendungsfälle bietet sich weiterhin eine manuelle Transkription über klassische Speech-to-Text-Verfahren an.

Auch in Mehrbenutzer-Situationen zeigen sich derzeit Grenzen. Das Modell kann häufig nicht eindeutig erkennen, an wen sich eine Aussage richtet, was bei Gesprächen mit mehreren Teilnehmenden zu Missverständnissen führen kann.

Ein weiterer Punkt betrifft die Kostenstruktur produktiver Anwendungen. Trotz der deutlichen Preissenkungen durch das Mini-Modell bleibt der Rechenaufwand für hochwertige Echtzeit-Audioverarbeitung ein entscheidender Faktor, der individuell bewertet werden sollte.

Zur Orientierung: Bei einem durchschnittlichen Gespräch mit etwa 140 Wörtern pro Minute und Teilnehmer entstehen in 30 Minuten rund 5.600 Token (oder 0,0056 Millionen) pro Richtung – also jeweils für Eingabe und Ausgabe.

Auf dieser Basis ergeben sich für beide Modelle die folgenden geschätzten Kosten:

Tabelle 2: Schätzung der Kosten pro Million Token nach Modell in US-Dollar ($)

Die Preise beider Modelle sind deutlich niedriger im Vergleich zur Beta-Version. Besonders das Mini-Modell ist sehr kosteneffizient und reduziert die Preise um 90 Prozent. Das eröffnet neue, kostensensible Einsatzbereiche. Trotzdem ist auch diese Variante sorgfältig für Szenarien zu prüfen, die dauerhaft hohe Audioverarbeitungsleistung erfordern – zum Beispiel dauerhafte Protokollbefragungen oder Meeting-Zusammenfassungen, bei denen ein Modell über längere Zeit „still“ mitschreibt.

Generell müssen Entwicklerinnen und Entwickler sorgfältig abwägen, welcher Modelltyp den Anforderungen ihrer Anwendung am ehesten gerecht wird und ob Realtime-Fähigkeiten wirklich einen Mehrwert bieten. Für eine Vielzahl moderner Use Cases, in denen sofortige, multimodale Interaktion und bidirektionale Sprachschnittstellen entscheidend sind, ist die Realtime API jedoch inzwischen praxistauglich und erschließt neue Möglichkeiten. Für klassische, rein textuelle Aufgaben genügt aber häufig weiterhin das Standard-Chatmodell.

Konkurrenz und Ausblick

Im Bereich multimodaler Echtzeitinteraktion ist OpenAI derzeit der führende Anbieter. Vergleichbare Entwicklungen gibt es bei Google (Gemini Live), Amazon (Nova Sonic) und Alibaba (Qwen3 Omni), die jedoch noch nicht in ähnlich großem Umfang verfügbar oder dokumentiert sind. Die OpenAI Realtime API ist auch über Microsoft Azure verfügbar und kann dort aufgrund der engen strategischen Partnerschaft zwischen Microsoft und OpenAI zum gleichen Preis wie bei OpenAI direkt genutzt werden.

Darüber hinaus bietet Microsoft seit Juli 2025 mit der Voice Live API eine weiter abstrahierte Schnittstelle an, die zusätzliche Funktionen wie das Videostreaming digitaler Avatare via WebRTC umfasst. Die Voice Live API lässt sich in den Kategorien Pro, Basic und Lite betreiben und ist dabei sowohl mit Modellen von OpenAI als auch mit Microsoft-eigenen Modellen kombinierbar: In Voice Live Pro stehen unter anderem GPT-4o-Realtime, GPT-4o und GPT-4.1, in Voice Live Basic kleinere Varianten wie GPT-4o-Mini-Realtime, GPT-4o Mini und GPT-4.1 Mini zur Verfügung, während Voice Live Lite auf äquivalente Modelle wie GPT-4.1 Nano oder Phi setzt.

Ein Vergleich der aktuellen Preismodelle zeigt folgende Werte:

• Google Gemini 2.5 Flash Native Audio (Live API) berechnet etwa 3 US-Dollar je Million Input-Token für Audio und Video sowie rund 12 US-Dollar je Million Output-Token, inklusive aller Verarbeitungs- und Reasoning-Token.
• Amazon Nova Sonic schlägt mit 3,40 US-Dollar je Million Input-Speech-Token und 13,60 US-Dollar je Million Output-Speech-Token zu Buche.
• Alibaba Qwen3 Omni ist Open Source. Zu den Kosten liegen zurzeit keine öffentlich verfügbaren Informationen vor.
• Microsoft Azure: Über Azure ist die Realtime API zu denselben Preisen wie bei OpenAI direkt verfügbar, derzeit 64 (Input) und 32 US-Dollar (Output) pro Million Audio-Token für das Standardmodell sowie 20 und 10 US-Dollar pro Million Audio-Token für die Mini-Variante; bei Nutzung der höher abstrahierten Azure Voice Live API liegen die Preise, bei identischem zugrunde liegendem Modell, aufgrund der zusätzlichen Abstraktions- und Plattformfunktionen höher, bei etwa 88/44 US-Dollar pro Million Audio-Token (Standard) und 22/11 US-Dollar pro Million Audio-Token (Mini).

Während andere Anbieter noch frühe Sprache-zu-Sprache-Modelle erproben, stellt OpenAI mit der Realtime API bereits eine stabile Plattform mit ausgereiftem SDK und umfassender Entwicklerunterstützung zur Verfügung, wobei sich Preisunterschiede unter anderem durch Unterschiede in der Leistungsfähigkeit und Zielsetzung der zugrunde liegenden Modelle erklären lassen. Allerdings ist zu berücksichtigen, dass die Modelle unterschiedlicher Anbieter nicht zwangsläufig direkt miteinander vergleichbar sind.

Mit der GA-Version der Realtime API steht nun ein stabiler und konsolidierter Funktionsumfang zur Verfügung, der über frühe Sprache-zu-Sprache-Experimente hinausgeht. Durch die Unterstützung mehrerer Eingabeformen – Sprache, Text und Bild – sowie durch eine niedrige End-to-End-Latenz lassen sich Anwendungsszenarien umsetzen, die mit klassischen „Speech-to-Text à LLM à Text-to-Speech“-Architekturen nur eingeschränkt realisierbar sind. Gleichzeitig wurden mit der Weiterentwicklung des SDK, der klareren API-Struktur und den erweiterten Integrationsmöglichkeiten Hürden für die Umsetzung solcher Systeme reduziert.

Damit deckt die aktuelle Version der Realtime API zusätzliche Anwendungsfälle ab und erleichtert Entwicklerinnen und Entwicklern den Übergang von experimentellen Prototypen hin zu produktionsnahen, interaktiven Echtzeitanwendungen.

(mai)