4K und HDR im Live-TV auf der Xbox Series X: was Sie erwarten können

Eine Series X spielt einen 4K-Live-Sender ab. Das gehört als Erstes gesagt, denn im Rest dieses Artikels geht es darum, was sie nicht tut, und diese Lücken werden leicht für einen Defekt gehalten.

Die Kurzfassung: 4K wird dekodiert und läuft. HDR wird auf SDR heruntergerechnet. Das Durchschleifen von Dolby- und DTS-Bitströmen ist nicht verfügbar. AV1 fällt auf Software zurück. Alle vier folgen aus einer einzigen Tatsache: die Konsolen-App bindet eine andere native Player-Bibliothek ein als die Windows-App.

Zwei Builds derselben Bibliothek#

Der Desktop-Kopf lädt libvlc 3.0.23. Der Konsolen-Kopf bindet einen UWP-Build aus libvlc 3.0.16 mit dem App-Container-Modulsatz ein, und das ist es, was eine Store-App auf einer Konsole ausliefern darf.

Was jeder Kopf anfordern darf, nebeneinander:

switch                     desktop            console
--------------------------------------------------------------
--avcodec-hw=...           yes                yes
--avcodec-threads=3        no                 yes (memory cap)
--mmdevice-passthrough=N   yes (primary)      no (no mmdevice plugin)
--d3d11-hdr-mode=...       yes (10-bit only)  no (plugin too old)

Die beiden Builds tragen nicht dieselben Module, und wir können das in unserem eigenen Code nicht umgehen. Geben Sie libvlc eine Option aus einem Modul, das dem Build fehlt, dann arbeitet es nicht eingeschränkt weiter. Es lässt die gesamte Instanz scheitern. Die Konsole war auf genau diese Weise schon einmal lahmgelegt, durch einen Vorauslesepuffer-Schalter. Deshalb werden die Schalter an einer Stelle entschieden, je Kopf, und die Konsole bekommt die Teilmenge, die ihr Build einlösen kann. 63 Tests halten diese Linie und prüfen, dass jede Kombination aus Kopf, Rolle und Oberflächentiefe nur Schalter von der Positivliste setzt und dass die Konsole die beiden, die sie nicht unterstützen kann, nie zu sehen bekommt.

HDR#

Auf der Konsole heute nicht. Ihr Direct3D11-Modul ist älter als der HDR-Modus-Schalter, es gibt also nichts einzuschalten. Die Oberfläche bleibt 8-Bit und VLC rechnet einen HDR-Stream auf SDR herunter, bevor Sie ihn sehen.

Ein HDR-Sender läuft und sieht aus wie eine ordentliche SDR-Umsetzung seiner selbst. Nicht falsch. Flacher als derselbe Stream auf einem Windows-Rechner mit HDR-Bildschirm.

Auf dem Desktop hat das eine von der App verwaltete Swapchain gekostet, und der Grund dafür erklärt, warum es keine kleine Portierung ist. Das Standard-Videosteuerelement baut seine Swapchain als 8-Bit-BGRA, und DXGI verweigert einen HDR10-Farbraum auf einem 8-Bit-Puffer, die Aushandlung konnte also immer nur bei sRGB landen, ganz gleich, was der Stream trug. Die Swapchain selbst zu besitzen war der einzige Hebel. Dasselbe auf der Konsole zu tun braucht einen neueren UWP-Build von libvlc aus dem Ursprungsprojekt.

Beim ersten Anlauf haben wir das falsch gemacht, und zwar so, dass es nur die laufende App zeigte. 10 Bit bedingungslos anzufordern ändert, wie der Compositor die Videoebene behandelt: die durchscheinende Player-Oberfläche wurde heller zusammengesetzt, und die Bedienelemente begannen durch das Video hindurchzuschimmern. Deshalb fordert der Desktop 10 Bit heute nur dann an, wenn der Bildschirm, auf dem er sitzt, einen HDR-Farbraum meldet, und jeder fehlgeschlagene Test antwortet mit SDR, weil SDR die Antwort ist, die nichts verschlechtern kann.

Ton#

Das Durchschleifen ist auf der Konsole aus zwei voneinander unabhängigen Gründen abgeschaltet. Der UWP-Build von libvlc liefert überhaupt kein mmdevice-Modul mit, der Schalter hat also niemanden, mit dem er reden könnte. Davon unabhängig lässt die Xbox Apps von Drittanbietern von vornherein kein Audio durchschleifen.

Jeder Grund für sich würde die Sache entscheiden. Konsolen-Audio wird zu PCM dekodiert und so an den Fernseher oder den Receiver geschickt. Für Stereo und die meisten Surround-Formate in Ordnung; nicht das, was Sie wollen, wenn Sie einen Receiver gekauft haben, damit er den Bitstrom selbst dekodiert. Selbst auf dem Desktop ist das Durchschleifen auf den Hauptplayer beschränkt, weil es das Audiogerät im Exklusivmodus öffnet und eine Bereitschaft oder eine Mosaik-Kachel, die denselben Endpunkt anfordert, ihr Audio komplett verlieren würde.

Die Einstellungskarten für HDR und Durchschleifen werden auf der Konsole ausgeblendet statt ausgegraut angezeigt. Ein Bedienelement, das nichts bewirken kann, ist schlimmer als gar keines.

Codecs, und der eine, der beißt#

H.264 und HEVC sind die Normalfälle und beide laufen einwandfrei. AV1 ist der, den man kennen sollte: das FFmpeg des Konsolen-Builds trägt keinen AV1-Hardware-Dekoder, ein Stream, den eine aktuelle Windows-GPU mühelos schafft, fällt auf der Konsole also auf Software zurück.

4K in Software zu dekodieren ist teuer, und hier taucht das Speicherbudget auf. Die Konsole begrenzt die Bilddekodier-Threads auf 3, und diese Zahl ist nicht willkürlich. Sich selbst überlassen nahm der Dekoder auf dem Messrechner 6, was bei 4K einen Direct3D11-Ausgabepool mit 40 Oberflächen ergab: rund 500 MB GPU-sichtbare Belegung gegen ein Xbox-Budget von 1 GB. Die Begrenzung auf 3 hält das im Rahmen. Hardware-Dekodierung nutzt diese Threads nicht, die Begrenzung kostet also nichts auf den Pfaden, auf die es ankommt.

Praktisch heißt das: wenn ein Sender auf der Konsole ruckelt und unter Windows sauber läuft, prüfen Sie den Codec vor Ihrer Verbindung. Warum manche Sender unter Windows laufen und auf der Xbox nicht ist die Anleitung dazu, und H.264 gegen HEVC gegen AV1 erklärt, was der Unterschied kostet.

Wie gut aussieht#

Zum Vergleich die Desktop-Zahlen aus demselben Überprüfungsdurchlauf: 4K live läuft, 4K auf Abruf läuft mit den GPU-Dekodiereinheiten bei rund 11 Prozent, wo es früher rein in Software lief, und ein vollständiger Durchlauf über Kaltstart, Vollbild und Bild-im-Bild protokollierte 0 Fehler.

Die Konsole erreicht das heute nicht vollständig, und die Lücke liegt beim Ursprungsprojekt, nicht in unserem Code. Was sie gut macht, ist genau das, wofür die meisten Leute sie gekauft haben: ein 4K-Live-Sender auf einem großen Bildschirm, vom Sofa aus bedient, ohne PC im Raum. Eine Xbox zur Wohnzimmer-Fernsehzentrale machen beschreibt die Einrichtung dafür.