tvg-chno : les numéros de chaîne dans les playlists IPTV, et ce que chaque lecteur en fait

tvg-chno="1"      107 entries
tvg-chno="2"       92
tvg-chno="3"       80
tvg-chno="4"       72
tvg-chno="5"       68
tvg-chno="#"        4
tvg-chno="22.1"     1

Voilà la tête de l’histogramme des numéros de chaîne d’une vraie playlist, avec deux de ses valeurs les plus étranges épinglées en dessous. Le fichier compte 1 895 entrées. 1 355 d’entre elles portent l’attribut, et ces 1 355 numéros couvrent 263 valeurs distinctes, une moyenne de 5.15 entrées par valeur. Le numéro le plus populaire du fichier est revendiqué par 107 chaînes sans rapport entre elles.

Aucun standard ne définit ce que tout cela signifie. Il n’existe pas de spécification pour tvg-chno, pas de registre, pas de propriétaire. L’implémentation de référence le documente en une ligne d’un README, et les applications qui le lisent ne s’accordent ni sur l’orthographe, ni sur le type, ni sur le repli, ni sur l’opportunité d’afficher la valeur.

D’où vient l’attribut, pour autant qu’on puisse le montrer#

La RFC 8216 est une soumission de statut Informational plutôt qu’un document de la voie des standards. Elle définit EXTM3U en section 4.3.1.1, EXTINF en section 4.3.2.1 et la famille #EXT-X-, et la chaîne tvg n’y apparaît nulle part. Sa grammaire de liste d’attributs est séparée par des virgules avec une forme de nom fixe, que la convention tvg- séparée par des espaces ne suit pas, et la même section dit aux clients d’ignorer les noms qu’ils ne reconnaissent pas. C’est cette instruction qui permet à la convention de vivre à côté de la RFC : tout ce qui suit est un accord privé entre un programme et les playlists qu’on lui a montrées.

La plus ancienne apparition de tvg-chno que je puisse pointer est la pull request #92 contre l’add-on IPTV Simple de Kodi, ouverte le 2016-11-24 et fusionnée le 2016-12-17. Je ne peux pas prouver qu’elle est la première, seulement que rien de plus ancien n’est public. Elle ajoute une constante de marqueur, et la motivation déclarée de son auteur était de synchroniser les numéros de chaîne avec un backend. La preuve négative qui l’entoure est plus forte que le commit : un ticket du même suivi, daté du 2015-07-20, dit clairement que le format M3U n’a pas de balise pour un numéro de chaîne et propose d’empaqueter le numéro dans le nom de la chaîne à la place. L’auteur de la #92 a trouvé ce ticket cinq minutes après avoir ouvert sa pull request, et le mainteneur l’a plus tard fermé comme corrigé par son patch. À la mi-2015, la propre communauté de l’add-on ne connaissait aucun attribut de ce genre.

Le préfixe tvg- a presque quatre ans de plus que le numéro. tvg-name, tvg-logo et group-title figurent dans le commit initial du projet de l’add-on, le 2013-01-17, tvg-id arrive le même jour, et tvg-shift quatre jours plus tard. Ce que tvg abrège relève du folklore : tout le monde le lit comme « Guide TV » et les attributs frères qui portent l’adresse du guide soutiennent cette lecture, mais aucune source de première main n’énonce le développement, et les récits qui font remonter le jeu d’attributs à un écosystème de lecteurs Windows antérieur sont de seconde main. Le négatif est plus solide. XMLTV est ce vers quoi ces attributs pointent, pas d’où ils viennent.

L’adoption après Kodi enchaîne Tvheadend qui l’émet en mars 2018, Emby qui le documente courant 2018, Jellyfin en février 2019. Le détail le plus irritant de la récolte est que le message du commit Tvheadend dit ajouter un attribut tvg-chnum alors que le code qu’il introduit écrit tvg-chno=, et qu’au retour il lit tvh-chnum en premier, avec repli sur tvg-chno. Au moins cinq orthographes portent un numéro de chaîne dans de vrais fichiers : tvg-chno, channel-number, ch-number, tvh-chnum, et un channel-id que certains lecteurs traitent comme un numéro.

1 176 des 1 355 numéros sont partagés avec une autre ligne#

Nous avons mesuré trois playlists d’exemple que nous détenons localement, 2 209 entrées au total. Deux des trois ne numérotent rien du tout : zéro de leurs 314 entrées porte l’attribut. Tout ce qui suit concerne le troisième fichier.

Les valeurs sont déséquilibrées. 179 des 263 valeurs distinctes sont utilisées exactement une fois, donc l’essentiel de la masse tient dans une courte tête : 107 entrées sur le numéro 1, puis 92, 80, 72 et 68. La plage va de 1 à 4 999, donc le plafond de 99 999 de l’analyseur ne s’est jamais déclenché. 1 176 des 1 355 lignes, 86.8 pour cent, partagent leur numéro avec au moins une autre ligne, et une clé unique posée sur le fichier en supprimerait 1 092. En ne comptant que les valeurs que notre analyseur accepte, le taux de partage est de 1 172 sur 1 299, soit 90.2 pour cent.

Pourquoi rien dans l’un de ces fichiers n’est une clé stable est réglé dans l’article sur le M3U étendu, et je ne vais pas le réargumenter ici. Ce que cet article ne fait pas, c’est tuer la réparation évidente : si les numéros se dupliquent à travers un fichier, on les limite au groupe où ils se trouvent et chaque groupe obtient une séquence propre.

Cela ne fonctionne pas.

33 des 85 groupes qui portent un numéro quelconque contiennent au moins un numéro dupliqué à l’intérieur du groupe. 69 de ces 85 contiennent une chaîne numérotée 1. Un groupe compte 7 entrées toutes numérotées 1, et dans le plus grand groupe du fichier, 79 entrées numérotées couvrent 74 numéros distincts. Le regroupement réduit le nombre de collisions sans le supprimer, et un correctif qui marche pour deux tiers de vos groupes échoue silencieusement sur le tiers restant.

Le taux d’absence compte autant que la duplication. 596 des 1 895 entrées, 31.5 pour cent, finissent sans numéro exploitable : 540 n’ont jamais porté l’attribut, et 56 portaient quelque chose que l’analyseur refuse. En croisant avec l’attribut d’identifiant, 398 lignes ne portent ni numéro ni id, la population que rien dans le fichier ne peut adresser. Une ligne de guide sans rien à quoi s’attacher se manifeste comme une grille fausse sur certaines chaînes et juste sur d’autres, jamais comme une plainte de numérotation.

Tous les décimaux du fichier sont argentins#

25 entrées utilisent une numérotation major.minor, sur 24 valeurs distinctes allant de 22.1 à 36.2, et seul 32.1 se répète. Chacune des 25 porte le pays AR, un id se terminant par .ar et le groupe Argentina, qui compte 26 entrées et numérote les 26. L’Argentine diffuse en ISDB-Tb. ATSC et ISDB-Tb utilisent tous deux la forme major.minor, et la forme est tout ce qu’ils partagent ici. Notre propre commentaire de code appelle ces valeurs de style ATSC, ce qui est vrai de la forme et faux quant à l’origine.

Ces 25 lignes sont la raison pour laquelle le numéro est une valeur en virgule flottante plutôt qu’un entier. Le type ne coûtait rien. La migration, si. La colonne ne peut pas être remplie a posteriori, parce que le numéro vit dans la charge utile de la source et que nous ne conservons pas la playlist brute. Chaque installation existante aurait porté un null sur chaque ligne, et une liste triée par ce numéro aurait envoyé toute une bibliothèque dans la queue des non numérotés. La migration supprime l’empreinte de l’instantané et le marqueur de matérialisation, forçant la synchronisation suivante à reconstruire le catalogue. Chaque installation existante a payé une rematérialisation complète pour afficher un badge.

Cinquante-six valeurs ne sont pas des nombres du tout#

56 des 1 355 valeurs, sur 53 orthographes distinctes, sont refusées d’emblée. Elles se répartissent en quatre formes :

• Un # nu sur 4 entrées, un espace réservé que l’émetteur n’a jamais rempli.
• 49 codes de système de diffusion : une série D011 à D081, une famille BS101 à BS4K101, une longue série CS055 à CS363, et un unique JCOM307. C’est un vrai schéma de numérotation national, et l’attribut n’a pas de place pour lui.
• CH 106 et CH 108, le même numéro avec un préfixe et une espace.
• Une valeur qui est un nom de plateforme écrit en japonais avec 527 à la fin.

Un refus coûte à la ligne son numéro et jamais la ligne, donc les 56 gardent leur place et se trient dans la queue des non numérotés.

Plusieurs refus sont des règles sans témoin : un signe en tête place +5 et -5 hors des styles acceptés, et zéro est refusé parce qu’un numéro absent n’est pas la chaîne zéro. Aucune des deux formes n’apparaît une seule fois dans 1 355 valeurs. Les zéros en tête sont le cas indulgent : 007 s’analyse en 7.

Cette répartition appelle une réserve, parce que le script de mesure émule notre analyseur en Python et que float() est plus laxiste que le jeu de styles que nous passons. J’ai vérifié le corpus pour chaque forme où les deux divergent, un plus ou un moins en tête, les exposants, les underscores, le remplissage par des espaces et les zéros en tête, et j’en ai trouvé zéro de chaque. La répartition 1 299 contre 56 est celle de l’analyseur livré.

Aucun de ces lecteurs ne s’accorde avec un autre#

Rien de ce qui suit ne vient d’une spécification, parce qu’il n’y en a pas. Chaque cellule est lue dans le code source de ce projet ou dans sa propre documentation.

Le lecteur de Kodi est le plus permissif du lot et le plus surprenant dans ses effets. Chaque entrée est initialisée depuis un compteur courant qui se remet au numéro qu’une chaîne revendique, donc un seul tvg-chno="500" aux deux tiers d’un fichier renumérote toutes les chaînes non numérotées suivantes à partir de 501. Un attribut sur une ligne déplace des centaines d’autres. Et après tout cet effort d’analyse, le réglage du cœur de Kodi pour utiliser les numéros de chaîne du backend est désactivé par défaut : le groupe toutes-chaînes se renumérote de 1 à n, les autres groupes en héritent, et le numéro de la playlist reste sur la chaîne sans être affiché.

Celui de Jellyfin est le plus strict : son expression régulière exige une valeur entre guillemets doubles, donc tvg-chno=101 sans guillemets lui est invisible alors que Kodi le lit sans broncher, et notre propre lecteur a la même restriction. Sa chaîne de replis se termine au nom de fichier de l’URL du flux, le point où un numéro de chaîne cesse d’être une donnée et devient une supposition sur un chemin.

xTeVe est le refus intéressant. Il analyse l’attribut en métadonnée générique et ne l’utilise jamais, allouant ses propres numéros depuis le premier emplacement libre à partir de 1000, et une demande d’honorer tvg-chno a été fermée comme non planifiée. C’est la seule conception ici où deux lignes revendiquant un même numéro ne peuvent pas entrer en collision, parce que l’avis de la playlist n’est jamais consulté, et le prix en est qu’une source soigneusement numérotée arrive renumérotée. Threadfin, son fork, a pris l’autre direction et copie la valeur telle quelle, donc les collisions passent intactes ; son dédoublonnage hache l’URL, le tvg-id et l’id de source, jamais le numéro.

Plex est la ligne à part, parce qu’il n’a aucune ingestion M3U de première main et que rien en son sein n’analyse l’attribut ; sa page sur les tuners pris en charge par la communauté demande un périphérique Windows BDA ou Linux DVB. La voie habituelle depuis une playlist est un proxy de type HDHomeRun, où le numéro arrive comme GuideNumber dans lineup.json, et le numéro en question dépend du proxy : xTeVe substitue le sien, Threadfin transmet la chaîne telle quelle.

Six lignes produisent quatre numéros exploitables#

Voici un fragment construit pour toucher tous les chemins à la fois. Chaque hôte est un domaine d’exemple réservé et chaque nom est inventé.

#EXTINF:-1 tvg-id="one.example" tvg-chno="1",Example One
https://example.com/live/one.m3u8
#EXTINF:-1 tvg-id="two.example" tvg-chno="1",Example Two
https://example.com/live/two.m3u8
#EXTINF:-1 tvg-chno=101,Example Three
https://example.com/live/three.m3u8
#EXTINF:-1 tvg-chno="22.1",Example Four
https://example.com/live/four.m3u8
#EXTINF:-1 tvg-chno="BS4K101",Example Five
https://example.com/live/five.m3u8
#EXTINF:-1 tvg-chno="007",Example Six
https://example.com/live/six.m3u8

One et Two revendiquent toutes deux le numéro 1, ce qui est le cas normal de ce fichier plutôt que sa bordure. Notre comparateur garde les deux, ordonnées par une comparaison en ordre naturel de leurs noms puis une comparaison ordinale de leurs id, donc la paire est déterministe. Kodi garde les deux aussi. xTeVe leur donnerait 1000 et 1001 sans jamais lire l’attribut.

Three est sans guillemets, donc Kodi lit 101 alors que nous ne lisons rien du tout, comme Jellyfin d’ailleurs : la ligne atterrit dans la queue des non numérotés chez nous et sur la chaîne 101 chez Kodi.

Four est le cas du sous-canal. Nous gardons 22.1 comme décimal, Kodi le découpe en majeur 22 avec sous-canal 1, Jellyfin analyse un double et garde la chaîne d’origine pour l’affichage, et tout consommateur avec une colonne entière affiche 22.

Five est refusée par notre analyseur de numéros et garde sa ligne, donc elle rejoint Three dans la queue. Kodi s’en sort moins bien que nous : son lecteur passe la valeur à atoi, qui renvoie 0 pour une chaîne dont les chiffres ne sont pas en tête, et rien ne protège le setter, donc la ligne devient la chaîne 0 et le compteur courant est remis à 0 avec elle. La chaîne non numérotée suivante devient 1. Une valeur parasite y fait plus de dégâts qu’une valeur absente.

Six est le cas du zéro en tête : 007 se normalise en 7 chez nous, et Jellyfin analyse le même 7 tout en affichant toujours 007.

Triée par le numéro de la source, notre liste se lit Example One, Example Two, Example Six à 7, Example Four à 22.1, puis Example Five et Example Three dans l’ordre des noms, parce qu’un numéro absent se trie après tous les numéros présents plutôt que comme zéro.

Une collision se résout différemment selon ce que fait le spectateur. Il nous a fallu trois mécanismes plutôt qu’un. Pour le tri, la collision est absorbée par le départage sur le nom. Pour la saisie au clavier numérique, taper 1 parcourt les correspondances : chaque ligne portant ce numéro est collectée et les pressions répétées les font défiler, en rebouclant à la fin, parce qu’épingler pour toujours la première des 107 rendrait les 106 autres inaccessibles. Pour l’agrégation, où plusieurs sources contribuent à une seule chaîne logique, le numéro du membre qui donne son nom l’emporte, et à défaut le premier membre en ordre de priorité qui en a un. Ces mêmes membres forment la file vers laquelle un flux bloqué bascule, ce qui a son propre article.

Le chemin du clavier numérique a une lacune qui ne me plaît pas. Il n’accumule que les touches chiffres, avec une fenêtre de 1.2 seconde entre elles et une réinitialisation après cinq chiffres, et il analyse sans aucun style numérique activé, donc il n’y a aucun moyen de taper 22.1. Un sous-canal est accessible par la recherche, où la requête passe par l’analyseur qui accepte un point décimal, et inaccessible depuis la télécommande. La raison honnête pour laquelle ce n’est pas corrigé, c’est que 25 lignes de notre corpus en ont besoin.

Un numéro que vous attribuez n’est pas le numéro que le fichier a envoyé#

Le numéro de la source n’est jamais réécrit. Un geste de réordonnancement écrit une clé fractionnaire séparée, et les deux cohabitent.

Le mécanisme est dicté par une contrainte qui n’a rien à voir avec l’ordonnancement. Notre plafond de lot de synchronisation est de 500 changements et un seul enregistrement rejeté fait échouer tout le lot, emportant chaque changement sans rapport qui voyageait avec lui, donc renuméroter un groupe à chaque dépôt n’a jamais été viable. À la place, chaque chaîne reçoit une clé implicite tirée de sa position dans l’ordre de repli, une chaîne placée utilise sa clé synchronisée, et un dépôt entre deux lignes prend le milieu, ce qui écrit exactement une ligne. Les clés implicites sont espacées d’une unité, donc chaque dépôt dans le même intervalle le divise par deux : face à un intervalle minimal de 1e-9, le trentième dépôt consécutif dans un même emplacement passe encore, et le trente-et-unième rééquilibre le groupe vers des clés uniformément espacées. Ce rééquilibrage est le seul chemin ici qui écrit des milliers de lignes, et il est journalisé avec sa taille au lieu de s’exécuter en silence. Trois commentaires dans notre propre code disent cinquante. Nous nous sommes trompés par intuition, la première version de cet article a répété l’erreur, et le chiffre n’est devenu trente que quand quelqu’un a fait le calcul.

Le badge affiche la position de la ligne plutôt que cette clé, parce que les clés implicites bougent chaque fois que la source ajoute ou retire des chaînes, et qu’un numéro qui se déplace tout seul après une synchronisation est pire que pas de numéro. Une version antérieure de cet ordonnancement vivait dans le modèle de vue, où un ordre enregistré s’appliquait aux groupes de catégories de la source et ne s’appliquait silencieusement pas à Toutes les chaînes, aux favoris ni aux groupes personnalisés.

Les applications Windows et Xbox analysent tout cela sur votre appareil, à partir de la playlist que vous leur indiquez, et vous pouvez créer un compte gratuit pour essayer l’une ou l’autre. Rien de vos numéros de chaîne ne nous parvient, parce que le fichier n’est jamais téléversé et que l’analyse se fait localement.

Si vous émettez des playlists, écrivez tvg-chno sur chaque ligne et gardez-le unique à l’intérieur du fichier, parce que les consommateurs qui l’honorent ne partagent aucune règle sur ce qu’il faut faire quand vous ne le faites pas, et que l’un d’eux renumérotera tout ce qui se trouve en aval de votre première chaîne numérotée. Si vous lisez des playlists, comptez les valeurs distinctes avant de bâtir quoi que ce soit sur l’attribut. Dans notre corpus, ce décompte est la différence entre 1 355 numéros et 263.