Super Tv

Hébergé chez moi En prod depuis décembre 2019 ± 4 utilisateurs

Présentation

C'est une application web assez simple permettant d'avoir le programme télé des chaines de la TNT du jour.

Il permet d'afficher les sections suivantes :

• Programmes en ce moment
• Programmes par chaine
• Programmes de soirée

Pourquoi ?

La plupart des sites de programmes sont fouillis, lourds, plein de pubs.

Solution

Récupérer les informations des programmes, les miniatures. Le détail d'un programme est à la demande.

Il faut donc trois services, un service web et un service qui s'occupe de la mise à jour, et un pour le détail.

Programme de mise à jour

• Scraping du site pour récupérer les informations
• Restructuration des données
• Suppression des données de la veille
• Stockage des données dans Redis
• Téléchargement, redimensionnement et stockage des images (système de fichier Tmpfs)
• Transfert des images sur le serveur par Rsync via ssh

Serveur Web

• Données retournées par Flask
• Les images et le client web sont desservis par Nginx

Client Android

Pour la version android, clique ici.

Programme pour le détail

Le programme pour le détail écoute sur un canal redis, lors d'un nouveau message (par exemple m6@51d59e8732606f9736d5274d449dbc69) formé de la chaine (rouge) et d'un identifiant unique à la chaine (vert), le programme tente de récupérer le détail du programme, en cas de succès le synopsis et d'autres informations sont ajoutés.

• Scraping de la page pour récupérer les informations
• Restructuration des données
• Ajout des détails dans Redis
• Mise à jour du drapeau de détail

Détail

Détection des programmes de soirée

Pour détecter les programmes de soirée (première et deuxième partie), je pars du principe qu'à 21h15 la première partie est commencée, puis je sélectionne le programme suivant comme deuxième partie.

Cela n'est pourtant pas vrai pour toutes les chaines, pour cela la config permet de surcharger cette heure en fonction de la chaine.

                    debut_soiree_chaine:
  c8: 21h30
  w9: 21h30
  tmc: 21h30

                

Détail d'un programme

De base, le détail d'un programme contient les informations suivantes :

• Titre
• Type (film, série, …)
• Heure de début, durée
• Inédit, rediffusion

Le détail supplémentaire contient :

• Synopsis, sous-titre
• Année, pays d'origine
• n° saison + n° épisode si série
• Casting : réalisateurs, acteurs

Dans la base redis, un champ detail est présent pour avoir l'information sur le détail :

• 0 : pas de détail
• 2 : détail récupéré (succès ou échec)

Dans le cas du client web (valable pour android), lors de la demande du détail d'un programme :

• Si le champ détail == 2 : le serveur web renverra un code HTTP 200. Le détail sera affiché.
• Si le champ détail est à 0 : un message est envoyé sur le canal Redis, le serveur web renverra un code HTTP 206 (contenu partiel), le détail partiel sera affiché. Une seconde plus tard, une requête est renvoyée, avec le même système jusqu'à ce que le serveur renvoie le code HTTP 200 ou que le nombre d'essai maximum (3) est atteint.

La récupération du détail est asynchrone, le détail partiel du programme est affiché et complété ensuite avec le reste.

Technologies utilisées

Serveur Web

• Python
• Flask pour le routage
• Redis pour la base de données volatile
• Caroline pour la journalisation

Programme de mise à jour

• Python
• Redis pour la base de données volatile
• Pillow pour la réduction de la taille des images
• Requests pour la récupération des infos et le téléchargement des affiches
• Caroline pour la journalisation

Programme de détail

• Python
• Redis pour la base de données volatile
• Requests pour la récupération des infos
• Caroline pour la journalisation

Client Web

• Javascript
• Vue 2
• Axios pour les requêtes
• bootstrap-vue pour bootstrap

Déploiement

Les services fonctionnent via systemd. Le programme de mise à jour est lancé tous les jours à 00h10.

Le service web fonctionne avec Gunicorn.

Le client web (html, js, css, …) et les images sont desservis par Nginx (c'est fait pour).

La base de données est un serveur Redis avec les données uniquement en RAM, dans le pire des cas (redémarrage du serveur) il faut relancer le service de mise à jour, cela permet de ne pas faire trop d'écriture sur le disque.

Quelques captures d'écrans du client Web