Avec TweetsReader, lisez les tweets qui vous intéressent quand vous voulez

En 2021, je communique

Sur mon temps libre, j'aime développer des outils qui facilitent mon quotidien. Je les partage en général sur Gitlab ou/et Github. Si seulement j'avais un blog perso pour en parler… Merci de ne pas évoquer l'adage du cordonnier ! 🙂

Dans quel but ?

Ceux qui me connaissent ou me lisent savent que je suis plus un grand fan de l'oiseau bleu. Je me suis aménagé mon petit bout de fédiverse où je choisis ce que je vois, loin de l'économie de l'attention. Mais le monde des bisounours n'existant pas et ces plate-formes restant attractives, certaines personnes que je souhaite continuer à suivre ne publient que sur Twitter.

Lire le fil sur leur site ne va pas forcément m'afficher tous les tweets, surtout si je n'y suis pas retourné depuis un moment. L'algorithme de Twitter décidera de ce je vois. Les listes sont mieux loties mais je ne vais pas vraiment savoir où je m'étais arrêté. Avec TweetsReader, je suis sûr de ne rien louper et si les posts les plus anciens ne m'intéresse pas, je peux les supprimer rapidement et ne garder que les plus récents. Je vois en un coup d'œil ce que j'ai loupé.

Comment ça marche ?

C'est une application PHP qui suit le principe KISS (Keep it simple, stupid). Pour l'installation, je vous conseille d'aller voir le README. Vous pouvez lire votre fil de tweets dans l'ordre chronologique. Si vous êtes un adepte des listes, le fichier de configuration peut accueillir l'identifiant de la liste souhaitée.

L'API de Twitter étant limitée et ne souhaitant pas perdre de tweets non-lus, j'utilise une tâche cron qui va chercher les tweets et les stocke sous forme de fichiers sur le disque. Pas besoin de base de données. Les avatars sont également stockés localement. La vie privée et la légèreté sont volontairement au cœur de cette application.

En terme d'actions, vous pouvez :

  • filtrer les tweets par utilisateur (JS requis)
  • marquer tous les tweets comme lus
  • marquer les tweets jusqu'à un tweet précis comme lus (utile si vous en avez plusieurs centaines à lire)
  • voir les images et vidéos directement depuis le lecteur en cliquant sur le lien en fin de tweet démarrant par MEDIA:: (rustique mais fonctionnel)

C'est pas très beau

Capture d'écran de TweetsReader.

Je ne suis pas designer et ça se voit. J'arrangerai peut-être ça un jour, ou jamais. Après plusieurs mois d'utilisation, je n'en éprouve pas vraiment le besoin mais si quelqu'un se motive pour me faire une proposition, je reste ouvert.

Et après ?

Je n'ai rien de bien précis en tête, cette version représentant pour moi le produit minimum viable. Si l'envie me prend, j'aimerais ajouter une information concernant l'arrivée de nouveaux messages privés ou de mentions. Je ne reçois pas toujours les mails de notification prévus à cet effet ce qui m'oblige à retourner de temps en temps sur leur site. Il est également probable que je gère un thème sombre, toujours pratique pour confortablement dans un espace à l’atmosphère tamisée.

Si vous rencontrez des soucis à l'utilisation, vous pouvez rédiger un rapport de bug et si vous souhaitez contribuer au projet, les merge requests sont ouvertes.

Migration des données depuis PostgreSQL 10 vers 12 à l’aide de pg_upgradecluster

J'ai pris le temps ce week-end de passer mes serveurs Postgres de la version 10 à 12. Voici donc mon pense-bête d'une procédure effectuée sur Ubuntu. Notez que si vous êtes en 20.04 LTS ou supérieure, l'installation du paquet postgresql-12 a déjà dû passer.

La sauvegarde avant tout

Je ne peux que vous recommander de faire une sauvegarde de l'ensemble de vos bases avant toute interventions afin de pouvoir revenir en arrière si les choses tournent mal.

sudo -u postgres psql pg_dumpall > postgres-backup-20210131.sql # Sauvegarde des bases

La mise à jour

sudo systemctl stop postgresql # Arrêt du service postgresql
sudo apt-get install -y postgresql-12 # Installation du paquet postgresql-12 sans demande de confirmation, optionnel si vous êtes déjà en 20.04 ou supérieure
sudo pg_dropcluster 12 main --stop # Suppression du cluster par défaut de la version 12 créé lors de l'installation
sudo pg_upgradecluster 10 main # Mise à jour du cluster depuis la version 10 vers la dernière version (ici, la 12)
sudo pg_dropcluster 10 main --stop # Suppression du cluster de la version 10
sudo systemctl restart postgresql # Relance du service postgresql
psql --version # Vérification de la version de postgresql en cours (doit vous retourner une information contenant 12.x)

Rien de bien sorcier mais vu que c'est une opération que je fais rarement, c'est toujours bon de garder ça bien au chaud dans un coin pour la prochaine fois et si d'autres trouvent ça utile, c'est encore mieux.

Lire les logs d’un mutualisé OVH avec GoAccess

Je vous ai présenté GoAccess il y a quelques temps pour interpréter vos logs Apache. Cette fois, je vais vous expliquer comment permettre à GoAccess d'interpréter les fichiers produits par les serveurs mutualisés d'OVH.

Le logo de GoAccess.

Configuration

Une fois GoAccess installé, éditez ou créez le fichier .goaccessrc au niveau de votre home utilisateur et ajoutez-y les lignes suivantes :

  • log-format %h %v - %^[%d:%t %^] "%r" %s %b "%R" "%u"
  • time-format %H:%M:%S
  • date-format %d/%b/%Y

Récupérer les logs chez OVH

Je ne peux que vous conseiller d'aller ajouter un utilisateur pouvant accéder aux logs histoire de pouvoir utiliser son mot de passe dans un script qui automatisera la tâche de récupération (dans un cron mensuel par exemple). Ce guide dédié vous expliquera comment faire.

Connectez-vous ensuite à l'espace de gestion des logs à l'aide de l'adresse suivante : https://logs.ovh.net/votredomaine.tld.

Lancer l'analyse

Comme vu dans mon précédent billet sur ce sujet, vous pouvez directement analyser les archives à l'aide de la commande zcat.

zcat /var/log/apache2-backup/domain.tld/2017-03/domain.tld-* | goaccess -c --ignore-crawlers -a

Ajouter le domaine aux requêtes

Lorsque plusieurs domaines sont configurés, il est utile de pouvoir connaître lequel est responsable d'une requête en particulier. Pour cela, la commande awk permet de placer automatiquement cette information au bon endroit.

zcat /var/log/apache2-backup/domain.tld/2017-03/domain.tld-* | awk '$7=$2$7' | goaccess -c --ignore-crawlers -a

GoAccess pour analyser ses logs Apache

Pourquoi utiliser GoAccess ?

Dans mon cas, je souhaite me débarrasser de Google Analytics dont je n'utilise qu'1% des fonctionnalités. Je cède à ce dernier beaucoup trop d'informations concernant les visiteurs de mes sites. L'idée était de continuer à connaître les pages les plus visitées, les erreurs rencontrées et une potentielle chute de fréquentation pouvant provenir d'un problème technique. Quoi de plus fiable que d'analyser des logs en remplacement d'un bout de JavaScript souvent bloqué par UBlock Origin ou Adblock Plus.

En résumé :

  • je donne moins d'informations à Google
  • j'évite le chargement d'un script externe à mes visiteurs
  • je peux quand même continuer à vérifier que tout va bien

La seule contrepartie dans mon cas étant la récupération des logs chez OVH que je pense automatiser dans la foulée.

goaccess-logo

Installation

Un paquet GoAccess est sûrement disponible pour votre distribution Linux ou vous pouvez le compiler depuis les sources. Je vous renvoie pour cela à la documentation d'installation.

Commandes

Dans les exemples suivants, j'utiliserais le fichier de log présent sur mon disque à l'emplacement /var/log/apache2/access.log.

Utilisation de base

goaccess -f /var/log/apache2/access.log

Ignorer les crawlers/bots/spiders avec l'option --ignore-crawlers

goaccess -f /var/log/apache2/access.log --ignore-crawlers

Lire des logs archivées

zcat /var/log/apache2/access.log*.gz | goaccess

Génération d'un rapport au format HTML

goaccess -f /var/log/apache2/access.log --ignore-crawlers -a -o report.html

GoAccess HTML report screenshot

Lancer un tableau de bord d'analyse en temps réel

goaccess -f /var/log/apache2/access.log -o /var/www/report.html --real-time-html

Remplacez /var/www/report.html par un endroit accessible par votre serveur web. Il ne vous restera plus qu'à accéder à ce dashboard via l'adresse https://<votre-domaine>/report.html.

Choisir le bon parseur pour Apache

Il se peut que la commande précédente n'apporte pas le résultat escompté. En effet, les logs peuvent être construits de nombreuses manières. Pour que GoAccess comprenne les données issues du fichiers que vous lui fournissez, utilisez l'option -c.

goaccess -f /var/log/apache2/access.log -c

Un menu va vous proposer les différents parseurs disponibles. Pour d'Apache, nous utiliserons le premier : NCSA Combined Log Format. Le deuxième, NCSA Combined Log Format with Virtual Host, est à sélectionner lors de l'utilisation de virtuals hosts.

Vous pouvez à tout moment éditer les règles de parsing avec les touches suivantes :

  • touche c pour modifier le format du log
  • touche d pour modifier la date
  • touche t pour le temps

Les différentes options disponibles pour ces expressions régulières sont disponible sous l'encart SPECIFIERS du manuel de GoAccess.

Extraire un dossier d’un dépôt Git existant en conservant son historique

Au cours de la vie d'un dépôt Git, il peut nous arriver de vouloir extraire un dossier sans perdre l'historique des commits concernant les fichiers se trouvent à l'intérieur. Que ce soit dans un soucis de mutualisation, d'un mauvais choix d'architecture au départ ou encore d'un changement dans notre gestion du dépôt.
Cette opération nécessite une version de Git supérieure ou égale à la 1.7.11.

logo de Git

  1. cd /chemin/base/depot/
  2. git subtree split -P chemin/relatif/dossier -b nomdelanouvellebranche
  3. mkdir /chemin/absolu/nouveaudossier && cd /chemin/absolu/nouveaudossier
  4. git init && git pull /chemin/base/depot/ nomdelanouvellebranche

La branche nomdelanouvellebranche ne contiendra que le dossier que vous souhaitez extraire.