ouais, ouais, j'ai dit que j'allais faire et j'ai pas fait, toutes mes confuses
Alors, les stats BZH sont écrites en très classique PHP/Mysql. La base de donnée pèse environ 1,3 Go aujourd'hui.
En terme d'espace disque fichier, ça représente (avec tous les XML d'import des projets) un peu plus de 2 Go
Les "imports" et consolidations se font sur une base régulière dans la journée (suivant le niveau sollicitation que l'on souhaite, on peut avoir un check toutes les heures ou moins. Aujourd'hui c'est toutes les 3 heures). Il y a une consolidation journalière, à déclencher juste après miniut et qui est relativement gourmante, des centaines de recalculs, de travaux qui se lancent dans la base, etc. ...
Chaque "polling" (donc toutes les 3 heures) effectue un scan exhaustif de tous les projets dits actifs (taggués comme tel dans la base) et récupère la date des fichiers XML. Si cette date est plus récente que celle du dernier import, alors, on télécharge et on importe les données dans la base.
Certaines tables contiennent plusieurs centaines de milliers d'enregistrement, donc c'est relativement gourmant pour MySQL au niveau indexation notamment.
Le code PHP quant à lui est multilangue, donc il y a des fichiers "locale" pour chaque langue (aujourd'hui 4 langues : français, anglais, allemand et espagnol)
Pendant les phases de consolidation, le, voire LES CPUs, sont souvent au taquet mais les disques sont aussi très sollicités (index MySQL et gros SELECT), donc il faut gérer cette charge, ou avoir un serveur puissant pour encaisser rapidement ces traitements. Pour info, sur le serveur actuel, qui est un Core i5 750 à 2,66 GHz avec 2 SSD Intel X25-M en RAID0, la consolidation journalière prend 6 minutes. Sur l'ancien de l'année dernière, un Q6600 avec deux disques SATA 7200tr, c'était plutot 20 minutes.
Ouala le premier topo, à votre dispo pour des compléments d'info.
