Optimisation de la base de données

[luciolebrillante]

Bonjour à tous,
Je reviens vers vous avec quelques nouvelles.

En regardant en détail la table object_count, je me suis aperçu qu'il y avait un certain nombre de robots qui peuplaient les historiques d'actions. Je les ai identifié par le user_agent et j'en ai comptait 73.

73, cela ne paraît pas beaucoup mais ces 73 robots ont généré plus de 4.186.431 lignes dans la table object_count. Pour aller plus loin, j'ai recherché le nombre de lignes regroupés par user_agent. Ce qui m'a permis d'identifier d'autres lignes avec des user-agent non légitimes et m'a permis d'enlever 248639 lignes supplémentaires.

Avant mes actions d'aujourd'hui, la table object_count faisait 5.559.116 de lignes. Après le nettoyage des robots, elle n'en fait plus que 1.278.303. Ce qui représente une diminution de 77% des lignes présentes.

En parallèle, afin que ce genre de nettoyage ne soit pas à refaire, j'ai ajouté une tache journalière pour purger ce type d'activités.

Le ménage réalisé a dû améliorer certaines actions, le plus gros des ralentissements observés restent dû à la table user_activity, la prochaine étape

[shangril]

Wow ! Tu tombes à pic Luciolebrillante ! C'est trop top d'avoir quelqu'un d'aussi compétent que toi sur le projet !

[aisyk]

Yeah ! Merci pour le taf !

[kidjazz]

On clique, on attend 1,5 / 2 secondes, on est sur Dogmazic !
C'est magique ! Il fallait attendre de 16 à 30 secondes auparavant.
T'es un génie @luciolebrillante !

[luciolebrillante]

@shangril
Merci, c'est flatteur ^^

@aisyk
Merci

@kidjazz
Je confirme que tes mesures, j'ai à peu près la même chose avec les logs. Entre 1.5 et 2 s avant la réponse du serveur à la requête https. Avant la suppression, il fallait entre 3 et 4 s.
Merci également

Concernant les améliorations, je dédie environ 5 heures par semaine à l'association depuis plusieurs semaines-mois. Pendant ces 5 heures, je me concentre sur des choses utiles pour faire avancer les choses. C'est le cumul de ces heures qui amènent ces retours, rien de plus.

J'espère que mon investissement donnera à d'autre l'envie de s'investir car le partage de la culture gratuitement est vraiment quelque chose de positif je pense. De nombreuses personnes ont mis de leur coeur et de leur histoire dans toutes ces musiques, j'espère qu'un jour elles seront mises-en-avant comme elles le méritent.

[kidjazz]

Tu es tout bonnement extra ! Merci-merci-merci !

[luciolebrillante]

Hello tout le monde,
Quelques nouvelles concernant la base de données :

J'ai supprimé les utilisateurs inactifs depuis janvier 2016 et qui n'ont pas uploadé de musique ni créé de label ni créé de musiques. J'ai également supprimé les préférences associés.

Ce qui nous donne :
table user : passage de 49451 utilisateurs à 7952, soit une diminution de 84% de la taille de table. 7952 lignes restantes
table user_préférence : passage de 4.353.877 lignes à 3.653.750 lignes, soit une diminution de 84% de la taille de la table. 700127 lignes restantes

C'est tout pour aujourd'hui, bonne journée à tous

[DECAY]

\o/

[luciolebrillante]

edit :
J'ai dû revenir en arrière car les préférences de l'application avait sauté :/ Je vais investiguer sur le pourquoi du comment.

edit 2 :
Je pense que j'ai trouvé. Il y a un utilisateur -1 qui a des préférences alors qu'il n'existe aucun utilisateur -1 dans la base de données. C'est logique n'est-ce pas ! J'ai supprimé les préférences des utilisateurs cités plus haut en excluant cet utilisateur. J'ai l'impression que cela a conservé les préférences de l'application ! Est-ce que vous pouvez me confirmer qu'il y a toujours les logos de dogmazic chez vous ?

Si les préférences sont effectivement conservées, on pourra dire que les les utilisateurs inactifs depuis janvier 2016 et qui n'ont pas uploadé de musique ni créé de label ni créé de musiques ainsi que leurs préférences associés ont bien été supprimé .


Je viens de corriger la fonction de recherche qui avait sauté avec le chargement différé de certains scripts javascript.

[shangril]

Oui les logos sont bien là chez moi