Optimisation de la base de données

[luciolebrillante]

Bonjour à tous,
Aujourd'hui, j'étais bien motivé alors j'ai décidé de voir ce que je pouvais faire pour améliorer encore un peu les choses à mon niveau. Voici un petit compte rendu de mes investigations.

La cause principale de la latence de l'application est la taille de la base de données et des requêtes pas incroyable faites par l'application. J'ai amélioré un petit peu les performances en crééant du cache artificiellement mais cela ne suffit pas à améliorer suffisament les performances.

Du coup, j'ai analysé plus en profondeur la base de données et j'ai pu observé pas mal de choses.

Il y a 45349 utilisateurs dans la base de données.
2724 utilisateurs ont uploadé une ou plusieurs musiques.
2566 utilisateurs ont créé une ou plusieurs playlists.
Il y a 40632 utilisateurs qui ne sont pas connectés depuis janvier 2018 ou uploadés une ou plusieurs musiques ou créé une ou plusieurs playlists.
Il y a la journalisation de 4188632 activités des utilisateurs. Supprimer les inactifs depuis 2018 ou non uploadeurs permettrait de supprimer '33389' lignes
Il y a la journalisation de 5559116 actions des utilisateurs. Supprimer les inactifs depuis 2018 ou non uploadeurs permettrait de supprimer '298867' lignes
Il y a la conservation de 3992901 lignes concernant les préférences utilisateurs. Supprimer les inactifs depuis 2018 ou non uploadeurs permettrait de supprimer 3764035 lignes.

Personnellement je suis pour la suppression des utilisateurs inactifs depuis janvier 2018 et n'ayant pas uploadé une ou plusieurs musiques ou créé une ou plusieurs playlists ainsi que de leurs données (préférences, activités etc)
Cela permettrait de réduire le nombre de données personnelles en notre possession et d'améliorer sensiblement les performances de l'application.

Dans tous les cas, un backup sera réalisé avant opération si opération il y a afin de pouvoir revenir en arrière.

Qu'en pensez-vous ?

Pour information, les 10 tables avec le plus de lignes dans la base de données.
'object_count', '5559116'
'user_activity', '4188632'
'user_preference', '3992901'
'user_preference_bckp20180625', '2736890'
'playlist_data', '265979'
'tag_map', '90216'
'image', '59075'
'song_data', '58587'
'song', '58012'
'user', '45349'
'user_shout', '39407'
'rating', '16399'
'session', '14584'
'tmp_playlist', '12894'

[Ladee]

Salut @luciolebrillante, et bonne année à toi
Déjà, merci d'avoir regardé, ensuite, avant de donner mon avis, je voudrais d'autres précisions:
-Est-ce qu'il est possible de supprimer la journalisation d'actions passées d'utilisateurs, sans supprimer les utilisateurs ?
-même question pour les préférences
-même question pour le suivi de l'activité.

Sinon, je me demande pourquoi le choix de 2018 comme date butoir ? Spontanément, j'aurais pensé comme date butoir le "après la remise en ligne de l'archive", mais peut-être que les données d'avant cette date représentent trop peu sur l'ensemble ?

Bises !

[luciolebrillante]

@Ladee
Bonne année à toi aussi

-Est-ce qu'il est possible de supprimer la journalisation d'actions passées d'utilisateurs, sans supprimer les utilisateurs ?
-> Tout à fait, je ne pense pas que cela causera de soucis.

-même question pour les préférences
-> Tout à fait, mais il est possible que cela cause des problèmes. Il faut que je regarde ce que contient exactement la table préférences pour voir. Je crains que l'absence d'une préférence fasse planter l'application pour l'utilisateur concerné.

-même question pour le suivi de l'activité.
-> Tout à fait, je ne pense pas que cela causera de soucis.

Sinon, je me demande pourquoi le choix de 2018 comme date butoir ?
-> C'est une date arbitaire que j'ai prévu, me disant que deux ans cela représente quand même beaucoup de temps. Si l'utilisateur était vraiment intéressé par l'application, il serait revenu avant. Qu'elle est la date de la remise en ligne de l'archive ? Si j'ai cette date, je peux regarder la différence de données récupérées.

Autres information, on a toujours les adresses emails rattachées à tous ces comptes.

[shangril]

Salut

L'archive est revenue en ligne en mai 2015.

[luciolebrillante]

Je viens de rejouer les requêtes avec une date fixée au Thu, 28 May 2015 05:13:20 GMT, les résultats sont sensiblement identiques à part pour :

• la requête lister les activités des utilisateurs inactifs qui passe de '33389' à '22774'
• nombre d'utilisateur inactif qui voit son nombre réduire de 700.

[Ladee]

Salut

L'archive est revenue en ligne en mai 2015.

Déjà ! :p

@luciolebrillante merci de la réponse !
Alors du coup, personnellement, je serais pour supprimer la journalisation et le suivi d'activité (les préférences, à voir donc) d'avant Mai 2018, sans forcément supprimer les utilisateurs, quitte à garder une backup (pour les statistiques, qui sait). Et, s'il y a un besoin important de supprimer des utilisateurs, de prendre comme date butoir Mai 2018, par égard aux 700 "nouveaux" utilisateurs y étant venus depuis

[aisyk]

Merci pour ce taf !

Il y a plusieurs choses à mon sens,

• L'activité d'un utilisateur sans compte artiste, label... à mon sens oui il doit y avoir des trucs à supprimer à changer (le nombre d'actions logguées, leur redondance, la précision de ces logs ?).
• L'activité d'un utilisateur artiste, label, pour qui ces infos sont intéressantes (les graphs d'activité notamment) et qui donnent un regard sur l'activité de leur compte (téléchargements/écoutes...).

Autre chose, beaucoup d'utilisateurs sont revenus suite à la remise en ligne de l'archive en 2015. Ce sont des utilisateurs qui étaient inscrits sur l'ancien site et qui ont attendu 2 ans et demi pour se réinscrire (notre réouverture était attendue quand même ). Je dirai, est-ce qu'il y a une statistique des utilisateurs inscrits en 2015 et qui sont restés actifs entre 2015 et 2018 ? Il me semble qu'il y a une chute du nombre d'utilisateurs actifs selon les années, mais qu'il reste un noyau d'actifs (même si faiblement actifs)...

Quelques facteurs d'explications autres que Dogmazic à mon sens à ne pas oublier :
La montée en puissance de Deezer / Youtube dans les habitudes de découverte de musiques
Les habitudes de personnes sensibilisées aux listes de lecture peuplées par des algorithmes (ce que nous ne faisons pas, et tant mieux ?)

[kidjazz]

Je suis d'avis d'enlever tout ce qui ne sert pas ou plus,
quitte à supprimer de la base de données de nombreux utilisateurs,
dont les nombreux fakes arrivés en rafales depuis sur le forum (c'est autre chose).
Dans les discussions du forum, on y voit toujours la même dizaine de membres.
L'intérêt du site a fortement diminué, c'est un euphémisme.
Si pour les utilisateurs actuels, la navigation peut en être améliorée, je suis pour nettoyer tout ça.
Sans compter que pour les adhésions à l'asso, il n'y a quasiment plus personne, pour ce qui est de l'investissement personnel, idem. Et c'est là qu'on constatera ceux vraiment désireux de continuer à utiliser l'archive ou non.
C'est bien beau de se faire l'avocat de l'agneau... (qui n'en a rien à faire de l'évolution du Dogmazic et de ses membres.)
Je dirais, supprimer tous les inactifs depuis 2015, les comptes fantômes également.

[shangril]

Oui je suis assez d'accord. Je nuance un peu, vu les chiffres donnés, on peut garder tous les musiciens, et tous les playlisteurs, mais les autre comptes je vois pas trop l'intérêt.

[Ladee]

Oui je suis assez d'accord. Je nuance un peu, vu les chiffres donnés, on peut garder tout les musiciens, et tous les playlisteurs, mais les autre comptes je vois pas trop l'intérêt.

Tu sais si les membres fondateurs de Dogmazic (je connais pas leur pseudo à tous) ont forcément tous publié une musique ou créé une playlist ?