Cache encore lui

[doudou67]

Bonjour,

Comme d'habitude le cache me fait des misères.
Nombres de sites 2 245 427
du -h cache = 638M, j'ai pas compter le nombres des fichiers à mon avis, il en à pour quelques heures de comptage.
Trop de fichier, quand j’accède au site, j'ai une jolie page blanche, j'ai bien sur vider le cache chose que je doit faire tous les 3 jours, ce n'ai pas la solution idéal.

Si vous avez une idée je suis preneur.

Merci à vous

[doudou67]

Bonjour,

Enième plantage à cause du cache d'arfooo

Je reviens vers vous avec quelques information.
Le point de blocage du site et quand le cache arrive à environ 90 000 fichiers / 369 Méga, grrrr

Pour information cela évitera de chercher n'importe ou, Le site est sur un serveur qui n'ai pas surcharger la Ram il y a encore de la marge donc il ne swap pas, coter disque un Xraid 1,2T avec un volume Mac OS étendu de quoi avoir quelques Milliards de très petits fichiers. Coter Mysql rien d'anormal il répond bien 68 requêtes /s, Tentatives échouées 15, Arrêts prématurés 2.

Les autres sites qui sont sur le même serveur et qui non pas le script d'arfooo continu a fonctionner normalement, ce qui on le script d'arfooo plante et quand je coupe celui que je suspecte les autres sites avec les script d'arfooo remarche. J'ai vérifié du coter des logs les requêtes passe correctement http et mysql.

Les fichiers du cache on ce format "arfooo_cache_adsOnPagekeyword14689" peut être que cela donnera une idée à quelqu'un, hein Arf.

Bonne nuitée

[onico0]

J'ai des soucis aussi avec les performances d'arfooo (je crois, pas facile à identifier) qui deviennent pour moi de plus en plus récurrents, et je pense que ça ne touche que les annuaires qui ont une DB un peu plus touffue que la moyenne (+10.000 sites). J'avais déjà résolu certains problèmes , mais je vais pas doubler ma RAM et mon CPU à chaque tranche de 10.000 sites supplémentaire, ça n'a aucun sens à trafic égale...

Je sais pas trop où regarder car le code d'arfooo n'est pas clair à 100% à mes yeux (POO forever). Du coup, pas mal de plantage de mon petit VDS 1Go Ram. Je pense entre autre à des requêtes SQL qui consommes trop. Souvent, des actions en admin font mouliner le script, comme toi les autres partie du site hors arfooo restent active. J'ai déjà (voir le lien, bloquait le script à chaque sauvegarde) qui a moyennement bien été pensée pour les gros annuaires. Ça a réglé certains plantages, mais il en subsiste toujours.
Peut-être que d'autres fonction de la même nature que updateValidatedSitesCount existent ailleurs dans le script et sont trop lourdes. Bizarre ces fonctions qui bloque tout le script pour tous les utilisateurs le temps d'être exécutées...

Ça serait sympa de voir les quelques zones du script qui peuvent faire surconsommer le serveur et le faire planter, car sinon, les utilisateurs d'arfooo ayant les plus gros annuaires (et donc les plus intéressants), risquent d'être en difficulté avec le script... Je ne parle pas nécessairement de proposer des correctifs, mais de donner des pistes sur les zones à bricoler pour éviter les problèmes... quitte à condamner des fonctionnalités.

J'ai notamment pu remarquer que le fait d'ajouter une image à la galerie d'un site plombait le serveur... pourquoi, c'est pour moi un mystère. Même au niveau de la validation/suppression des commentaires (qui eux aussi commence à se faire plus nombreux), j'ai déjà eu des probs... Plus rares...

Mais même lorsqu'on ne travail pas dans l'admin, il arrive, plus rarement, que le serveur parte en sucette... Alors que l'audience n'est pas terrible. Difficile, voire impossible, d'identifier facilement la source du plantage.

Bref, toujours difficile d'identifier les actions du script qui engendre ces plantages de serveur... C'est pour l'instant le jeu de chat et de la souris pour moi.

Ouvert aux discussions.

Sujets connexes :
post13969.html (excellent retour de grosse db)
topic3250.html
topic2260.html
topic2942.html
topic2205.html
topic829.html

[onico0]

As tu tester de désactiver la mise en cache, juste pour voir si ça n'irait pas mieux ?

[doudou67]

Salut onoco0

Ben le premier post " post13969.html (excellent retour de grosse db)" ct moi j'avais pas de problème avant que le site commence à avoir beaucoup de visiteurs, j'ai aussi chercher partout comme un fou avant de me rendre compte que de supprimer le cache, le site été a nouveau accessible pour un jour après rebelote.

Désactiver le cache oui où ?

[onico0]

[doudou67]

Non non c'est pas le cache juste le cache de la page détail, les requêtes sont quand même en cache

[onico0]

Sauf erreur, mettre "Activer la vérification du template pour chaque affichage de page" à "Oui" désactive le cache du template, justement...

[Arf]

Bonjour,

Arfooo n'est pas optimisé pour autant d'entrée soyons clair, le système de cache actuel est performant jusqu'à une certaine limite.

Il a été pensé pour des annuaires jusqu'à max 500 000 sites, au delà le système doit être repensé.

Ensuite, il est important de faire cette modification :

post20952.html#p20952

Puis enfin, si il y a toujours des problèmes, un accès au serveur me permettrait de faire des tests et de penser au cas particulier comme le tien doudou67.

Nico, pareil, un accès me permettra de faire des tests, sans tests un développeur sert à rien

Bien cordialement,
Arf

[doudou67]

Bonjour Arf,

Pour ma part impossible de te donner un accès au serveur trop de chose sensible dessus je pense que tu me comprendra.

J'ai réussi a choper un message d'erreur au lieux d'une page blanche.
(2) in_array() [function.in-array]: Wrong datatype for second argument Cacher.php line 121 7-10-11 15:38

Une petite recherche sur GG me dit que le problème est récurent.

Line 121 de Cacher.php:
foreach ($tags as $tag) {
if (in_array($tag, $info['tags'])) {
$match = true;
break;
}

Bien sur si je vide le cache le site remarche environ 1 jours puis rebelote

Ps j'ai fait les modifications que tu indique cela ne change rien

J'ai bien l'impression que le problème viens du faite que je génère la liste des sites aléatoires tous les jours que c le coupable.

Je vide a nouveau le cache et je change l'option à 100 on verra si le site marche plus d'un jour.