[1.5.2] La montée en version du module ne fait pas la montée en version de Utils-Flask-SQLAlchemy en production

[lpofredc]

Lors de la montée en version du module (v1.5.0 > v1.5.2) sur une instance de production, la montée en version du module n'a pas provoqué de montée en version de la dépendance Utils-Flask-SQLAlchemy en v0.3.5.

Il a fallut procéder manuellement à sa mise à jour:

pip install utils-flask-sqlalchemy==0.3.5

[camillemonchicourt]

OK OK intéressant.

C'est ce qui nous semblait, et c'est pourquoi on avait indiqué initialement dans les notes de version de la 1.5.0 cela :

Si vous installez le module sur une version 2.12 de GeoNature, il est possible que vous deviez lancer les commandes suivantes afin de mettre à jour les sous-modules Python, avant la mise à jour du module :

source ~/geonature/backend/venv/bin/activate
pip install utils-flask-sqlalchemy==0.3.4
pip install utils-flask-sqlalchemy-geo==0.2.8
pip install pypnusershub==1.6.7

Mais ensuite on refaisant plusieurs tests, on a constaté que ce n'était pas nécessaire.
Mais c'était peut-être en effet une différence entre une instance de développement et une de production.

Merci pour ce retour.

[gildeluermoz]

Je confirme que sur toutes les instances que je gère, la montée de version vers GN 2.12.3 et gn_exports en 1.5.1 (8 instances), utils-flask-sqlalchemy était resté en 0.3.4 et que les exports non géographique ne fonctionnaient pas. #197. Après mises à jour manuelles en 0.3.5, les exports CSV refonctionnent.

[maximetoma]

Bonjour, je tiens à signaler que j'ai toujours le problème sur ma version 1.6.0 du module en ayant les dépendances à jour...
Je redémarre les services, ça fonctionne, mais le problème revient "tout seul" quelques heures après

[camillemonchicourt]

Quelle version de GeoNature ?
La 1.6.0 du module indique la nécessité d'avoir GeoNature 2.13 ou plus.

[maximetoma]

Oups j'ai oublié de le mentionné, je suis sur une 2.13.3 de GN

[camillemonchicourt]

Je ne comprends pas de quel "problème" tu parles.
Surtout qu'en version 2.13.3, GeoNature est installée avec la version 0.3.6 de Utils-Flask-SQLAlchelmy - https://github.com/PnX-SI/GeoNature/blob/2.13.3/backend/requirements.txt#L320

[maximetoma]

C'est la problème décrit dans ce ticket #197 sur les exports CSV qui ne fonctionnait pas avec une erreur sur les colonnes de géométrie.

Par contre, j'ai mis la version de Utils-Flask-SQLAlchelmy à 0.3.6, je vais voir dans quelques heures si j'ai tj le prolbème

[camillemonchicourt]

Je ne comprends toujours pas bien.
Il n'y a pas à mettre à jour Utils-Flask-SQLAlchelmy en version 0.3.6, car il est fourni et installé en version 0.3.6 avec GeoNature 2.13.3.

[maximetoma]

En fait, je n'ai pas vérifié avant si la version s'était bien mise à jour ou non. J'ai exécuté un pip install utils-flask-sqlalchemy==0.3.6 pour être sur.

Mais je viens de vérifier et j'ai toujours ce problème de blocage des exports CSV en lien avec des colonnes geom... On dirait que le problème vient d'ailleurs....

[maximetoma]

Bonjour, j'ai toujours un problème d'export des données au fomrat CSV. Ci-joint les logs du worker.
La situation reviens à la normal en redémarrant les services geonature-worker et redis mais je n'arrive à identifier d'où vient l'erreur... Avez-vous une piste ? Le problème réapparait quelques minutes après le redémarrage des services....

[2024-01-29 16:53:19,366: ERROR/ForkPoolWorker-7] Task gn_module_export.tasks.generate_export[7b4b29f8-c25e-4504-8be0-230c6be46904] raised unexpected: ValueError("Invalid fields for <Schema(many=False)>: {'geom_4326'}.")
Traceback (most recent call last):
  File "/home/geonatureadmin/geonature/backend/venv/lib/python3.9/site-packages/celery/app/trace.py", line 451, in trace_task
    R = retval = fun(*args, **kwargs)
  File "/home/geonatureadmin/geonature/backend/geonature/celery_app.py", line 12, in __call__
    return self.run(*args, **kwargs)
  File "/home/geonatureadmin/gn_module_export/backend/gn_module_export/tasks.py", line 62, in generate_export
    export_data_file(export_id, file_name, export_url, format, id_role, filters)
  File "/home/geonatureadmin/gn_module_export/backend/gn_module_export/utils_export.py", line 153, in export_data_file
    raise exp
  File "/home/geonatureadmin/gn_module_export/backend/gn_module_export/utils_export.py", line 140, in export_data_file
    export_as_file(
  File "/home/geonatureadmin/gn_module_export/backend/gn_module_export/utils/export.py", line 29, in export_as_file
    _export_as_file(
  File "/home/geonatureadmin/gn_module_export/backend/gn_module_export/utils/export.py", line 75, in _export_as_file
    func_dict[file_format](
  File "/home/geonatureadmin/geonature/backend/venv/lib/python3.9/site-packages/utils_flask_sqla_geo/export.py", line 43, in export_csv
    schema = schema_class(only=only or None)
  File "/home/geonatureadmin/geonature/backend/venv/lib/python3.9/site-packages/utils_flask_sqla/schema.py", line 51, in __init__
    super().__init__(*args, **kwargs)
  File "/home/geonatureadmin/geonature/backend/venv/lib/python3.9/site-packages/utils_flask_sqla_geo/schema.py", line 175, in __init__
    super().__init__(*args, only=only, exclude=exclude, **kwargs)
  File "/home/geonatureadmin/geonature/backend/venv/lib/python3.9/site-packages/marshmallow_sqlalchemy/load_instance_mixin.py", line 45, in __init__
    super().__init__(*args, **kwargs)
  File "/home/geonatureadmin/geonature/backend/venv/lib/python3.9/site-packages/marshmallow/schema.py", line 404, in __init__
    self._init_fields()
  File "/home/geonatureadmin/geonature/backend/venv/lib/python3.9/site-packages/marshmallow/schema.py", line 979, in _init_fields
    raise ValueError(message)
ValueError: Invalid fields for <Schema(many=False)>: {'geom_4326'}.

[jacquesfize]

La dernière version de Utils-flask-SQLAlchemy sera faite dans la 1.8.0 910c043