Skip to content

perf(tenancy): mémoïse la validation tenant et la résolution adapters de base de donne - #304

Merged
traoreera merged 2 commits into
mainfrom
perf/tenancy-hotpath-optim
Oct 15, 2026
Merged

traoreera merged 2 commits into
mainfrom
perf/tenancy-hotpath-optim

Conversation

@traoreera

@traoreera traoreera commented Oct 15, 2026 •

Copy link
Copy Markdown
Owner

Chemin chaud de l'isolation multi-tenant (chaque opération DB/cache/scheduler) :

  • services: _validate_tenant mémoïsé via lru_cache (regex fullmatch + contrôle des schémas réservés résolus une seule fois par tenant) ; la garde isinstance reste hors cache pour rejeter les non-str sans polluer le cache.
  • services: _db_adapter_types() résout les classes d'adapters une seule fois (import par service évité dans la boucle de wrapping) ; échec d'import mis en cache pour conserver le fallback par suffixe de nom de classe.
  • services: _sqlalchemy() mémoïse les imports text/event de SQLAlchemy.
  • permissions: allows() évalue directement sans passer par check() (supprime une reconstruction de clé, un second lookup cache et une exception de contrôle de flux au premier appel).

Mesures: _validate_tenant 330ns -> 127ns (2.6x) ; import sqlalchemy 683ns -> ~10ns.
Tests: 1502 passed, 15 skipped ; couverture 85.75% (> 80%).

Summary by Sourcery

Reduce recurring tenancy and permission overhead while adding tooling to measure runtime performance and resource usage.

Enhancements:

  • Optimize tenant-aware hot paths by memoizing tenant validation, SQLAlchemy lookups, and database adapter type resolution.
  • Simplify permission checks by evaluating uncached decisions directly without exception-based control flow.

Build:

  • Add the uv.lock dependency lockfile.

Tests:

  • Add coverage for tenant validation and database adapter memoization.

Chores:

  • Add a runtime profiling utility covering calls, startup, memory, reloads, imports, and worker resource usage.

…/SQLAlchemy

Chemin chaud de l'isolation multi-tenant (chaque opération DB/cache/scheduler) :

- services: _validate_tenant mémoïsé via lru_cache (regex fullmatch + contrôle des
  schémas réservés résolus une seule fois par tenant) ; la garde isinstance reste
  hors cache pour rejeter les non-str sans polluer le cache.
- services: _db_adapter_types() résout les classes d'adapters une seule fois
  (import par service évité dans la boucle de wrapping) ; échec d'import mis en
  cache pour conserver le fallback par suffixe de nom de classe.
- services: _sqlalchemy() mémoïse les imports text/event de SQLAlchemy.
- permissions: allows() évalue directement sans passer par check() (supprime une
  reconstruction de clé, un second lookup cache et une exception de contrôle de
  flux au premier appel).

Mesures: _validate_tenant 330ns -> 127ns (2.6x) ; import sqlalchemy 683ns -> ~10ns.
Tests: 1502 passed, 15 skipped ; couverture 85.75% (> 80%).
@sourcery-ai

sourcery-ai Bot commented Oct 15, 2026 •

Copy link
Copy Markdown
Contributor

Reviewer's Guide

Le PR optimise les chemins chauds de la tenancy et des permissions en mémoïsant validation, résolution d’adapters et imports SQLAlchemy, tout en préservant les fallbacks de compatibilité et en simplifiant l’évaluation directe de allows().

Sequence diagram for optimized tenant validation

sequenceDiagram
    participant Operation
    participant Validate as _validate_tenant
    participant Cache as _validate_cached

    Operation->>Validate: _validate_tenant(tenant_id)
    Validate->>Validate: isinstance(tenant_id, str)
    Validate->>Cache: _validate_cached(tenant_id)
    alt cached tenant
        Cache-->>Validate: validated tenant
    else new tenant
        Cache->>Cache: _VALID_TENANT.fullmatch(tenant_id)
        Cache-->>Validate: validated tenant or ValueError
    end
    Validate-->>Operation: tenant_id
Loading

Sequence diagram for direct permission evaluation

sequenceDiagram
    participant Caller
    participant Engine as PermissionEngine
    participant Cache

    Caller->>Engine: allows(plugin_name, resource, action)
    Engine->>Cache: _cache.get(cache_key)
    alt cache miss
        Engine->>Engine: _evaluate_and_cache(plugin_name, resource, action)
        Engine->>Engine: _audit(plugin_name, resource, action, effect, emit_event=True)
    else cache hit
        Engine->>Engine: _audit(plugin_name, resource, action, emit_event=False, cache_hit=True)
    end
    Engine-->>Caller: effect == PolicyEffect.ALLOW
Loading

File-Level Changes

Change Details Files
Mémoriser la validation des identifiants tenant tout en conservant le rejet immédiat des types non textuels.
  • Déplacer la validation regex et les schémas réservés dans une fonction lru_cache limitée à 1024 entrées.
  • Laisser le contrôle isinstance dans l’enveloppe non mémoïsée afin d’éviter de polluer le cache avec des valeurs invalides.
xcore/kernel/tenancy/services.py
tests/unit/kernel/test_tenancy.py
Réduire le coût des résolutions d’adapters et des imports SQLAlchemy sur les chemins chauds.
  • Résoudre et mémoriser les classes d’adapters DB au premier wrapping, avec mémorisation de l’échec d’import et fallback par suffixe de classe.
  • Centraliser les imports text et event de SQLAlchemy dans une résolution paresseuse mémorisée, tout en préservant l’import de xcore sans SQLAlchemy.
xcore/kernel/tenancy/services.py
tests/unit/kernel/test_tenancy.py
Optimiser l’évaluation des permissions lors d’un cache miss.
  • Évaluer et mettre en cache directement depuis allows() au lieu d’appeler check(), supprimant la reconstruction de clé, le second lookup et l’exception de contrôle de flux.
  • Conserver l’audit distinct des cache hits et misses, puis retourner le résultat selon PolicyEffect.ALLOW.
xcore/kernel/permissions/engine.py

Tips and commands

Interacting with Sourcery

  • Trigger a new review: Comment @sourcery-ai review on the pull request.
  • Continue discussions: Reply directly to Sourcery's review comments.
  • Generate a GitHub issue from a review comment: Ask Sourcery to create an
    issue from a review comment by replying to it. You can also reply to a
    review comment with @sourcery-ai issue to create an issue from it.
  • Generate a pull request title: Write @sourcery-ai anywhere in the pull
    request title to generate a title at any time. You can also comment
    @sourcery-ai title on the pull request to (re-)generate the title at any time.
  • Generate a pull request summary: Write @sourcery-ai summary anywhere in
    the pull request body to generate a PR summary at any time exactly where you
    want it. You can also comment @sourcery-ai summary on the pull request to
    (re-)generate the summary at any time.
  • Generate reviewer's guide: Comment @sourcery-ai guide on the pull
    request to (re-)generate the reviewer's guide at any time.
  • Resolve all Sourcery comments: Comment @sourcery-ai resolve on the
    pull request to resolve all Sourcery comments. Useful if you've already
    addressed all the comments and don't want to see them anymore.
  • Dismiss all Sourcery reviews: Comment @sourcery-ai dismiss on the pull
    request to dismiss all existing Sourcery reviews. Especially useful if you
    want to start fresh with a new review - don't forget to comment
    @sourcery-ai review to trigger a new review!

Customizing Your Experience

Access your dashboard to:

  • Enable or disable review features such as the Sourcery-generated pull request
    summary, the reviewer's guide, and others.
  • Change the review language.
  • Add, remove or edit custom review instructions.
  • Adjust other review settings.

Getting Help

@github-actions

Copy link
Copy Markdown
Contributor

@traoreera
traoreera requested a review from NICE-DEV226 October 15, 2026 15:11

@sourcery-ai sourcery-ai Bot left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Hey - I've reviewed your changes and they look great!

Sourcery assessment

Needs a human reviewer. On a cache miss, allows() now returns the result of the evaluator directly instead of going through check(); if that path produces an incorrect effect, it could grant access and expose protected data. Reverting restores the old path, but it cannot undo access or exposure that already occurred.


Sourcery is free for open source - if you like our reviews please consider sharing them ✨

- profile_runtime.py : profilage CPU/mémoire/import/GC des chemins chauds du
  kernel (calls, boot, memory, reload, imports, workers) ; complète
  scripts/benchmarks.py (timing seul) et réutilise son générateur de plugins.
- uv.lock : snapshot de résolution uv.
@github-actions

Copy link
Copy Markdown
Contributor

⚠️ PR très large (2886 lignes modifiées). Pensez à la découper en plusieurs PRs plus petites pour faciliter la revue.

@sourcery-ai sourcery-ai Bot left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

New security issues found

Comment on lines +433 to +435
out = subprocess.run(
[sys.executable, "-c", code], capture_output=True, text=True, check=True
).stdout.split()

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

security (python.lang.security.audit.dangerous-subprocess-use-audit): Detected subprocess function 'run' without a static string. If this data can be controlled by a malicious actor, it may be an instance of command injection. Audit the use of this call to ensure it is not controllable by an external resource. You may consider using 'shlex.escape()'.

Source: opengrep

Copy link
Copy Markdown
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

je tai ecris sur whatsapp depuis hier fo regarder.

@traoreera
traoreera merged commit 4082941 into main Oct 15, 2026
24 of 25 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants