Skip to content

feat(ai): Add support for Cohere Rerank models - #38

Merged
KatarinaMah merged 3 commits into
mainfrom
feat/rerank
Jul 20, 2026
Merged

feat(ai): Add support for Cohere Rerank models#38
KatarinaMah merged 3 commits into
mainfrom
feat/rerank

Conversation

@KatarinaMah

@KatarinaMah KatarinaMah commented Jul 18, 2026

Copy link
Copy Markdown
Contributor

Hinzufügen von Cohere Rerank Modellen in Azure AI Foundry

Um den RAG Prototypen, sowie potentiell andere RAG Systeme, vernünftig betreieben zu können ist ein Reranking Modell meistens ideal, wenn nicht sogar verpflichent.

@eeedean war so nett und hat in der AI Foundry das Cohere-rerank-v4.0-fast bereitgestellt, was in diesem PR eingebaut und unterstützt wird.

Quirks

Pricing/Billing

Das Pricing Modell(sehe Pricing) ist scheinbar abweichend von anderen Modellen, i.e. Chat Completions, da das Billing

  • anhand von USD -> EUR Conversion Rates berechnet wird (nicht zu 100% sicher)
  • in search units berechnet wird, anstatt Token Count
    Das hat mich dahin geführt das Billing zu splitten; aktuell wird es nur in EUR angezeigt, innerhalb des Branches wird es nun geteilt in EUR - USD angezeigt

DB Migrations Scripts

Aus Gründen die ich mir nicht erklären kann, ist das letzte in main hinzugefügte Migrations Skript(20260324120000_drop_backend_pricing_columns.sql) falsch mit atlas integriert, da dass SQL BEGIN und COMMIT benutzt, was Atlas scheinbar implizit macht.
Daher habe ich das korrigiert meinerseits, um es lokal zum laufen zu bringen, damit ich testen kann.
Ich bin mir nicht sicher wie das in der PROD umgebung genau funktionieren wird, i.e. ob Atlas da retroaktiv auf die Migrations Skripte schaut um den aktuellen Stand zu validieren - bei mir hat es zumindest funktioniert.

Comment thread apiproxy/response.go Outdated
Comment thread app/src/app/admin/costs/costs-client.tsx Outdated
Comment thread app/src/components/admin-usage-dashboard.tsx

@eeedean eeedean left a comment

Copy link
Copy Markdown
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Grundsätzlich schon gut! Ich würde mir noch etwas Liebe für's Frontend wünschen, dann passt's. Ich denke, ich würde im Report Rerank komplett separat aufbereiten.

Fix minor syntax issues
@KatarinaMah
KatarinaMah merged commit 998ed26 into main Jul 20, 2026
1 check passed
@KatarinaMah
KatarinaMah deleted the feat/rerank branch July 20, 2026 14:13
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants