feat(ai): Add support for Cohere Rerank models - #38
Merged
Conversation
eeedean
reviewed
Jul 19, 2026
eeedean
reviewed
Jul 19, 2026
eeedean
reviewed
Jul 19, 2026
eeedean
requested changes
Jul 19, 2026
eeedean
left a comment
Contributor
There was a problem hiding this comment.
Grundsätzlich schon gut! Ich würde mir noch etwas Liebe für's Frontend wünschen, dann passt's. Ich denke, ich würde im Report Rerank komplett separat aufbereiten.
Fix minor syntax issues
eeedean
approved these changes
Jul 20, 2026
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Hinzufügen von Cohere Rerank Modellen in Azure AI Foundry
Um den RAG Prototypen, sowie potentiell andere RAG Systeme, vernünftig betreieben zu können ist ein Reranking Modell meistens ideal, wenn nicht sogar verpflichent.
@eeedean war so nett und hat in der AI Foundry das
Cohere-rerank-v4.0-fastbereitgestellt, was in diesem PR eingebaut und unterstützt wird.Quirks
Pricing/Billing
Das Pricing Modell(sehe
Pricing) ist scheinbar abweichend von anderen Modellen, i.e. Chat Completions, da das Billingsearch unitsberechnet wird, anstatt Token CountDas hat mich dahin geführt das Billing zu splitten; aktuell wird es nur in
EURangezeigt, innerhalb des Branches wird es nun geteilt inEUR - USDangezeigtDB Migrations Scripts
Aus Gründen die ich mir nicht erklären kann, ist das letzte in
mainhinzugefügte Migrations Skript(20260324120000_drop_backend_pricing_columns.sql) falsch mitatlasintegriert, da dass SQLBEGINundCOMMITbenutzt, was Atlas scheinbar implizit macht.Daher habe ich das korrigiert meinerseits, um es lokal zum laufen zu bringen, damit ich testen kann.
Ich bin mir nicht sicher wie das in der PROD umgebung genau funktionieren wird, i.e. ob Atlas da retroaktiv auf die Migrations Skripte schaut um den aktuellen Stand zu validieren - bei mir hat es zumindest funktioniert.