Skip to content
Closed
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 2 additions & 0 deletions content/blog/making-a-reranker-fast/index.es.md
Original file line number Diff line number Diff line change
Expand Up @@ -80,3 +80,5 @@ Antes de esto, CI solo ejecutaba un modelo de prueba diminuto a través del paqu
- Un modelo sin cuantizar (fp32), que no debería depender de sus vecinos de lote, pero es más grande y más lento.

Las mediciones sintéticas, su configuración y los scripts están en [cli-testing](https://github.com/WireCatLabs/cli-testing/blob/main/performance/search/rerank-speed/README.md), se pueden repetir. De mi archivo real solo hay totales, las preguntas y las filas por pregunta son privadas. Si a ti lo nativo te salió más rápido con textos largos, cuéntame con qué mediste y lo comparo con mis números.

P.D. Mientras este post esperaba a publicarse, el 17 de noviembre a las 22:20 UTC `github.com/microsoft/onnxruntime` empezó a responder 404, descargas de releases incluidas, y `models download` volvió a WebAssembly para todos. Así que al final sí necesito paquetes por plataforma: estoy pasando la biblioteca a mis propios paquetes npm, y de paso Windows descargará unos 11 MB en lugar de 113. Los paquetes aún no están publicados, lo contaré aparte.
2 changes: 2 additions & 0 deletions content/blog/making-a-reranker-fast/index.md
Original file line number Diff line number Diff line change
Expand Up @@ -80,3 +80,5 @@ Before this, CI ran only a tiny test model through the npm package, and nothing
- A model without quantization (fp32), which shouldn't depend on its batch neighbours but is bigger and slower.

The synthetic runs, their setup and scripts are in [cli-testing](https://github.com/WireCatLabs/cli-testing/blob/main/performance/search/rerank-speed/README.md), you can repeat them. From my real archive there are only totals, the questions and per-question rows stay private. If native came out faster for you on long texts, tell me what you measured on and I'll compare with my numbers.

P.S. While this post waited to go out, at 22:20 UTC on 17 November `github.com/microsoft/onnxruntime` started answering 404, release downloads included, and `models download` fell back to WebAssembly for everyone. So I do need packages per platform after all: I'm moving the library into my own npm packages, and Windows will download about 11 MB instead of 113 on the way. The packages aren't published yet, I'll write about it separately.
2 changes: 2 additions & 0 deletions content/blog/making-a-reranker-fast/index.ru.md
Original file line number Diff line number Diff line change
Expand Up @@ -80,3 +80,5 @@ DirectML-сборку версии 1.30.0 я нашел только внутр
- Модель без квантования (fp32), которая не должна зависеть от соседей по пачке, но больше и медленнее.

Синтетические замеры, условия и скрипты лежат в [cli-testing](https://github.com/WireCatLabs/cli-testing/blob/main/performance/search/rerank-speed/README.md), их можно повторить. От моего реального архива там только итоговые цифры, сами вопросы и строки по каждому вопросу закрыты. Если у вас натив на длинных текстах вышел быстрее, напишите, на чем мерили, я сравню со своими цифрами.

P.S. Пока пост ждал публикации, 17 ноября в 22:20 UTC репозиторий `microsoft/onnxruntime` на GitHub начал отвечать 404 вместе с релизами, и `models download` у всех откатился на WebAssembly. Так что пакеты под каждую платформу мне все-таки понадобятся: я перекладываю библиотеку в свои npm-пакеты, и Windows заодно будет качать около 11 МБ вместо 113. Пакеты еще не опубликованы, про это напишу отдельно.
Loading