Repository navigation
Conversation
Codecov Report❌ Patch coverage is Additional details and impacted files@@ Coverage Diff @@
## main #940 +/- ##
==========================================
+ Coverage 82.70% 83.30% +0.60%
==========================================
Files 99 99
Lines 12960 13638 +678
Branches 1266 1366 +100
==========================================
+ Hits 10718 11361 +643
- Misses 1789 1802 +13
- Partials 453 475 +22
Flags with carried forward coverage won't be shown. Click here to find out more.
🚀 New features to boost your workflow:
|
vgvoleg
left a comment
There was a problem hiding this comment.
Замечания к накладным расходам при выключенных метриках и совместимости encoder_executor.
| self._metrics.add_pending_messages(accepted_at, len(internal_messages)) | ||
|
|
||
| self._metrics.record_sending_messages(len(internal_messages)) | ||
| self._metrics.record_sending_bytes(sum(message.uncompressed_size for message in internal_messages)) |
There was a problem hiding this comment.
При выключенных метриках здесь всё равно выполняется дополнительная работа на каждом write: проход с присваиванием _accepted_at, sum(...) для record_sending_bytes() и ещё один проход в _record_message_processing(). Перед отправкой _capture_first_send() создаёт список и присваивает _first_sent_at, хотя no-op возвращает None; на каждом ACK остаются три дополнительных no-op вызова. Сжатие также всегда идёт через обёртку метрик.
В изолированном CPU-пути приёма, учёта отправки и ACK с RAW-сообщениями по 100 байт и полностью выключенными метриками время выросло примерно с 1,83 до 2,38 мкс на сообщение при записи по одному и с 1,14 до 1,32 мкс при батчах по 100. Это микробенч без gRPC и сервера, а не оценка общей пропускной способности.
Проверку наличия инструментации следует делать до вычислений и дополнительных проходов: пустые методы no-op уже не отменяют вычисление аргументов и создание списков. Проверка на уровне целого блока позволит сохранить простой код и дешёвый путь без метрик.
| encoded_data_futures = eventloop.run_in_executor( | ||
| self._encode_executor, encoder_function, message.get_data_bytes() | ||
| self._encode_executor, | ||
| self._encode_with_metrics, |
There was a problem hiding this comment.
Передача bound method self._encode_with_metrics в executor ломает encoder_executor=ProcessPoolExecutor(...): для отправки задания в другой процесс теперь требуется сериализовать весь writer вместе с event loop и остальным состоянием. Раньше передавался непосредственно encoder, например gzip.compress, который можно сериализовать.
Воспроизводится с явно выбранным GZIP и выключенными метриками: на базе PR _encode_data_inplace() успешно сжимает сообщение через ProcessPoolExecutor, на head падает с ошибкой pickle (Can't get local object 'WeakSet.__init__.<locals>._remove').
Для выключенных метрик следует сохранить прямую передачу encoder. Измерение при включённых метриках можно вынести в отдельную сериализуемую функцию, принимающую encoder и данные и возвращающую результат с длительностью, а запись метрики выполнять в основном процессе.
Pull request type
What is the current behavior?
Topic Writers do not expose client-side metrics.
What is the new behavior?
Adds metrics for explicitly named Topic Writers:
sending.messages,sending.bytes,written.messages,session.errorsbuffer.used.bytes,buffer.limit.bytes,sending.oldest_agebuffer.wait.duration,message.processing.duration,compression.duration,message.ack.durationIncludes sync/async support, retry/reconnect handling, OpenTelemetry integration, documentation, and tests.