Skip to content

Commit 344107a

Browse files
ilyarioilyario
committed
Remove pg full
1 parent ea5ea56 commit 344107a

2 files changed

Lines changed: 6 additions & 127 deletions

File tree

‎docs/en/connectors.md‎

Lines changed: 3 additions & 65 deletions
Original file line numberDiff line numberDiff line change
@@ -8,7 +8,6 @@ DataFlow Operator supports various connectors for data sources and sinks. Each c
88
|-----------|--------|------|----------|
99
| Kafka | ✅ | ✅ | Consumer groups, TLS, SASL, Avro, Schema Registry |
1010
| PostgreSQL | ✅ | ✅ | SQL queries, batch inserts, auto-create tables, UPSERT mode |
11-
| postgresFull | ✅ | ✅ | Full DB sync: schema (tables, views, indexes, functions) + data |
1211
| Trino | ✅ | ✅ | SQL queries, Keycloak OAuth2 authentication, batch inserts |
1312
| ClickHouse | ✅ | ✅ | Polling, batch inserts, auto-create MergeTree tables |
1413
| Nessie | ✅ | ✅ | Iceberg tables via Nessie catalog, branches, Basic/Bearer auth, polling, batch appends |
@@ -55,9 +54,6 @@ All connectors support secret references for the following fields:
5554
- `connectionStringSecretRef` - connection string
5655
- `tableSecretRef` - table name
5756

58-
#### postgresFull
59-
- `connectionStringSecretRef` - connection string (source and sink)
60-
6157
#### ClickHouse
6258
- `connectionStringSecretRef` - connection string
6359
- `tableSecretRef` - table name
@@ -448,66 +444,6 @@ sink:
448444
- **UPSERT Mode**: Updates existing records on conflict (PRIMARY KEY or `conflictKey`)
449445
- **Soft Delete**: When `softDeleteColumn` is set and message has `metadata.operation=delete`, performs `UPDATE ... SET deleted_at = NOW()` instead of physical DELETE
450446

451-
## postgresFull
452-
453-
The postgresFull connector performs **full database synchronization** from a source PostgreSQL to a target PostgreSQL. It replicates schema (tables, views, materialized views, indexes, sequences, triggers, functions) and optionally data.
454-
455-
### Features
456-
457-
- **Schema sync**: Schemas, tables, views, materialized views, indexes, sequences, triggers, functions
458-
- **Data sync**: Optional data copy (schema_only or schema_and_data)
459-
- **ExcludeObjects**: Filter out object types (view, matview, function, trigger, index, sequence)
460-
- **Databases filter**: Sync specific objects in `schema.object` format
461-
- **ConnectionStringSecretRef**: Use Kubernetes secrets for credentials
462-
463-
### Example
464-
465-
```yaml
466-
apiVersion: dataflow.dataflow.io/v1
467-
kind: DataFlow
468-
metadata:
469-
name: postgres-full-sync
470-
spec:
471-
source:
472-
type: postgresFull
473-
config:
474-
connectionString: "postgres://user:pass@source-pg:5432/db?sslmode=disable"
475-
syncMode: full
476-
dataMode: schema_and_data # or schema_only
477-
# databases: ["public.users", "analytics.mv_report"] # optional filter
478-
# excludeObjects: ["view", "function"] # optional exclude
479-
sink:
480-
type: postgresFull
481-
config:
482-
connectionString: "postgres://user:pass@target-pg:5432/db?sslmode=disable"
483-
```
484-
485-
### Source Options
486-
487-
| Option | Description |
488-
|--------|-------------|
489-
| connectionString | PostgreSQL connection string (required, or use connectionStringSecretRef) |
490-
| syncMode | `full` (default) or `incremental` |
491-
| dataMode | `schema_only` or `schema_and_data` (default) |
492-
| databases | List of `schema.object` to sync; empty = all |
493-
| excludeObjects | Exclude types: view, matview, function, trigger, index, sequence |
494-
| syncUsers | Sync roles (CREATE ROLE, without passwords) |
495-
| syncGrants | Sync grants (GRANT on objects) |
496-
497-
### Sink Options
498-
499-
| Option | Description |
500-
|--------|-------------|
501-
| connectionString | Target PostgreSQL connection string |
502-
| dropTarget | Drop objects on target before applying (use with caution) |
503-
504-
### Requirements
505-
506-
- PostgreSQL 12+ on source and target
507-
- Source: SELECT on pg_catalog, USAGE on schemas, SELECT on tables
508-
- Target: CREATE, INSERT, and DDL privileges
509-
- For data sync with FK: uses `session_replication_role = replica` during insert
510-
511447
## ClickHouse
512448

513449
The ClickHouse connector supports reading from and writing to ClickHouse tables. It supports polling for incremental reads, custom SQL queries, batch inserts, and auto-creation of MergeTree tables.
@@ -909,7 +845,9 @@ For configuration, error message structure, and error types, see [Error Handling
909845

910846
### Spec-level settings
911847

912-
- **channelBufferSize** (default 100): Buffer size for message channels between source, processor, and sink. For high Kafka throughput (tens of thousands msg/s), increase to 500–1000 to reduce blocking when the sink is slower than the source.
848+
#### channelBufferSize
849+
850+
Buffer size for message channels between source, processor, and sink (default 100). For high Kafka throughput (tens of thousands msg/s), increase to 500–1000 to reduce blocking when the sink is slower than the source.
913851

914852
### Kafka
915853

‎docs/ru/connectors.md‎

Lines changed: 3 additions & 62 deletions
Original file line numberDiff line numberDiff line change
@@ -8,7 +8,6 @@ DataFlow Operator поддерживает различные коннектор
88
|-----------|----------|----------|-------------|
99
| Kafka | ✅ | ✅ | Consumer groups, TLS, SASL, Avro, Schema Registry |
1010
| PostgreSQL | ✅ | ✅ | SQL запросы, батч-вставки, автосоздание таблиц, UPSERT режим |
11-
| postgresFull | ✅ | ✅ | Полная синхронизация БД: схема (таблицы, view, индексы, функции) + данные |
1211
| Trino | ✅ | ✅ | SQL запросы, аутентификация Keycloak OAuth2, батч-вставки |
1312
| ClickHouse | ✅ | ✅ | Опрос таблиц, батч-вставки, автосоздание MergeTree таблиц |
1413
| Nessie | ✅ | ✅ | Таблицы Iceberg через каталог Nessie, ветки, Basic/Bearer auth, опрос, батч-дозапись |
@@ -363,66 +362,6 @@ sink:
363362

364363
**Важно:** Для работы UPSERT таблица должна иметь PRIMARY KEY или UNIQUE constraint на указанном `conflictKey`.
365364

366-
## postgresFull
367-
368-
Коннектор postgresFull выполняет **полную синхронизацию базы данных** из PostgreSQL-источника в PostgreSQL-приёмник. Реплицирует схему (таблицы, представления, материализованные представления, индексы, последовательности, триггеры, функции) и опционально данные.
369-
370-
### Особенности
371-
372-
- **Синхронизация схемы**: схемы, таблицы, views, materialized views, индексы, последовательности, триггеры, функции
373-
- **Синхронизация данных**: опционально (schema_only или schema_and_data)
374-
- **ExcludeObjects**: исключение типов объектов (view, matview, function, trigger, index, sequence)
375-
- **Фильтр databases**: синхронизация конкретных объектов в формате `schema.object`
376-
- **ConnectionStringSecretRef**: использование Kubernetes secrets для учётных данных
377-
378-
### Пример
379-
380-
```yaml
381-
apiVersion: dataflow.dataflow.io/v1
382-
kind: DataFlow
383-
metadata:
384-
name: postgres-full-sync
385-
spec:
386-
source:
387-
type: postgresFull
388-
config:
389-
connectionString: "postgres://user:pass@source-pg:5432/db?sslmode=disable"
390-
syncMode: full
391-
dataMode: schema_and_data # или schema_only
392-
# databases: ["public.users", "analytics.mv_report"] # опциональный фильтр
393-
# excludeObjects: ["view", "function"] # опциональное исключение
394-
sink:
395-
type: postgresFull
396-
config:
397-
connectionString: "postgres://user:pass@target-pg:5432/db?sslmode=disable"
398-
```
399-
400-
### Опции источника
401-
402-
| Опция | Описание |
403-
|-------|----------|
404-
| connectionString | Строка подключения PostgreSQL (обязательно, или connectionStringSecretRef) |
405-
| syncMode | `full` (по умолчанию) или `incremental` |
406-
| dataMode | `schema_only` или `schema_and_data` (по умолчанию) |
407-
| databases | Список `schema.object` для синхронизации; пусто = все |
408-
| excludeObjects | Исключить типы: view, matview, function, trigger, index, sequence |
409-
| syncUsers | Синхронизировать роли (CREATE ROLE, без паролей) |
410-
| syncGrants | Синхронизировать права (GRANT на объекты) |
411-
412-
### Опции приёмника
413-
414-
| Опция | Описание |
415-
|-------|----------|
416-
| connectionString | Строка подключения к целевой PostgreSQL |
417-
| dropTarget | Удалить объекты на target перед применением (осторожно) |
418-
419-
### Требования
420-
421-
- PostgreSQL 12+ на source и target
422-
- Source: SELECT на pg_catalog, USAGE на схемах, SELECT на таблицах
423-
- Target: CREATE, INSERT и права на DDL
424-
- Для синхронизации данных с FK: используется `session_replication_role = replica` при вставке
425-
426365
## ClickHouse
427366

428367
ClickHouse коннектор поддерживает чтение из таблиц и запись в таблицы ClickHouse. Поддерживает периодический опрос для инкрементального чтения, кастомные SQL запросы, батч-вставки и автосоздание MergeTree таблиц.
@@ -1292,7 +1231,9 @@ kubectl logs -l app.kubernetes.io/name=dataflow-operator | grep -i secret
12921231

12931232
### Общие настройки spec
12941233

1295-
- **channelBufferSize** (по умолчанию 100): размер буфера каналов между source, processor и sink. При высокой нагрузке Kafka (десятки тысяч msg/s) увеличьте до 500–1000, чтобы снизить блокировки, когда sink медленнее source.
1234+
#### channelBufferSize
1235+
1236+
Размер буфера каналов между source, processor и sink (по умолчанию 100). При высокой нагрузке Kafka (десятки тысяч msg/s) увеличьте до 500–1000, чтобы снизить блокировки, когда sink медленнее source.
12961237

12971238
### Kafka
12981239

0 commit comments

Comments
 (0)