Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Umbrella] unified parameter class and refactor connector creation logic #8576 #8810

Closed
wants to merge 2 commits into from
Closed
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
5 changes: 5 additions & 0 deletions Connetor_webpape.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,5 @@
源连接器SeaTunnel 支持从各种关系数据库、图形数据库、NoSQL、文档数据库和内存数据库读取数据;分布式文件系统,如 HDFS;以及各种云存储解决方案,例如 S3 和 OSS。我们还支持许多常见的 SaaS 服务的数据读取。您可以在此处访问详细列表。如果需要,您可以开发自己的 source connector 并轻松集成到 SeaTunnel 中。

变换连接器如果 source 和 Sink 之间的架构不同,则可以使用 Transform Connector 更改从 source 读取的架构,并使其与 Sink 架构相同。

Sink 连接器SeaTunnel 支持将数据写入各种关系数据库、图形数据库、NoSQL、文档数据库和内存数据库;分布式文件系统,如 HDFS;以及各种云存储解决方案,例如 S3 和 OSS。我们还支持将数据写入许多常见的 SaaS 服务。您可以在此处访问详细列表。如果需要,您可以开发自己的 Sink 连接器,并轻松集成到 SeaTunnel 中。
8 changes: 8 additions & 0 deletions translate_webpage.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,8 @@
SeaTunnel 专注于数据集成和数据同步,主要旨在解决数据集成领域的常见问题:

各种数据源:有数百个常用数据源的版本不兼容。随着新技术的出现,出现了更多的数据源。用户很难找到能够完全快速支持这些数据源的工具。
复杂同步场景:数据同步需要支持离线-全量同步、离线-增量同步、CDC、实时同步、数据库全量同步等各种同步场景。
资源需求高:现有的数据集成和数据同步工具通常需要大量的计算资源或 JDBC 连接资源才能完成海量小表的实时同步。这加重了企业的负担。
缺乏质量和监控:数据集成和同步过程经常会出现数据丢失或重复的情况。同步过程缺乏监控,在任务过程中无法直观地了解数据的真实情况。
技术栈复杂:企业使用的技术组件不同,用户需要针对不同的组件开发相应的同步程序,以完成数据集成。
管理维护难:受限于不同的底层技术组件(Flink/Spark),离线同步和实时同步往往是分开开发和管理的,增加了管理和维护的难度。
Loading