Skip to content

Latest commit

 

History

History
159 lines (136 loc) · 3.13 KB

carbondatawriter.md

File metadata and controls

159 lines (136 loc) · 3.13 KB

Carbondata Writer

一、插件名称

名称：carbondatawriter

二、支持的数据源版本

Carbondata 1.5及以上

三、参数说明

  • path

    • 描述：carbondata表的存储路径
    • 必选：是
    • 字段类型：String
    • 默认值：无

  • table

    • 描述：carbondata表名
    • 必选：否
    • 字段类型：String
    • 默认值：无

  • database

    • 描述：carbondata库名
    • 必选：否
    • 字段类型：String
    • 默认值：无

  • column

    • 描述：所配置的表中需要同步的字段名列表
    • 必选：是
      字段包括表字段和常量字段,
      表字段的格式:
      • name：字段名称
      • type：字段类型
{
   "name": "col1",
   "type": "string"
}
  • 必选：是
  • 字段类型：List
  • 默认值：无

  • hadoopConfig
    • 描述：集群HA模式时需要填写的namespace配置及其它配置
    • 必选：是
    • 字段类型：Map
    • 默认值：无

  • defaultFS

    • 描述：Hadoop hdfs文件系统namenode节点地址
    • 必选：是
    • 字段类型：String
    • 默认值：无

  • writeMode

    • 描述：写入模式，支持append和overwrite
    • 必填：否
    • 字段类型：String
    • 默认值：append

  • partition

    • 描述：carbondata分区
    • 必填：否
    • 字段类型：String
    • 默认值：无

  • batchSize

    • 描述：批量提交条数
    • 必填：否
    • 字段类型：int
    • 默认值：204800

四、配置示例

{
  "job" : {
    "content" : [ {
      "reader" : {
        "parameter" : {
          "column" : [ {
            "name" : "id",
            "type" : "id"
          }, {
            "name" : "data",
            "type" : "string"
          } ],
          "sliceRecordCount" : [ "100"]
        },
        "name" : "streamreader"
      },
      "writer" : {
        "name": "carbondatawriter",
        "parameter": {
          "path": "hdfs://ns1/user/hive/warehouse/carbon.store1/sb/sb500",
          "hadoopConfig": {
            "dfs.ha.namenodes.ns1": "nn1,nn2",
            "dfs.namenode.rpc-address.ns1.nn2": "rdos2:9000",
            "dfs.client.failover.proxy.provider.ns1": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
            "dfs.namenode.rpc-address.ns1.nn1": "rdos1:9000",
            "dfs.nameservices": "ns1"
          },
          "defaultFS": "hdfs://ns1",
          "table": "sb500",
          "database": "sb",
          "writeMode": "overwrite",
          "column": ["a","b"],
          "batchSize": 204800
        }
    } ],
    "setting" : {
      "restore" : {
        "maxRowNumForCheckpoint" : 0,
        "isRestore" : false,
        "restoreColumnName" : "",
        "restoreColumnIndex" : 0
      },
      "errorLimit" : {
        "record" : 100
      },
      "speed" : {
        "bytes" : 0,
        "channel" : 1
      },
      "log" : {
        "isLogger": false,
        "level" : "debug",
        "path" : "",
        "pattern":""
      }
    }
  }
}