postgres

PostgresReader插件文档

快速介绍

PostgresReader插件实现了从Postgres/Greenplum数据库读取数据。在底层实现上，PostgresReader通过github.com/lib/pq连接远程Postgres/Greenplum数据库，并执行相应的sql语句将数据从数据库库中查询出来。

实现原理

PostgresReader通过github.com/lib/pq连接远程Postgres/Greenplum数据库，并根据用户配置的信息生成查询SQL语句，然后发送到远程postgres/greenplum数据库，并将该SQL执行返回结果使用go-etl自定义的数据类型拼装为抽象的数据集，并传递给下游Writer处理。和直接使用github.com/lib/pq连接数据库不同的是，这里采用了github.com/Breeze0806/go/database/pqto以便能设置读写超时。

PostgresReader通过使用dbmsreader中定义的查询流程调用go-etl自定义的storage/database的DBWrapper来实现具体的查询。DBWrapper封装了database/sql的众多接口，并且抽象出了数据库方言Dialect。其中postgres采取了storage/database/postgres实现的Dialect。

功能说明

配置样例

配置一个从Postgres/Greenplum数据库同步抽取数据到本地的作业:

{
    "job":{
        "content":[
            {
                "reader":{
                    "name": "postgresreader",
                    "parameter": {
                        "username": "postgres",
                        "password": "123456",
                        "column": ["*"],
                        "connection":  {
                                "url": "postgres://192.168.15.130:5432/postgres?sslmode=disable",
                                "table": {
                                    "schema":"source",
                                    "name":"type_table"
                                }
                            },
                        "split" : {
                            "key":"id"
                        },                               
                        "where": "",
                        "querySql":["select a,b from table_a join table_b on table_a.id = table_b.id"]
                    }
                }
            }
        ]
    }
}

参数说明

url

• 描述 主要用于配置对端连接信息。基本配置格式：postgres://ip:port/db，ip:port代表mysql数据库的IP地址和端口，db表示要默认连接的数据库，和pq的连接配置信息基本相同，只是将用户名和密码从连接配置信息提出，方便之后对这些信息加密。与pq不同的是，可以使用readTimeout/writeTimeout配置读/写超时,格式与batchTimeout相同。
• 必选：是
• 默认值: 无

username

• 描述 主要用于配置postgres数据库的用户
• 必选：是
• 默认值: 无

password

• 描述 主要用于配置postgres数据库的密码
• 必选：是
• 默认值: 无

table

描述postgres表信息

• 描述 主要用于配置postgres表的模式名
• 必选：是
• 默认值: 无

• 描述 主要用于配置postgres表的表名
• 必选：是
• 默认值: 无

column

• 描述：所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。用户使用*代表默认使用所有列配置，例如["*"]。

  支持列裁剪，即列可以挑选部分列进行导出。

  支持列换序，即列可以不按照表schema信息进行导出。

  支持常量配置，用户需要按照PostgreSQL语法格式: ["id", "'hello'::varchar", "true", "2.5::real", "power(2,3)"] id为普通列名，'hello'::varchar为字符串常量，true为布尔值，2.5为浮点数, power(2,3)为函数。

• 必选：是

• 默认值: 无

split

• 描述 主要用于配置postgresql表的切分键，切分键必须为bigInt/string/time类型，假设数据按切分键分布是均匀的
• 必选：否
• 默认值: 无

• 描述 主要用于配置postgresql表的时间切分键，主要用于描述时间最小单位，day（日）,min（分钟）,s（秒）,ms（毫秒）,us（微秒）,ns（纳秒）
• 必选：否
• 默认值: 无

• 描述 主要用于配置db2表的切分键默认值类型，值为bigInt/string/time，这里会检查表切分键中的类型，请务必确保类型正确。
• 必选：否
• 默认值: 无

• 描述 主要用于配置db2表的切分键默认最大值
• 必选：否
• 默认值: 无

• 描述 主要用于配置db2表的切分键默认最小值
• 必选：否
• 默认值: 无

where

• 描述 主要用于配置select的where条件
• 必选：否
• 默认值: 无

querySql

• 描述：在有些业务场景下，where这一配置项不足以描述所筛选的条件，用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后，DataX系统就会忽略table，column这些配置型，直接使用这个配置项的内容对数据进行筛选，例如需要进行多表join后同步数据，使用select a,b from table_a join table_b on table_a.id = table_b.id 当用户配置querySql时，MysqlReader直接忽略table、column、where条件的配置，querySql优先级大于table、column、where选项。
• 必选：否
• 默认值：无

类型转换

目前PostgresReader支持大部分Postgres类型，但也存在部分个别类型没有支持的情况，请注意检查你的类型。

下面列出PostgresReader针对Postgres类型转换列表:

性能报告

待测试

约束限制

数据库编码问题

目前仅支持utf8字符集

FAQ