sqoop导入postgresql中的数据到hdfs上

一、 踩坑

1.1 shell执行

采坑一:报错缺少驱动包
在这里插入图片描述
解决
在这里插入图片描述
把这个配置到环境变量中,并分发配置至集群中的每台机器
在这里插入图片描述
在这里插入图片描述

1.2 workflow

问题:缺少包
在这里插入图片描述
解决
上传对应包到hdfs的oozie目录中
在这里插入图片描述
在这里插入图片描述

二、导入语句

与导入mysql基本类似
举例:

sqoop import --connect jdbc:postgresql://pgm-bp189osqbs69n2c160270.pg.rds.aliyuncs.com:3433/commission_dev --username wljs_bigdata_rd_dev --password weoIhYv862jHmNUR --target-dir /ods/ods_mall_commission/ods_dis_sale_seller --table dis_sale_seller --fields-terminated-by '\001' --m 1 --input-null-string '\\N' --input-null-non-string '\\N'

在这里插入图片描述

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页