问题：运行ods_to_dwd_db_init.sh将数据从ods层处理后到dwd层进行动态分区时出错：FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.

解决：
增加

set hive.exec.max.dynamic.partitions=2000;
set hive.exec.max.dynamic.partitions.pernode=2000;

阅读全文

问题：如何通过sqoop将数据导入到达梦数据库中？

方法：

./sqoop list-tables --driver dm.jdbc.driver.DmDriver  --connect jdbc:dm://192.168.142.235:5247 --username SYSDBA --password SYSDBA

阅读全文

问题：如何将hive元数据初始化到达梦数据库？

方法：

schematool -initSchema -dbType oracle -verbose

阅读全文

问题：表字段为desc，导致sqoop导入数据时出错

解决：使用反引号进行转译

方法：

import_recruit_signup_annex_type(){
  import_data recruit_signup_annex_type 'select
                                             id,
                                             title,
                                             `desc`,
                                             graduate,
                                             in_serv,
                                             high_level,
                                             graduate_sort,
                                             in_serv_sort,
                                             high_level_sort,
                                             is_delete
                                          from oahr_recruit_signup_annex_type'
}

问题：zeppelin集成presto时提示无法识别url

解决：presto-jdbc版本问题

方法：

presto==0.196
zeppelin==0.8.0
需要的presto-jdbc的版本不高于0.180,本人使用的是0.179

阅读全文