问题：使用presto无法连接到hive metastore

解决：因为在presto中配置的hive.properties出错

方法：

vim etc/catalog/hive.properties
写入下面代码
connector.name=hive-hadoop2
hive.metastore.uri=thrift://vm007:9083

注：hive服务是安装在vm007，然后分发到各节点的，hive的metasotre是存储在vm014服务器的mysql中的

阅读全文

问题：azkaban调用时报错，找不到HiveHook,报错FAILED: RuntimeException Error loading hooks(hive.exec.post.hooks): java.lang.ClassNotFoundException: org.apache.atlas.hive.hook.HiveHook

解决：因为在配置atlas时对hive的配置文件进行了各节点分发

方法：

因为atlas只需要配置一个节点，所以修改的hive/conf目录下的配置文件不需要分发，删除就可以了

问题：azkaban调度任务的时候报错：hive: command not found

解决：azkaban启动时未在azkaban-exec目录下启动

方法：

cd /opt/module/azkaban/azkaban-exec/
bin/start-exec.sh
curl -G 'hadoop102:12321/executor?action=activate' && echo
cd /opt/module/azkaban/azkaban-web
bin/start-web.sh

注意：必须到每个节点进行启动

阅读全文

问题：hive on spark在测试安装时，报错：FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session 62ef334c-f6c4-46fe-b3ea-19f359defbe8

解决：可能是服务器内存不足导致，可以配置hive-site.xml文件，增加hive连接spark时间

方法：

vim hive/conf/hive-site.xml 增加下面配置

<!--Hive和spark连接超时时间-->
<property>
    <name>hive.spark.client.connect.timeout</name>
    <value>100000ms</value>
</property>

拓展：

之前因为把历史服务器和日志服务器放在hadoop02上，与yarn同一台服务器，也出现了这个问题

阅读全文

问题：安装hadoop集群需要配置哪些文件？

解决：这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

方法：

1、文件 slaves

把作为 DataNode 的主机名写入该文件，每行一个，默认localhost可以删除

2、文件 core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>

阅读全文