第一次使用sqoop把数据从mysql导入到hadoop报错(坑2)

it2024-04-22  9

ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.   命令如下:

sqoop import \--connect jdbc:mysql://hadoop001:3306/d6_hive \ --连接的mysql库--username root --password 123456 \ --登陆mysql的用户名和密码--delete-target-dir \--删除目标目录的已存在表否则跑mapreduce会报错--table city_info \--mysql里要导入hadoop 的表名--hive-import \--导入 (这里的导入导出是以hadoop为出发点)--hive-table city_info \--导入hive(这里的hive就是hadoop,因为hive是建立在hadoop上的数据仓库)的表名--hive-overwrite \--覆盖原来的数据--fields-terminated-by '\t' \ --字段之间的分隔用tab键--lines-terminated-by '\n' \--行与行之间用回车键--split-by city_id \--根据city_id来当作主键进行分割-m 2--生成两个文件

 解决方法:

往/etc/.bash_profile最后加入 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*然后刷新配置,source /etc/.bash_profile

然后再执行一次一般就可以了。

转载于:https://www.cnblogs.com/xuziyu/p/10551965.html

相关资源:数据结构—成绩单生成器
最新回复(0)