99热精品国产一区二区在线观看-久久精品一二区-久久久久日本精品一区二区三区,99国产精品永久免费视频,久久激情网站,国产婷婷一区二区三区久久

跳轉到主要內容

Hive數據跨HDFS集群遷移

分類
故障描述

  客戶存算分離,將Hive數據從本地HDFS遷移到EMC A300 HDFS存儲。

故障分析

  無

處理過程

1、前期預遷移hdfs文件:hadoop distcp -pugpt -update -skipcrccheck  -m 24 /user/hive hdfs://A300.corem.local:8020/user/hive

2、停止hive服務,增量遷移hadoop distcp -pugpt -update -skipcrccheck  -m 24 /user/hive hdfs://A300.corem.local:8020/user/hive

3、Mysql導出元數據表:mysqldump -hlocalhost -uhive -p --databases hive > hive_bk.sql

4、替換hive_bk.sql文件中間的路徑關鍵字:sed -i 's/master-1/A300.corem.local/g' hive_bk.sql

5、在Mysql里成導入hive_bk.sql:

mysql -hlocalhost -uhive –p

mysql> source hive_bk.sql

6、啟動hive服務,檢查狀態,通過show database,select等檢查表狀態。

 

建議/總結

  1.HDFS文件部分,需多次同步更新,最終停止業務后再同步一次即可。

        2.元數據表里保存了表的保存路徑。需替換相應數據。確保更新后路徑一致。