使用hive向elasticsearch中写数据
文章目录
在某些场景下,我们需要直接将hive中的数据直接推到elasticsearch。下面我来介绍如何实现。首先你要确定自己的elasticsearch的版本,版主的是elasticsearch-2.4.1 所以要用2.4.1以上的jar包:elasticsearch-hadoop-2.4.3.jar,这个jar包可在maven库中查到http://mvnrepository.com/。
准备工作做好我们就开始实现了。第一步,创建你想要的索引curl -XPOST "http://192.168.4.217:9200/test_tag"
第二步,创建hive外部表:
hive -e"
add jar hdfs:/opt/data/jar/elasticsearch-hadoop-2.4.3.jar;
add jar hdfs:/opt/data/jar/org.apache.commons.httpclient_3.1.0.v201012070820.jar;
--org.apache.commons.httpclient_3.1.0.v201012070820.jar这个jar包一般是不用加的,除非在报httpclient相关错误的时候才加
use ods;
create external table if not exists app.test_tag(
complaint_id string,
tag_name string,
classification string,
sub_classification string
)
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'
TBLPROPERTIES('es.nodes'='192.168.4.217','es.resource' = 'test_tag/defect_recommend_tag');
--es.resource斜线前面为索引,斜线后面为mapping名称。mapping可以不用事先建好,当数据插入时会自动根据数据类型创建mapping。
insert overwrite table app.test_tag
select complaint_id,tag_name,classification,sub_classification from app.src_test_tag;"
程序执行完毕,就可以在es里看到数据了。
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论