如何使用python批量导入数据进Elasticsearch中

本文小编为大家详细介绍“如何使用python批量导入数据进elasticsearch中”，内容详细，步骤清晰，细节处理妥当，希望这篇“如何使用Python批量导入数据进Elasticsearch中”文章能帮助大家解决疑惑，下面跟着小编的思路慢慢深入，一起来学习新知识吧。

先给代码

#coding=utf-8from datetime import datetimefrom elasticsearch import Elasticsearchfrom elasticsearch import helperses = Elasticsearch()actions = []f=open('index.txt')i=1for line in f: line = line.strip().split(' ') action={ "_index":"image", "_type":"imagetable", "_id":i, "_source":{  u"图片名":line[0].decode('utf8'),  u"来源":line[1].decode('utf8'),  u"权威性":line[2].decode('utf8'),  u"大小":line[3].decode('utf8'),  u"质量":line[4].decode('utf8'),  u"类别":line[5].decode('utf8'),  u"型号":line[6].decode('utf8'),  u"国别":line[7].decode('utf8'),  u"采集人":line[8].decode('utf8'),  u"所属部门":line[9].decode('utf8'),  u"关键词":line[10].decode('utf8'),  u"访问权限":line[11].decode('utf8')   } } i+=1 actions.append(action) if(len(actions)==500): helpers.bulk(es, actions) del actions[0:len(actions)]if (len(actions) > 0): helpers.bulk(es, actions)

每句话的含义还是很明显的，这里需要说几点，首先是index.txt是以utf8编码的，所以需要decode('utf8')转换成unicode对象，并且“图片名”前需要加u，否则ES会报错

导入的速度还是很快的，2000多条记录每秒。

读到这里，这篇“如何使用python批量导入数据进Elasticsearch中”文章已经介绍完毕，想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会，如果想了解更多相关内容的文章，欢迎关注编程网Python频道。