iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >elasticsearch索引index数据功能源码示例
  • 320
分享到

elasticsearch索引index数据功能源码示例

2024-04-02 19:04:59 320人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

从本篇开始,对elasticsearch的介绍将进入数据功能部分(index),这一部分包括索引的创建,管理,数据索引及搜索等相关功能。对于这一部分的介绍,首先对各个功能模块的分析,

从本篇开始,对elasticsearch的介绍将进入数据功能部分(index),这一部分包括索引的创建,管理,数据索引及搜索等相关功能。对于这一部分的介绍,首先对各个功能模块的分析,然后详细分析数据索引和搜索的整个流程。

这一部分从代码包结构上可以分为:index, indices及lucene(common)几个部分。index包中的代码主要是各个功能对应于lucene的底层操作,它们的操作对象是index的shard,是elasticsearch对lucene各个功能的扩展和封装。indices部分是对index部分功能的封装,集群对于底层索引的操作多数通过这一部分提供的接口来进行。common包下的lucene部分代码主要是对于索引一些读操作(索引级别)的封装。如读取索引元数据,搜索中用到的一些过滤器的实现等。

在index部分通过对lucene的封装,为es提供了索引操作各个功能的接口。如codec,这一部分是lucene索引写入的部分。在4.x后这一部分被分开成为单独的一层,在这里对其进行了封装。postfORMat是lucene中倒排表的写入格式,封装后通过postingformatservice对外提供。而具体的postform则是由postprovide提供。它的继承关系如下所示:

 外部通过调用postingservice的get方法获取到对应的postingprovider,代码如下所示:

public PostingsFormatProvider get(String name) throws ElasticsearchIllegalArgumentException {
        PostingsFormatProvider provider = providers.get(name);
        if (provider == null) {
            throw new ElasticsearchIllegalArgumentException("failed to find postings_format [" + name + "]");
        }
        return provider;
    }

这里的provides在service初始化时注入,当然es的1.5版本只是使用了默认的DefaultPostingFormatProvider。postformat的获取则是通过postingprovider的get的方法,而对应的postingformat初始化在构造方法总实现:

public DefaultPostingsFormatProvider(@Assisted String name, @Assisted Settings postingsFormatSettings) {
        super(name);
        this.minBlockSize = postingsFormatSettings.getAsInt("min_block_size", BlockTreeTermsWriter.DEFAULT_MIN_BLOCK_SIZE);
        this.maxBlockSize = postingsFormatSettings.getAsInt("max_block_size", BlockTreeTermsWriter.DEFAULT_MAX_BLOCK_SIZE);
        this.postingsFormat = new Lucene41PostingsFormat(minBlockSize, maxBlockSize);
    }

可以看到这里就是初始化了lucene的postingformat。这一部分的实现多数都跟codec的实现类似,后面的分析中会对其中的一些做详细的介绍。对于写索引的方法都在Engine中。这里封装了所有对于索引写操作的方法,后面会详细分析。

关于common部分的lucene的功能基本都是对lucene的读操作,如对于segment信息读取的方法如下所示:

public static SegmentInfos readSegmentInfos(Directory directory) throws IOException {
        final SegmentInfos sis = new SegmentInfos();
        sis.read(directory);
        return sis;
    }

直接调用了lucene的segmentInfos类读取segment信息。这一部分在后面会单独分析,这里只是简单介绍一下。

index部分是shard基本的接口,这里的操作都是针对于单个机器单个shard(lucene index)的操作,不涉及集群。而indice部分则通过封装index的相关功能为集群对于index的操作提供了相关接口。如这里的store部分,只是提供了一个实现类IndiceStore,它的实现如下所示。

它实现了多个handle类用于处理来自集群的相关请求。跟之前结束的handler一样,这些内部类会接收处理属于本节点的请求,转发属于本节点请求到对应节点。

以上就是elasticsearch数据(index)部分的代码结构。这里只是简单的概述,后面会对对应的部分进行详细分析,更多关于elasticsearch索引index数据功能的资料请关注编程网其它相关文章!

--结束END--

本文标题: elasticsearch索引index数据功能源码示例

本文链接: https://www.lsjlt.com/news/146870.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • elasticsearch索引index数据功能源码示例
    从本篇开始,对elasticsearch的介绍将进入数据功能部分(index),这一部分包括索引的创建,管理,数据索引及搜索等相关功能。对于这一部分的介绍,首先对各个功能模块的分析,...
    99+
    2024-04-02
  • elasticsearch索引index之Translog数据功能分析
    目录translog的结构及写入方式translogFile的继承关系TranslogFile快照的方法总结translog的结构及写入方式 跟大多数分布式系统一样,es也通过临时写...
    99+
    2024-04-02
  • elasticsearch索引index之Mapping实现关系结构示例
    目录Mapping的实现关系结构Mapper的三类parse方法部分Field总结Mapping的实现关系结构 Lucene索引的一个特点就filed,索引以field组合。这一特点...
    99+
    2024-04-02
  • elasticsearch数据信息索引操作action support示例分析
    目录抽象类分析doExecute方法performOperation代码master的相关操作总结抽象类分析 Action这一部分主要是数据(索引)的操作和部分集群信息操作。&nbs...
    99+
    2024-04-02
  • elasticsearch分布式及数据的功能源码分析
    从功能上说,可以分为两部分,分布式功能和数据功能。分布式功能主要是节点集群及集群附属功能如restful借口、集群性能检测功能等,数据功能主要是索引和搜索。代码上这些功能并不是完全独...
    99+
    2024-04-02
  • SpringBoot 整合 Elasticsearch 实现海量级数据搜索功能
    目录一、简介二、代码实践2.1、导入依赖2.2、配置环境变量2.3、创建 elasticsearch 的 config 类2.4、索引管理2.5、文档管理三、小结今天给大家讲讲&nb...
    99+
    2024-04-02
  • mysql数据库索引应用的示例分析
    mysql数据库索引应用的示例分析,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。一、索引的概念    ...
    99+
    2024-04-02
  • HTML5的IndexedDB索引数据库的示例分析
    本篇文章给大家分享的是有关HTML5的IndexedDB索引数据库的示例分析,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。IndexedDB是...
    99+
    2024-04-02
  • Vue实现简单搜索功能的示例代码
    目录1、概述2、功能逻辑2.1功能流程2.2 流程图3、功能实现3.1 vue组件化3.2 代码3.3 动态效果1、概述 在vue项目中,搜索功能是我们经常需要使用的一个场景,最常用...
    99+
    2023-03-19
    Vue实现搜索功能 Vue搜索功能 Vue搜索
  • MySQL数据库索引及优化的示例详解
    目录一、mysql 索引简介二、索引优化实战三、总结在日常的数据库使用过程中,我们经常需要对数据进行查询、插入、删除等操作。为了提高这些操作的效率,数据库的性能优化显得尤为重要。本文将带你深入了解 MySQL 数据库的索...
    99+
    2023-05-19
    MySQL索引优化方式 MySQL索引 MySQL优化
  • MongoDB数据库中索引和explain的示例分析
    这篇文章主要介绍了MongoDB数据库中索引和explain的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。mongodb 索引使用...
    99+
    2024-04-02
  • react+axios实现github搜索用户功能(示例代码)
    加载 请求成功 请求失败 在文件路径点击cmd 回车 首先把服务器打开 npm start app.js import React, { Component } ...
    99+
    2024-04-02
  • python Requsets下载开源网站的代码(带索引 数据)
    环境搭建 python 3.x requests 包 re 包 gooey包 (用于可视化) 代码 import requests import re import os f...
    99+
    2024-04-02
  • springboot配置druid多数据源的示例代码
    目录1、配置多数据源所需要的jar2、配置多数据源所需要的工具类3、DataSourceType 枚举类4、DruidProperties druid 配置属性5、DruidConf...
    99+
    2024-04-02
  • SpringBoot整合JDBC、Druid数据源的示例代码
    目录1.SpringBoot整合JDBCTemplate1.1.导入jdbc相关依赖包1.2.yaml配置数据源2.SpringBoot整合DruidDataSource2.1.Dr...
    99+
    2024-04-02
  • oracle数据与文本导入导出源码示例
    oracle提供了sqlldr的工具,有时需要讲数据导入到文本,oracle的spool可以轻松实现。 方便的实现oracle导出数据到txt、txt导入数据到oracle。 一、导出数据到txt 用...
    99+
    2024-04-02
  • 数据库中模糊查询索引问题的示例分析
    这篇文章将为大家详细讲解有关数据库中模糊查询索引问题的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。 1、问题描述:  &...
    99+
    2024-04-02
  • php数据库的包含查询功能源码分析
    这篇文章主要介绍了php数据库的包含查询功能源码分析的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇php数据库的包含查询功能源码分析文章都会有所收获,下面我们一起来看看吧。在开发web应用程序的过程中,数据库查...
    99+
    2023-07-05
  • Python数据分析模块Numpy切片、索引和广播源码分析
    这篇文章主要讲解了“Python数据分析模块Numpy切片、索引和广播源码分析”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python数据分析模块Numpy切片、索引和广播源码分析”吧!N...
    99+
    2023-07-06
  • Vue源码之数据代理访问的示例分析
    小编给大家分享一下Vue源码之数据代理访问的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!概念解析:1) 数据代理: 通...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作