当前位置:首页 > 开发 > 行业应用 > 正文

Elasticsearch模块功能之-索引存储(Store)

发表于: 2014-10-18   作者:aoyouzi   来源:转载   浏览次数:
摘要: Elasticsearch模块功能之-索引存储(Store)   该模块可以控制索引数据的存储方式,索引可以存储在内存和磁盘上。使用内存方式可以得到更好的性能,但受限于实际的可用的物理内存大小。 store level throttling Elasticsearch中的segments merge采用异步的方式,但系统低IO的情况下还是会影响索引和查询操作。想要解决这种问

Elasticsearch模块功能之-索引存储(Store)

 

该模块可以控制索引数据的存储方式,索引可以存储在内存和磁盘上。使用内存方式可以得到更好的性能,但受限于实际的可用的物理内存大小。

store level throttling

Elasticsearch中的segments merge采用异步的方式,但系统低IO的情况下还是会影响索引和查询操作。想要解决这种问题,Elasticsearch提供两种方式(索引级别和节点 级别)的配置。
节点级别配置
indices.store.throttle.type:merge
indices.store.throttle.max_bytes_per_sec:5mb //默认20mb
如上设置之后,该节点上的segments merge不会超过5mb/s
索引级别设置:
index.store.throttle.type:node
index.store.throttle.max_bytes_per_sec:10mb
如上设置是基于 索引的,可以跨多个节点。

文件系统的存储类型

索引的存储类型有几种,可以使用index.store.type: niofs进行配置,在创建索引的时候也可以动态指定。

               simple fs对应Lucene中的SimpleFsDirectory 这种实现的并发性能较差,多线程会出现瓶颈。当索引需要持久化最好使用niofs

               nio fs对应Lucene中的NIOFSDirectory。这种方式可以多个线程并发地读同一个文件。

               mmapfs:对应Lucene中MMapDirectory。这种方式将映射的文件加载到虚拟地址空间。在使用该类型之前,请确定是否有足够的虚拟内存。在linux环境下可以使用一下命令进行调整:

 

[java]  view plain copy
 
  1. sysctl -w vm.max_map_count=262144  

希望永久生效可以使用在/etc/sysctl.conf中配置vm.max_map_count

 

      hybrid mmap / nio fs默认类型,这种方式使用以上两种方式,为了减少对系统的影响,目前Lucene只在term directory和doc values文件映射到内存中。其他的情况都是用Lucene的NIOFSDirectory。

              memory:对应Lucene中的RamIndexStore。将索引存放在Jvm堆空间之外内存中。

 

【参考】http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index-modules-store.html

 

 

from http://blog.csdn.net/changong28/article/details/38406261

Elasticsearch模块功能之-索引存储(Store)

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
对于提供全文检索的工具来说,索引时一个关键的过程——只有通过索引操作,才能对数据进行分析存储
  在开发过程中,我们需要将某些数据保存下来,比如一些设置信息以及一些用户主动去保存的数据。
 1.下载ElasticSearch   a.下载Java环境JDK:http://www.oracle.com/technetwork/java/javase/do
es如何知道哪个分片应该存储这个文档? <code class="c
Elasticsearch 的坑爹事 本文记录一次Elasticsearch mapping field修改过程 团队使用Elasticsearch
前言 ElasticSearch是一个基于Lucene构建的开源,分布式,RESTful搜索引擎。设计用于云计算中,能够
oyhk 学习笔记... 1.首先下载elasticsearch 0.20.2 版...我暂时是用这个版本http://www.elasticsear
1.首先下载elasticsearch 0.20.2 版...我暂时是用这个版本 http://www.elasticsearch.org/download/
1.首先下载elasticsearch 0.20.2 版...我暂时是用这个版本 http://www.elasticsearch.org/download/
据目前所知:Store至少分为两类,一个是SimpleStore,另一个是JsonStore。 1,用在gridPanel中常使用
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号