当前位置:首页 > 开发 > 行业应用 > 正文

Elasticsearch模块功能之-索引分片分配(Index shard allocation)

发表于: 2014-10-18   作者:aoyouzi   来源:转载   浏览次数:
摘要: Elasticsearch模块功能之-索引分片分配(Index shard allocation)   1、分片分配            包含或者排除filters可以来控制基于节点的索引分配。filters可以在索引级别和集群级别进行设置。如下使用集群级别举例:        

Elasticsearch模块功能之-索引分片分配(Index shard allocation)

 

1、分片分配

           包含或者排除filters可以来控制基于节点的索引分配。filters可以在索引级别和集群级别进行设置。如下使用集群级别举例:

           设定有4个节点,每个的节点指定一个属性tag(可以随意修改),并赋予特定值,比如节点1设置为node.tag:value1,节点二设置为node.tag:value2等等。创建索引时将index.routing.allocation.include.tag属性设置为value1和value2后,我们将会创建一个只部署在节点1和节点2的索引。命令如下:

 

[html]  view plain copy
 
  1. curl -XPUT localhost:9200/test/_settings -d '{  
  2.     "index.routing.allocation.include.tag" : "value1,value2"  
  3. }'  

 

             如果不想将索引添加到上述两个节点上,可以使用index.routing.allocation.exclude.tag属性。如下:

 

[html]  view plain copy
 
  1. curl -XPUT localhost:9200/test/_settings -d '{  
  2.     "index.routing.allocation.exclude.tag" : "value1,value2"  
  3. }'  

 

             index.routing.allocation.require.*用于指定几个规则,满足这些规则则会被分配到该节点上。

include,exclude和require的值也支持简单的通配符,比如value1*,另外,_ip,_name,_id和_host这些属于特定的属性名称,他们分别匹配节点的IP地址,名称,ID和主机名。以上的索引配置可以使用API进行实时的更新。

 

2、节点分片总数

            index.routing.allocation.total_shards_per_node设置可以控制es节点上每个索引最大能分配的分片个数。该配置可以使用API进行动态更新。 

3、基于磁盘的分片分配

                   (该配置在es1.3.0后才有效)

           Elasticsearch可以根据节点磁盘的使用情况来配置分片分配。该配置默认开启你,可以下面命令进行禁用:

 

[html]  view plain copy
 
  1. curl -XPUT localhost:9200/_cluster/settings -d '{  
  2.     "transient" : {  
  3.         "cluster.routing.allocation.disk.threshold_enabled" : false  
  4.     }  
  5. }'  

           Elasticsearch使用两个配置参数决定分片是否能存放到某个节点上。

cluster.routing.allocation.disk.watermark.low控制磁盘使用的低水位。默认为85%,意味着如果节点磁盘使用超过85%,则ES不允许在分配新的分片。当配置具体的大小如100MB时,表示如果磁盘空间小于100MB不允许分配分片。

cluster.routing.allocation.disk.watermark.high控制磁盘使用的高水位。默认为90%,意味着如果磁盘空间使用高于90%时,ES将尝试分配分片到其他节点。

         上述两个配置可以使用API动态更新,ES每隔30s获取一次磁盘的使用信息,该值可以通过cluster.info.update.interval来设置。

参考:http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index-modules-allocation.html

 

from http://blog.csdn.net/changong28/article/details/38393021

Elasticsearch模块功能之-索引分片分配(Index shard allocation)

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
搜索引擎通过分片(shard)和副本(replica)实现了高性能、高伸缩和高可用。 分片技术为大规模并行
搜索引擎通过分片(shard)和副本(replica)实现了高性能、高伸缩和高可用。 分片技术为大规模并行
搜索引擎通过分片(shard)和副本(replica)实现了高性能、高伸缩和高可用。 分片技术为大规模并行
搜索引擎通过分片(shard)和副本(replica)实现了高性能、高伸缩和高可用。 分片技术为大规模并行
对于提供全文检索的工具来说,索引时一个关键的过程——只有通过索引操作,才能对数据进行分析存储
索引 1.1索引与目录 每一本书的前几页一般都是目录,而最后几页通常会有一个关键字索引。对于数据库
准备工作 1、 什么是shard 副本集实现了网站的安全备份和故障的无缝转移,但是并不能实现数据的大容
 1.下载ElasticSearch   a.下载Java环境JDK:http://www.oracle.com/technetwork/java/javase/do
es如何知道哪个分片应该存储这个文档? <code class="c
先上一张准备测试的MongoDB设计图: 图上已经说明很清楚了。可以参加我其它笔记:http://blog.csdn.
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号