微站开发宁波高新区网站制作

微站开发,宁波高新区网站制作,网站建设策划书范文案例,学历提升培训机构文章目录前言一、搭建ES集群1.1 创建ES集群1.2 集群状态监控1.3创建索引库二、集群脑裂问题2.1.集群职责划分2.2.脑裂问题三、集群分布式存储3.1.分片存储测试3.2.分片存储原理四、集群分布式查询五、集群故障转移前言 ES集群‌ 一、搭建ES集群 1.1 创建ES集群 部署es集群可…文章目录前言一、搭建ES集群1.1 创建ES集群1.2 集群状态监控1.3创建索引库二、集群脑裂问题2.1.集群职责划分2.2.脑裂问题三、集群分布式存储3.1.分片存储测试3.2.分片存储原理四、集群分布式查询五、集群故障转移前言ES集群‌一、搭建ES集群1.1 创建ES集群部署es集群可以直接使用docker-compose来完成不过要求你的Linux虚拟机至少有4G的内存空间首先编写一个docker-compose文件内容如下version:2.2services:es01:image:docker.elastic.co/Elasticsearch/Elasticsearch:7.12.1container_name:es01environment:-node.namees01-cluster.namees-docker-cluster-discovery.seed_hostses02,es03-cluster.initial_master_nodeses01,es02,es03-bootstrap.memory_locktrue-ES_JAVA_OPTS-Xms512m -Xmx512mulimits:memlock:soft:-1hard:-1volumes:-data01:/usr/share/Elasticsearch/dataports:-9200:9200networks:-elastices02:image:docker.elastic.co/Elasticsearch/Elasticsearch:7.12.1container_name:es02environment:-node.namees02-cluster.namees-docker-cluster-discovery.seed_hostses01,es03-cluster.initial_master_nodeses01,es02,es03-bootstrap.memory_locktrue-ES_JAVA_OPTS-Xms512m -Xmx512mulimits:memlock:soft:-1hard:-1volumes:-data02:/usr/share/Elasticsearch/datanetworks:-elastices03:image:docker.elastic.co/Elasticsearch/Elasticsearch:7.12.1container_name:es03environment:-node.namees03-cluster.namees-docker-cluster-discovery.seed_hostses01,es02-cluster.initial_master_nodeses01,es02,es03-bootstrap.memory_locktrue-ES_JAVA_OPTS-Xms512m -Xmx512mulimits:memlock:soft:-1hard:-1volumes:-data03:/usr/share/Elasticsearch/datanetworks:-elasticvolumes:data01:driver:localdata02:driver:localdata03:driver:localnetworks:elastic:driver:bridgees运行需要修改一些linux系统权限修改/etc/sysctl.conf文件vi /etc/sysctl.conf添加下面的内容vm.max_map_count262144然后执行命令让配置生效sysctl -p通过docker-compose启动集群docker-compose up -d1.2 集群状态监控kibana可以监控es集群不过新版本需要依赖es的x-pack 功能配置比较复杂。这里推荐使用cerebro来监控es集群状态官方网址https://github.com/lmenezes/cerebro课前资料已经提供了安装包解压即可使用非常方便。解压好的目录如下进入对应的bin目录双击其中的cerebro.bat文件即可启动服务。访问http://localhost:9000 即可进入管理界面输入你的Elasticsearch的任意节点的地址和端口点击connect即可绿色的条代表集群处于绿色健康状态。1.3创建索引库创建索引库的时候需要设置分片数量其他还有多少个ES服务在该集群以及副本数量本服务的数据拷贝几份方法一利用kibana的DevTools创建索引库如果没有启动ES的可视化界面Kibana那就用方法二在DevTools中输入指令PUT/itcast{settings:{number_of_shards:3,// 分片数量number_of_replicas:1// 副本数量},mappings:{properties:{// mapping映射定义 ...}}}方法二利用cerebro创建索引库利用cerebro还可以创建索引库填写索引库信息点击右下角的create按钮查看分片效果回到首页即可查看索引库分片效果二、集群脑裂问题master eligible节点的作用是什么参与集群选主主节点可以管理集群状态、管理分片信息、处理创建和删除索引库的请求data节点的作用是什么数据的CRUDcoordinator节点的作用是什么路由请求到其它节点合并查询到的结果返回给用户2.1.集群职责划分通过改变配置文件中的 true—— false 来改变职责。如data数据职责节点就只保留data为true其他为false注意每个节点都是路由这样可以保证不管哪个节点接收到请求可以分给其他人已经从其他人那接收信息。Elasticsearch中集群节点有不同的职责划分默认情况下集群中的任何一个节点都同时具备上述四种角色。但是真实的集群一定要将集群职责分离因为不同职责对CPU要求不同master节点对CPU要求高但是内存要求低data节点对CPU和内存要求都高coordinating节点对网络带宽、CPU要求高职责分离可以让我们根据不同节点的需求分配不同的硬件去部署。而且避免业务之间的互相干扰。一个典型的es集群职责划分如图2.2.脑裂问题ES 7.0后默认配置了**( eligible节点数量 1 / 2**来解决脑裂问题脑裂是因为集群中的节点失联导致的。例如一个集群中主节点与其它节点失联此时node2和node3认为node1宕机就会重新选主当node3当选后集群继续对外提供服务node2和node3自成集群node1自成集群两个集群数据不同步出现数据差异。当网络恢复后因为集群中有两个master节点集群状态的不一致出现脑裂的情况解决脑裂的方案是要求选票超过( eligible节点数量 1 / 2才能当选为主因此eligible节点数量最好是奇数。对应配置项是discovery.zen.minimum_master_nodes在es7.0以后已经成为默认配置因此一般不会发生脑裂问题例如3个节点形成的集群选票必须超过 3 1 / 2 也就是2票。node3得到node2和node3的选票当选为主。node1只有自己1票没有当选。集群中依然只有1个主节点没有出现脑裂。三、集群分布式存储当新增文档时应该保存到不同分片保证数据均衡那么coordinating node如何确定数据该存储到哪个分片呢3.1.分片存储测试插入三条数据测试可以看到三条数据分别在不同分片结果3.2.分片存储原理Elasticsearch会通过hash算法来计算文档应该存储到哪个分片说明_routing默认是文档的id算法与分片数量有关因此索引库一旦创建分片数量不能修改新增文档的流程如下解读1新增一个id1的文档2对id做hash运算假如得到的是2则应该存储到shard-23shard-2的主分片在node3节点将数据路由到node34保存文档5同步给shard-2的副本replica-2在node2节点6返回结果给coordinating-node节点四、集群分布式查询原理Elasticsearch的查询分成两个阶段scatter phase分散阶段coordinating node会把请求分发到每一个分片gather phase聚集阶段coordinating node汇总data node的搜索结果并处理为最终结果集返回给用户五、集群故障转移ES本身已经配置好了有集群故障转移不需要我们再去配置集群的master节点会监控集群中的节点状态如果发现有节点宕机会立即将宕机节点的分片数据迁移到其它节点确保数据安全这个叫做故障转移。1例如一个集群结构如图现在node1是主节点其它两个节点是从节点。2突然node1发生了故障宕机后的第一件事需要重新选主例如选中了node2node2成为主节点后会检测集群监控状态发现shard-1、shard-0没有副本节点。因此需要将node1上的数据迁移到node2、node3本文的引用仅限自我学习如有侵权请联系作者删除。参考知识ElasticSearch (ES从入门到精通一篇就够了)ELK介绍