微站开发宁波高新区网站制作

张小明 2026/1/11 5:28:55
微站开发,宁波高新区网站制作,网站建设策划书范文案例,学历提升培训机构文章目录前言一、搭建ES集群1.1 创建ES集群1.2 集群状态监控1.3创建索引库二、集群脑裂问题2.1.集群职责划分2.2.脑裂问题三、集群分布式存储3.1.分片存储测试3.2.分片存储原理四、集群分布式查询五、集群故障转移前言 ES集群‌ 一、搭建ES集群 1.1 创建ES集群 部署es集群可…文章目录前言一、搭建ES集群1.1 创建ES集群1.2 集群状态监控1.3创建索引库二、集群脑裂问题2.1.集群职责划分2.2.脑裂问题三、集群分布式存储3.1.分片存储测试3.2.分片存储原理四、集群分布式查询五、集群故障转移前言ES集群‌一、搭建ES集群1.1 创建ES集群部署es集群可以直接使用docker-compose来完成不过要求你的Linux虚拟机至少有4G的内存空间首先编写一个docker-compose文件内容如下version:2.2services:es01:image:docker.elastic.co/Elasticsearch/Elasticsearch:7.12.1container_name:es01environment:-node.namees01-cluster.namees-docker-cluster-discovery.seed_hostses02,es03-cluster.initial_master_nodeses01,es02,es03-bootstrap.memory_locktrue-ES_JAVA_OPTS-Xms512m -Xmx512mulimits:memlock:soft:-1hard:-1volumes:-data01:/usr/share/Elasticsearch/dataports:-9200:9200networks:-elastices02:image:docker.elastic.co/Elasticsearch/Elasticsearch:7.12.1container_name:es02environment:-node.namees02-cluster.namees-docker-cluster-discovery.seed_hostses01,es03-cluster.initial_master_nodeses01,es02,es03-bootstrap.memory_locktrue-ES_JAVA_OPTS-Xms512m -Xmx512mulimits:memlock:soft:-1hard:-1volumes:-data02:/usr/share/Elasticsearch/datanetworks:-elastices03:image:docker.elastic.co/Elasticsearch/Elasticsearch:7.12.1container_name:es03environment:-node.namees03-cluster.namees-docker-cluster-discovery.seed_hostses01,es02-cluster.initial_master_nodeses01,es02,es03-bootstrap.memory_locktrue-ES_JAVA_OPTS-Xms512m -Xmx512mulimits:memlock:soft:-1hard:-1volumes:-data03:/usr/share/Elasticsearch/datanetworks:-elasticvolumes:data01:driver:localdata02:driver:localdata03:driver:localnetworks:elastic:driver:bridgees运行需要修改一些linux系统权限修改/etc/sysctl.conf文件vi /etc/sysctl.conf添加下面的内容vm.max_map_count262144然后执行命令让配置生效sysctl -p通过docker-compose启动集群docker-compose up -d1.2 集群状态监控kibana可以监控es集群不过新版本需要依赖es的x-pack 功能配置比较复杂。这里推荐使用cerebro来监控es集群状态官方网址https://github.com/lmenezes/cerebro课前资料已经提供了安装包解压即可使用非常方便。解压好的目录如下进入对应的bin目录双击其中的cerebro.bat文件即可启动服务。访问http://localhost:9000 即可进入管理界面输入你的Elasticsearch的任意节点的地址和端口点击connect即可绿色的条代表集群处于绿色健康状态。1.3创建索引库创建索引库的时候需要设置分片数量其他还有多少个ES服务在该集群以及副本数量本服务的数据拷贝几份方法一利用kibana的DevTools创建索引库如果没有启动ES的可视化界面Kibana那就用方法二在DevTools中输入指令PUT/itcast{settings:{number_of_shards:3,// 分片数量number_of_replicas:1// 副本数量},mappings:{properties:{// mapping映射定义 ...}}}方法二利用cerebro创建索引库利用cerebro还可以创建索引库填写索引库信息点击右下角的create按钮查看分片效果回到首页即可查看索引库分片效果二、集群脑裂问题master eligible节点的作用是什么参与集群选主主节点可以管理集群状态、管理分片信息、处理创建和删除索引库的请求data节点的作用是什么数据的CRUDcoordinator节点的作用是什么路由请求到其它节点合并查询到的结果返回给用户2.1.集群职责划分通过改变配置文件中的 true—— false 来改变职责。如data数据职责节点就只保留data为true其他为false注意每个节点都是路由这样可以保证不管哪个节点接收到请求可以分给其他人已经从其他人那接收信息。Elasticsearch中集群节点有不同的职责划分默认情况下集群中的任何一个节点都同时具备上述四种角色。但是真实的集群一定要将集群职责分离因为不同职责对CPU要求不同master节点对CPU要求高但是内存要求低data节点对CPU和内存要求都高coordinating节点对网络带宽、CPU要求高职责分离可以让我们根据不同节点的需求分配不同的硬件去部署。而且避免业务之间的互相干扰。一个典型的es集群职责划分如图2.2.脑裂问题ES 7.0后默认配置了**( eligible节点数量 1 / 2**来解决脑裂问题脑裂是因为集群中的节点失联导致的。例如一个集群中主节点与其它节点失联此时node2和node3认为node1宕机就会重新选主当node3当选后集群继续对外提供服务node2和node3自成集群node1自成集群两个集群数据不同步出现数据差异。当网络恢复后因为集群中有两个master节点集群状态的不一致出现脑裂的情况解决脑裂的方案是要求选票超过( eligible节点数量 1 / 2才能当选为主因此eligible节点数量最好是奇数。对应配置项是discovery.zen.minimum_master_nodes在es7.0以后已经成为默认配置因此一般不会发生脑裂问题例如3个节点形成的集群选票必须超过 3 1 / 2 也就是2票。node3得到node2和node3的选票当选为主。node1只有自己1票没有当选。集群中依然只有1个主节点没有出现脑裂。三、集群分布式存储当新增文档时应该保存到不同分片保证数据均衡那么coordinating node如何确定数据该存储到哪个分片呢3.1.分片存储测试插入三条数据测试可以看到三条数据分别在不同分片结果3.2.分片存储原理Elasticsearch会通过hash算法来计算文档应该存储到哪个分片说明_routing默认是文档的id算法与分片数量有关因此索引库一旦创建分片数量不能修改新增文档的流程如下解读1新增一个id1的文档2对id做hash运算假如得到的是2则应该存储到shard-23shard-2的主分片在node3节点将数据路由到node34保存文档5同步给shard-2的副本replica-2在node2节点6返回结果给coordinating-node节点四、集群分布式查询原理Elasticsearch的查询分成两个阶段scatter phase分散阶段coordinating node会把请求分发到每一个分片gather phase聚集阶段coordinating node汇总data node的搜索结果并处理为最终结果集返回给用户五、集群故障转移ES本身已经配置好了有集群故障转移不需要我们再去配置集群的master节点会监控集群中的节点状态如果发现有节点宕机会立即将宕机节点的分片数据迁移到其它节点确保数据安全这个叫做故障转移。1例如一个集群结构如图现在node1是主节点其它两个节点是从节点。2突然node1发生了故障宕机后的第一件事需要重新选主例如选中了node2node2成为主节点后会检测集群监控状态发现shard-1、shard-0没有副本节点。因此需要将node1上的数据迁移到node2、node3本文的引用仅限自我学习如有侵权请联系作者删除。参考知识ElasticSearch (ES从入门到精通一篇就够了)ELK介绍
版权声明:本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!

dw建设网站页面模板 公众号

第一章:企业Agent的Docker安全扫描概述 在现代企业级容器化部署中,Docker已成为应用交付的核心技术之一。随着微服务架构的普及,企业Agent作为运行在容器内部的关键组件,承担着监控、日志收集、配置同步等重要职责。然而&#xff…

张小明 2025/12/22 4:57:43 网站建设

北京网站开发服务商网站目录怎么做301跳转

第一章:VSCode Azure QDK断点调试的核心价值在量子计算开发过程中,程序的可预测性和执行路径的可视化至关重要。传统的日志输出方式难以应对量子态叠加、纠缠等复杂行为的调试需求。VSCode 集成 Azure Quantum Development Kit(QDK&#xff0…

张小明 2025/12/22 4:55:40 网站建设

外贸网站违反谷歌规则上海网站建站建设

Rack服务器性能实战:三大方案深度解析与优化指南 【免费下载链接】rack A modular Ruby web server interface. 项目地址: https://gitcode.com/gh_mirrors/ra/rack 在当今Ruby Web开发领域,如何选择合适的Web服务器已成为每个开发者必须面对的关…

张小明 2026/1/1 9:59:43 网站建设

长安手机网站建设同学录网站开发实现基本要求

一、产品概述:雷科电力-REKE直流高压发生器是根据新的中国电力行业标准DL/T848.1-2004《直流高压发生器通用技术条件》设计制造的新一代便携式直流高压试验器。主要适用于电力部门、工矿、冶金、钢铁等企业动力部门对氧化锌避雷器等高压电气设备进行直流耐压试验。雷…

张小明 2026/1/4 22:49:20 网站建设

好的营销网站设计公司品牌建设报告

导语 【免费下载链接】Qwen3-8B-Base Qwen3-8B-Base具有以下特点: 类型:因果语言模型 训练阶段:预训练 参数数量:8.2B 参数数量(非嵌入):6.95B 层数:36 注意力头数量(GQA…

张小明 2026/1/9 17:01:05 网站建设

网站正能量晚上下载直接进入网页微信版客户端

在学术研究和专业文档处理中,PDF翻译一直是个技术难题。传统的在线翻译工具无法完整保留数学公式、专业图表和复杂排版,而商业翻译服务又面临数据安全和成本压力。PDFMathTranslate作为一款专业的PDF文档翻译工具,通过本地大模型技术完美解决…

张小明 2026/1/4 19:01:10 网站建设