MongoDB高效读写海量数据的方法

2024-04-02 19:04:59 286人浏览安东尼

摘要

mongoDB 简介高性能，易部署，易使用常见应用场景分布式的日志收集： elk 单节点最多 32g , monGodb 越多越好传感器（电子产品） --- 数据库

mongoDB 简介

高性能，易部署，易使用

常见应用场景

分布式的日志收集： elk 单节点最多 32g , monGodb 越多越好
传感器（电子产品） --- 数据库 --- MongoDB
地理地图
网络爬虫

大数据时代的3V

海量 Volume
多样 Variety
实时 Velocity

大数据库时代的3高

高并发
高可扩
高性能

MongoDB 集群

1. 一主一从

Docker-compose.yml

version: '2'
services: 
  master: 
    image: mongo:3.4
    volumes:
      - /data/mongodbml/master:/data/db
    command: mongod --dbpath /data/db --master 
  slaver: image:mongo:3.4
    volumes:
      - /data/mongodbml/slaver:/data/db 
    command: mongod --dbpath /data/db --slave --source master:27017
    links:
      - master

注意： 默认从库是不能读取，需要设置 SlaveOk 的状态：

docker-compose up -d

docker ps

docker exec -it masterid /bin/bash

mongo
> show databases;
> use test;
> db.userinfo.insert({"name":"master"});
> db.userinfo.find({});
exit

docker exec -it slaveid /bin/bash

mongo
> show databases;
> db.getMongo().setSlaveOk();
> use test;
> db.userinfo.find({});


docker-compose rm

缺点： 当主库挂了，需要手动切换到从库

2. 一主二从

docker-compose.yml

version: '2'
services: 
  rs1: 
    image: mongo:3.4
    volumes:
      - /data/mongodbtest/replset/rs1:/data/db
    command: mongod --dbpath /data/db --replset myset 
  rs2: image:mongo:3.4
    volumes:
      - /data/mongodbtest/replset/rs2:/data/db
    command: mongod --dbpath /data/db --replset myset 
  rs3: image:mongo:3.4
    volumes:
      - /data/mongodbtest/replset/rs3:/data/db
    command: mongod --dbpath /data/db --replset myset

设置： 安排 rs1 进主节点，rs2、rs3 进从节点。

docker-compose up -d

docker ps 

docker exec -it rs1id /bin/bash

mongo

> rs.initiate()

myset:SECONDARY> rs.add('rs2:27017'); 
myset:PRIMARY> rs.add('rs3:27017'); 
myset:PRIMARY> rs.conf()

myset:PRIMARY> show databases;
myset:PRIMARY> use test;
myset:PRIMARY> db.userinfo.insert({"name":"rs1"});
myset:PRIMARY> db.userinfo.find({});
exit

docker exec -it rs2id /bin/bash

mongo

myset:SECONDARY> rs.status();
myset:SECONDARY> rs.slaveOk();
myset:SECONDARY> show databases;
myset:SECONDARY> use test;
myset:SECONDARY> db.userinfo.find({});
exit

docker exec -it rs3id /bin/bash

mongo

myset:SECONDARY> rs.slaveOk();
myset:SECONDARY> show databases;
myset:SECONDARY> use test;
myset:SECONDARY> db.userinfo.find({});

测试：强行停止主库 rs1，检查从库是否能分配并切换到主库，在继续强行停止分配后的主库 rs2

docker stop rs1id

docker exec -it rs2id /bin/bash

docker stop rs2id

docker exec -it rs3id /bin/bash

docker-compose rm

结论：

当主节点 rs1 挂了，会有从节点过来替代原有主库的位置，但是当仅剩最后一个从库时，无法切换为主库。

当主节点 rs1 重新启动恢复后，只会立马变为从库，不再是主库。除非等到现在的主库挂了，才有可能重新回到主库的位置。

问题：当主节点 rs1 挂了，会有从节点过来替代原有主库的位置，但是具体是哪一个从库没有办法控制。所以我们需要添加一个冲裁 来解决这个问题。

3. 一主一从一仲裁

docker-compose.yml

version: '2'
services: 
  master: 
    image: mongo:3.4
    volumes:
      - /data/mongodbnode/replset/rs1:/data/db
    command: mongod --dbpath /data/db --replset newset --oplogSize 128
  slave: image:mongo:3.4
    volumes:
      - /data/mongodbnode/replset/rs2:/data/db
    command: mongod --dbpath /data/db --replset newset --oplogSize 128
  arbiter: image:mongo:3.4
    command: mongod --dbpath /data/db --replset newset  --smallfiles --oplogSize 128

配置：

docker-compose up -d

docker ps 

docker exec -it masterid /bin/bash

mongo

> rs.initiate()

newset:SECONDARY> rs.add('slave:27017'); 
newset:PRIMARY> rs.add('arbiter:27017', true);
newset:PRIMARY> re.conf()

newset:PRIMARY> show databases;
newset:PRIMARY> use test;
newset:PRIMARY> db.userinfo.insert({"name":"master"});
newset:PRIMARY> db.userinfo.find({});
exit

docker exec -it slaveid /bin/bash
newset:SECONDARY> res.slaveOk();
newset:SECONDARY> use test;
newset:SECONDARY> db.userinfo.find({});
exit


docker exec -it arbiterid /bin/bash
newset:ARBITER> res.slaveOk();
newset:ARBITER> show databases;
newset:ARBITER> db.userinfo.find({});

注意： 当存在 arbiter节点（只是仲裁，并不存储数据）

到此这篇关于MongoDB高效读写海量数据的文章就介绍到这了。希望对大家的学习有所帮助，也希望大家多多支持编程网。

点击免费下载>>软考高级考试备考技巧/历年真题/备考精华资料

--结束END--

本文标题: MongoDB高效读写海量数据的方法

本文链接: https://www.lsjlt.com/news/139527.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑，方便收藏和打印～

下载Word文档

去做题

猜你喜欢

MongoDB高效读写海量数据的方法

MongoDB 简介高性能，易部署，易使用常见应用场景分布式的日志收集： elk 单节点最多 32g , mongodb 越多越好传感器（电子产品） --- 数据库 ...

99+

2022-11-13
MongoDB如何高效读写海量数据

本文小编为大家详细介绍“MongoDB如何高效读写海量数据”，内容详细，步骤清晰，细节处理妥当，希望这篇“MongoDB如何高效读写海量数据”文章能帮助大家解决疑惑，下面跟着小编的思路慢慢深入，一起来学习新知识吧。MongoDB ...

99+

2023-06-29
mongodb高效删除数据的方法是什么

MongoDB高效删除数据的方法有以下几种：1. 使用索引：在删除数据之前，可以先创建合适的索引。索引可以加快查找和删除操作的速度。...

99+

2023-09-04

mongodb
大数据量与海量数据的处理方法有哪些

这篇文章主要讲解了“大数据量与海量数据的处理方法有哪些”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“大数据量与海量数据的处理方法有哪些”吧！1.Bloom ...

99+

2022-10-18
Android实现读写JSON数据的方法

本文实例讲述了Android实现读写JSON数据的方法。分享给大家供大家参考。具体如下： 1. 解析JSON： package de.vogella.android.twit...

99+

2022-06-06

json数据 JSON 方法 Android
玩转Redis-如何高效访问Redis中的海量数据

1、前言 Redis以高性能著称，但性能再好，在面对海量数据时，若不正确的使用，也终将会有性能瓶颈，甚至造成服务宕机。在实际项目中你是否会有以下疑问？如何访问Redis中的海量数据，却不影响其他请求访问Redis？ Redis中有...

99+

2018-01-16

玩转Redis-如何高效访问Redis中的海量数据
阿里云服务器计算数据高效处理海量数据的利器

阿里云服务器是目前市场上最受欢迎的云计算服务之一，其强大的计算能力使其能够处理大规模数据。本文将详细说明阿里云服务器如何计算数据。在当今大数据时代，数据已经成为企业发展的关键。对于企业来说，如何有效管理和处理大量的数据是一项非常重要的任务...

99+

2023-11-18

数据高效阿里
mongodb亿级数据量查询的方法是什么

为了有效地处理亿级数据量的查询，可以采取以下方法：1. 索引优化：创建适当的索引可以大大提高查询性能。在设计数据模式时，根据查询需求...

99+

2023-09-06

mongodb
PHP海量数据存储和查询的方法是什么

在PHP中，海量数据存储和查询可以通过以下方法实现：1. 使用数据库：PHP支持多种数据库，如MySQL、PostgreSQL等。可...

99+

2023-08-29

PHP
SQL Server 海量数据导入的最快方法是怎样的

SQL Server 海量数据导入的最快方法是怎样的，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。最近做某项目的数据库分析，要实现对海量数...

99+

2022-10-18
PHP-FPM性能优化实践：提高网站数据读写速度的方法

引言：随着互联网的快速发展，网站应用程序越来越重要。在构建一个业务稳定、用户体验良好的网站过程中，数据读写速度的优化是至关重要的一环。PHP-FPM作为一种高性能、可扩展的PHP解决方案，可以帮助我们提高网站的数据读写速度。本文将介绍一些P...

99+

2023-10-21

性能优化 php-fpm 数据读写速度
Android通过json向MySQL中读写数据的方法详解【读取篇】

本文实例讲述了Android通过json向MySQL中读取数据的方法。分享给大家供大家参考，具体如下：首先要定义几个解析json的方法parseJsonMulti，代码如下...

99+

2022-06-06

JSON 方法数据 Mysql Android
如何使用Python编写高效的大数据算法？

Python已经成为了数据科学家和大数据工程师的首选语言之一，因为它具有易于学习、功能强大、开源的优点。它也拥有许多流行的库和框架，使其成为编写高效大数据算法的理想选择。本文将介绍如何使用Python编写高效的大数据算法，并且会穿插一些示...

99+

2023-08-11

linux 大数据编程算法
高效处理大容量数据的Go语言程序改进方法

优化Go语言程序以处理大容量数据的方法，需要具体代码示例概述：随着数据规模的不断增长，大规模数据处理成为了现代软件开发的重要课题。Go语言作为一种高效且易于使用的编程语言，也能够很好地满足大容量数据处理的需求。本文将介绍一些优化Go语言程序...

99+

2023-12-23

Go语言 (Go language) 优化 (Optimize) 大容量数据 (Large-scale data)
Android通过json向MySQL中读写数据的方法详解【写入篇】

本文实例讲述了Android通过json向MySQL中写入数据的方法。分享给大家供大家参考，具体如下：先说一下如何通过json将Android程序中的数据上传到MySQL中：...

99+

2022-06-06

JSON 方法数据 Mysql Android
Java实现批量向mysql写入数据的方法

本文实例讲述了Java实现批量向mysql写入数据的方法。分享给大家供大家参考，具体如下：private static String user = "root";private static String pass = "123456";p...

99+

2023-05-30

java mysql ava
在Node.js应用中读写Redis数据库的简单方法

在开始本文之前请确保安装好 Redis 和 Node.js 以及 Node.js 的 Redis 扩展 —— node_redis 首先创建一个新文件夹并新建文本文件 app.js 文件内容如下： ...

99+

2022-06-04

简单数据库方法
C++文件的数据写入和文件的数据读取的方法实现

目录一：没有数据，准备数据，写入文件二：读文件操作一：没有数据，准备数据，写入文件 1.main.cpp #include<iostream> using namespa...

99+

2022-11-13
PHP开发中如何使用Memcache进行高效的数据读写操作？

在 PHP 开发中，使用 Memcache 缓存系统可以大大提高数据读写的效率。Memcache 是一种基于内存的缓存系统，它可以将数据缓存在内存中，避免频繁的读写数据库。本文将介绍如何在 PHP 中使用 Memcache 进行高效的数据读...

99+

2023-11-07

PHP Memcache 数据读写
利用amoeba实现mysql数据库的读写分离的方法

这篇文章将为大家详细讲解有关利用amoeba实现mysql数据库的读写分离的方法，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。关于mysql的读写分离架构有很多，百度的话...

99+

2022-10-18