blog

# mongodb

# 相关概念

# 业务场景

  1. 传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。
    解释：“三高”需求：
  • High performance - 对数据库高并发读写的需求。
  • Huge Storage - 对海量数据的高效率存储和访问的需求。
  • High Scalability && High Availability- 对数据库的高可扩展性和高可用性的需求
  1. 具体的应用场景如：
  • 社交场景，使用 MongoDB 存储存储用户信息，以及用户发表的朋友圈信息，通过地理位置索引实现附近的人、地点等功能。
  • 游戏场景，使用 MongoDB 存储游戏用户信息，用户的装备、积分等直接以内嵌文档的形式存储，方便查询、高效率存储和访问。
  • 物流场景，使用 MongoDB 存储订单信息，订单状态在运送过程中会不断更新，以 MongoDB 内嵌数组的形式来存储，一次查询就能将 订单所有的变更读取出来。
  • 物联网场景，使用 MongoDB 存储所有接入的智能设备信息，以及设备汇报的日志信息，并对这些信息进行多维度的分析。
  • 视频直播，使用 MongoDB 存储用户信息、点赞互动信息等。

这些应用场景中，数据操作方面的共同点

  1. 数据量大
  2. 写入操作频繁（读写都很频繁）
  3. 价值较低的数据，对事务性要求不高
  1. 什么时候选择MongoDB
  • 应用不需要事务及复杂 join 支持
  • 新应用，需求会变，数据模型无法确定，想快速迭代开发
  • 应用需要2000-3000以上的读写QPS（更高也可以）
  • 应用需要TB甚至 PB 级别数据存储
  • 应用发展迅速，需要能快速水平扩展
  • 应用要求存储的数据不丢失
  • 应用需要99.999%高可用
  • 应用需要大量的地理位置查询、文本查询

如果上述有1个符合，可以考虑 MongoDB，2个及以上的符合，选择 MongoDB 绝不会后悔。

# MongoDB简介

MongoDB是一个开源、高性能、无模式的文档型数据库，当初的设计就是用于简化开发和方便扩展，是NoSQL数据库产品中的一种。是最 像关系型数据库（MySQL）的非关系型数据库。
它支持的数据结构非常松散，是一种类似于 JSON 的 格式叫BSON，所以它既可以存储比较复杂的数据类型，又相当的灵活。
MongoDB中的记录是一个文档，它是一个由字段和值对（field:value）组成的数据结构。MongoDB文档类似于JSON对象，即一个文档认 为就是一个对象。字段的数据类型是字符型，它的值除了使用基本的一些类型外，还可以包括其他文档、普通数组和文档数组。

# 体系结构

MySQL和MongoDB对比 jmfYm6.png (opens new window)

# 数据模型

MongoDB的最小存储单位就是文档(document)对象。文档(document)对象对应于关系型数据库的行。数据在MongoDB中以BSON（Binary-JSON）文档的格式存储在磁盘上。
BSON（Binary Serialized Document Format）是一种类json的一种二进制形式的存储格式，简称Binary JSON。BSON和JSON一样，支持内嵌的文档对象和数组对象，但是BSON有JSON没有的一些数据类型，如Date和BinData类型。
BSON采用了类似于 C 语言结构体的名称、对表示方法，支持内嵌的文档对象和数组对象，具有轻量性、可遍历性、高效性的三个特点，可以有效描述非结构化数据和结构化数据。这种格式的优点是灵活性高，但它的缺点是空间利用率不是很理想。
Bson中，除了基本的JSON类型：string,integer,boolean,double,null,array和object，mongo还使用了特殊的数据类型。这些类型包括date,object id,binary data,regular expression 和code。每一个驱动都以特定语言的方式实现了这些类型，查看你的驱动的文档来获取详细信息。
BSON数据类型参考列表： jmfb7T.png (opens new window)

TIP

shell默认使用64位浮点型数值。{“x”：3.14}或{“x”：3}。对于整型值，可以使用NumberInt（4字节符号整数）或NumberLong（8字节符 号整数），{“x”:NumberInt(“3”)}{“x”:NumberLong(“3”)}

# MongoDB的特点

  1. 高性能 MongoDB提供高性能的数据持久性。特别是，对嵌入式数据模型的支持减少了数据库系统上的I/O活动。
  2. 高可用性 MongoDB的复制工具称为副本集（replica set），它可提供自动故障转移和数据冗余。
  3. 搞扩展性 MongoDB提供了水平可扩展性作为其核心功能的一部分。
  4. 丰富的查询支持 MongoDB支持丰富的查询语言，支持读和写操作(CRUD)，比如数据聚合、文本搜索和地理空间查询等。
  5. 其他特点： 无模式（动态模式）、灵活的文档模型

# 部署

# 启动命令

方式一：命令行参数方式启动服务
在 bin 目录中打开命令行提示符，输入如下命令：

mongod --dbpath=..\data\db

方式二：配置文件方式启动服务 在解压目录中新建 config 文件夹，该文件夹中新建配置文件 mongod.conf ，内如参考如下

systemLog: 
  destination: file 
  #The path of the log file to which mongod or mongos should send all diagnostic logging information 
  path: "D:/02_Server/DBServer/mongodb-win32-x86_64-2008plus-ssl-4.0.1/log/mongod.log" 
  logAppend: true 
storage: 
  journal: 
    enabled: true 
  #The directory where the mongod instance stores its data.Default Value is "/data/db". 
  dbPath: "D:/02_Server/DBServer/mongodb-win32-x86_64-2008plus-ssl-4.0.1/data" 
net:
  #bindIp: 127.0.0.1 
  port: 27017 
setParameter: 
  enableLocalhostAuthBypass: false

启动方式

mongod -f ../config/mongod.conf 
或
mongod --config ../config/mongod.conf

# 连接命令

在命令提示符输入以下shell命令即可完成登陆（配置环境变量可全局使用，未配置只能在MongoDB/bin目录下使用）

mongo 
或
mongo --host=127.0.0.1 --port=27017

查看已有数据库

show databases

退出mongodb

exit

更多参数可以通过帮助查看

mongo --help

TIP

MongoDB javascript shell是一个基于javascript的解释器，故是支持js程序的。

# 数据库操作

# 选择和创建数据库

use 数据库名称

eg：如果数据库不存在则自动创建，创建集合（数据表）后要在插入一个文档（记录），集合才会真正创建
use articledb

# 查看所有的数据库

只能查看有权限的数据库

show dbs
或
show databases

# 查看使用的数据库

db

TIP

MongoDB 中默认的数据库为 test，如果你没有选择数据库，集合将存放在 test 数据库中。

# 删除数据库

db.dropDatabase()

# 集合的操作

# 创建集合

db.createCollection(name)

name：要创建的集合名称

eg：创建一个名为mycollection的普通集合
db.createCollection("mycollection")

TIP

当向一个集合中插入一个文档的时候，如果集合不存在，则会自动创建集合。

# 查看当前库中的表

show collections
或
show tables

# 集合的删除

db.collection.drop()
或
db.集合.drop()

如果成功删除选定集合，则 drop() 方法返回 true，否则返回 false db.mycollection.drop()

# 文档的操作

# 单个文档插入

db.collection.insert(
  <document or array of documents>,
  { 
    writeConcern: <document>,
    ordered: <boolean>
  } 
)

参数： jnpCrV.png (opens new window)

eg：插入示例

db.comment.insert(
 {
   "articleid":"100000",
   "content":"今天天气真好，阳光明 媚",
   "userid":"1001",
   "nickname":"Rose",
   "createdatetime":new Date(),
   "likenum":NumberInt(10),
   "state":null
 }
)

TIP

  1. comment集合如果不存在，则会隐式创建
  2. mongo中的数字，默认情况下是double类型，如果要存整型，必须使用函数NumberInt(整型数字)，否则取出来就有问题了。
  3. 插入当前日期使用 new Date()
  4. 插入的数据没有指定 _id ，会自动生成主键值
  5. 如果某字段没值，可以赋值为null，或不写该字段。

# 批量插入

db.collection.insert(
  [<document 1>, <document 2>, ...],
  { 
    writeConcern: <document>,
    ordered: <boolean>
  } 
)

TIP

插入时指定了 _id ，则主键就是该值。

WARNING

  1. 如果某条数据插入失败，将会终止插入，但已经插入成功的数据不会回滚掉。
  2. 因为批量插入由于数据较多容易出现失败，因此，可以使用try catch进行异常捕捉处理（因为可以执行js代码），测试的时候可以不处理

# 基本查询

db.collection.find(<query>, [projection])

参数： jnCQ4e.png (opens new window)

  1. 查询所有
db.comment.find()
或
db.comment.find({})
  1. 条件查询 eg. 查询userid为1003的记录
db.comment.find({userid:'1003'})
  1. 查询并只返回一条
db.comment.findOne({userid:'1003'})
  1. 投影查询 eg. 查询结果只显示 _id、userid、nickname
>db.comment.find({userid:"1003"},{userid:1,nickname:1}) 
{ "_id" : "4", "userid" : "1003", "nickname" : "凯撒" }

默认id会显示 不显示id db.comment.find({userid:"1003"},{userid:1,nickname:1,_id:0})

# 更新

db.collection.update(query, update, options)
 //或 
db.collection.update( 
  <query>, 
  <update>, 
  { 
    upsert: <boolean>, 
    multi: <boolean>, 
    writeConcern: <document>, 
    collation: <document>, 
    arrayFilters: [ <filterdocument1>, ... ], 
    hint: <document|string> // Available starting in MongoDB 4.2 
  } 
)

参数： jnAVwq.png (opens new window)

# 覆盖修改

db.comment.update({_id:"1"},{likenum:NumberInt(1001)})

执行后，我们会发现，这条文档除了likenum字段其它字段都不见了

# 局部修改

db.comment.update({_id:"2"},{$set:{likenum:NumberInt(889)}})

# 批量修改

//默认只修改第一条数据 
db.comment.update({userid:"1003"},{$set:{nickname:"凯撒2"}}) 
//修改所有符合条件的数据 
db.comment.update({userid:"1003"},{$set:{nickname:"凯撒大帝"}},{multi:true})

# 列增长的修改

如果我们想实现对某列值在原有值的基础上进行增加或减少，可以使用 $inc 运算符来实现。

db.comment.update({_id:"3"},{$inc:{likenum:NumberInt(1)}})

# 删除文档

db.集合名称.remove(条件)

以下语句可以将数据全部删除，请慎用

db.comment.remove({})

如果是删除_id=1的记录，输入以下语句

db.comment.remove({_id:"1"})

# 统计查询

db.collection.count(query, options)

参数：

Parameter Type Description
query document 查询选择条件
options document 可选，用于修改计数的额外选项

可选项暂时不使用

  1. 统计所有记录数
db.comment.count()
  1. 按条件统计记录数
db.comment.count({userid:"1003"})

# 分页查询

db.COLLECTION_NAME.find().limit(NUMBER).skip(NUMBER)
// 返回指定条数 limit函数
db.comment.find().limit(3)
// 跳过记录数 skip函数
db.comment.find().skip(3)

eg: 需求：每页2个，第二页开始：跳过前两条数据，接着值显示3和4条数据 //第一页 db.comment.find().skip(0).limit(2) //第二页 db.comment.find().skip(2).limit(2) //第三页 db.comment.find().skip(4).limit(2)

# 排序查询

sort() 方法对数据进行排序，sort() 方法可以通过参数指定排序的字段，并使用 1 和 -1 来指定排序的方式，其中 1 为升序排列，而 -1 是用于降序排列

db.COLLECTION_NAME.find().sort({KEY:1}) 
或
db.集合名称.find().sort(排序方式)

eg：对userid降序排列，并对访问量进行升序排列 db.comment.find().sort({userid:-1,likenum:1})

TIP

skip(), limilt(), sort()三个放在一起执行的时候，执行的顺序是先 sort(), 然后是 skip()，最后是显示的 limit()，和命令编写顺序无关。

# 模糊查询

MongoDB的模糊查询是通过正则表达式的方式实现的

db.collection.find({field:/正则表达式/}) 
或
db.集合.find({字段:/正则表达式/})

TIP

正则表达式是js的语法，直接量的写法

eg：
我要查询评论内容包含“开水”的所有文档，代码如下：
db.comment.find({content:/开水/})
要查询评论的内容中以“专家”开头的，代码如下：
db.comment.find({content:/^专家/})

# 比较查询

<, <=, >, >=

db.集合名称.find({ "field" : { $gt: value }}) // 大于: field > value 
db.集合名称.find({ "field" : { $lt: value }}) // 小于: field < value 
db.集合名称.find({ "field" : { $gte: value }}) // 大于等于: field >= value 
db.集合名称.find({ "field" : { $lte: value }}) // 小于等于: field <= value 
db.集合名称.find({ "field" : { $ne: value }}) // 不等于: field != value

eg: 查询评论点赞数量大于700的记录 db.comment.find({likenum:{$gt:NumberInt(700)}})

# 包含查询

包含使用$in操作符

// 示例：查询评论的集合中userid字段包含1003或1004的文档
db.comment.find({userid:{$in:["1003","1004"]}})

不包含使用$nin操作符

// 示例：查询评论集合中userid字段不包含1003和1004的文档
db.comment.find({userid:{$nin:["1003","1004"]}})

# 条件链接查询

我们如果需要查询同时满足两个以上条件，需要使用$and操作符将条件进行关联。

$and:[ { },{ },{ } ]

eg: 查询评论集合中likenum大于等于700 并且小于2000的文档：
db.comment.find({$and:[{likenum:{$gte:NumberInt(700)}},{likenum:{$lt:NumberInt(2000)}}]})

如果两个以上条件之间是或者的关系，我们使用 $or 操作符进行关联

$or:[ { },{ },{ } ]

eg: 查询评论集合中userid为1003，或者点赞数小于1000的文档记录
db.comment.find({$or:[ {userid:"1003"} ,{likenum:{$lt:1000} }]})

# 常用命令总结

选择切换数据库：use articledb 
插入数据：db.comment.insert({bson数据}) 
查询所有数据：db.comment.find(); 
条件查询数据：db.comment.find({条件}) 
查询符合条件的第一条记录：db.comment.findOne({条件}) 
查询符合条件的前几条记录：db.comment.find({条件}).limit(条数) 
查询符合条件的跳过的记录：db.comment.find({条件}).skip(条数) 
修改数据：db.comment.update({条件},{修改后的数据}) 或db.comment.update({条件},{$set:{要修改部分的字段:数据}) 修改数据并自增某字段值：db.comment.update({条件},{$inc:{自增的字段:步进值}}) 
删除数据：db.comment.remove({条件}) 
统计查询：db.comment.count({条件}) 
模糊查询：db.comment.find({字段名:/正则表达式/}) 
条件比较运算：db.comment.find({字段名:{$gt:值}}) 
包含查询：db.comment.find({字段名:{$in:[值1，值2]}})或db.comment.find({字段名:{$nin:[值1，值2]}}) 
条件连接查询：db.comment.find({$and:[{条件1},{条件2}]})或db.comment.find({$or:[{条件1},{条件2}]})

# 索引

# 索引类型

# 单字段索引

MongoDB支持在文档的单个字段上创建用户定义的升序/降序索引，称为单字段索引（Single Field Index）。

TIP

对于单个字段索引和排序操作，索引键的排序顺序（即升序或降序）并不重要，因为MongoDB可以在任何方向上遍历索引。

# 复合索引

MongoDB还支持多个字段的用户定义索引，即复合索引（Compound Index）。
复合索引中列出的字段顺序具有重要意义。例如，如果复合索引由 { userid: 1, score: -1 } 组成，则索引首先按userid正序排序，然后在每个userid的值内，再在按score倒序排序。

# 其他索引

  1. 地理空间索引（Geospatial Index）
    为了支持对地理空间坐标数据的有效查询，MongoDB提供了两种特殊的索引：返回结果时使用平面几何的二维索引和返回结果时使用球面 几何的二维球面索引。
  2. 文本索引（Text Indexes）
    MongoDB提供了一种文本索引类型，支持在集合中搜索字符串内容。这些文本索引不存储特定于语言的停止词（例如“the”、“a”、“or”）， 而将集合中的词作为词干，只存储根词。
  3. 哈希索引（Hashed Indexes）
    为了支持基于散列的分片，MongoDB提供了散列索引类型，它对字段值的散列进行索引。这些索引在其范围内的值分布更加随机，但只支 持相等匹配，不支持基于范围的查询。

# 查看索引

db.collection.getIndexes()

eg:查看comment集合中所有的索引情况

db.comment.getIndexes() 
[ 
 { 
   "v" : 2, 
   "key" : {
     "_id" : 1 
   },
   "name" : "_id_", 
   "ns" : "articledb.comment" 
 } 
]

TIP

MongoDB在创建集合的过程中，在 _id 字段上创建一个唯一的索引，默认名字为 id ，该索引可防止客户端插入两个具有相同值的文 档，您不能在_id字段上删除此索引。

# 创建索引

db.collection.createIndex(keys, options)

参数： jKYmlQ.png (opens new window) options(更多选项)列表： jKYYpF.png (opens new window)

注意在 3.0.0 版本前创建索引方法为 db.collection.ensureIndex() ，之后的版本使用了 db.collection.createIndex() 方法， ensureIndex() 还能用，但只是 createIndex() 的别名。

  1. 单字段建立索引：
> db.comment.createIndex({userid:1}) 
{ 
  "createdCollectionAutomatically" : false, 
  "numIndexesBefore" : 1, 
  "numIndexesAfter" : 2, "ok" : 1 
}
  1. 复合索引
> db.comment.createIndex({userid:1,nickname:-1}) 
{ 
  "createdCollectionAutomatically" : false, 
  "numIndexesBefore" : 2, 
  "numIndexesAfter" : 3, "ok" : 1 
}

# 索引删除

  1. 删除单个索引
db.collection.dropIndex(index)

参数： jKtu9O.png (opens new window)

eg：删除 comment 集合中 userid 字段上的升序索引： db.comment.dropIndex({userid:1}) { "nIndexesWas" : 3, "ok" : 1 }

  1. 删除所有索引
db.collection.dropIndexes()

TIP

_id 的字段的索引是无法删除的，只能删除非 _id 字段的索引。

# 执行计划

分析查询性能（Analyze Query Performance）通常使用执行计划（解释计划、Explain Plan）来查看查询的情况，如查询耗费的时间、是否基于索引查询等。

db.collection.find(query,options).explain(options)

eg：查看根据userid查询数据的情况： jKtfv4.png (opens new window) 关键点看： "stage" : "COLLSCAN", 表示全集合扫描

# 涵盖查询

当查询条件和查询的投影仅包含索引字段时，MongoDB直接从索引返回结果，而不扫描任何文档或将文档带入内存。 这些覆盖的查询可以非常有效。 jKN9at.png (opens new window)

Last Updated: 6/30/2022, 4:01:29 PM