数据库 数据分库分表 分库分表策略选择

 

 

 

 

 

 

 

 

 

一.概述

数据库数据分片,分垂直分片和水平分片。由于大部分公司按照业务拆分事业部门和小组,所以天然就是垂直分片。

数据库数据垂直分片,单实例有性能瓶颈,后期只能通过水平分片提高数据处理能力。

数据库水平分片采用分库分表形式。分库还能够用于有效的分散对数据库单点的访问量。分库和分表均可以有效的避免由数据量超过可承受阈值而产生的查询瓶颈。

数据库水平分片,会增加数据实例数,减少单个实例单个库的压力,增加数据TPS操作能力,也能增加QPS操作能力,但QPS有NoSql等更好解决方案。且多库表复杂查询,排序,最后要做归并计算,归并计算节点性能不高,有可能一次查询比单库表慢。

数据库分库分表数量,一般都是2的倍数,阿里云RDS一个实例建议分库小于等于8个,一个分库的分表数量建议一百以内。具体实例数,分库分表数量,每个分表500万以内,预估2年内总数据量。

分库分表拆分函数(算法)和拆分键选择比较重要,一般根据应用对数据频繁操作情况决定。最好拆分键就是应用查询数据的条件,这样可根据拆分函数(算法)快速定位数据所在库表,不用路由全库表。如C端业务根据业务Code的查询比较多,做分库分表键比较好。如物联网数据根据时间查询比较对,那么选择时间分库分表就能提高操作效率。

分库分表后会产生一些问题,不是本文重点关注。

 

阿里云PolarDB-X

京东ShardingSphere

兼容SQL

高度兼容MySQL协议和语法,但由于分布式数据库和单机数据库存在较大的架构差异,存在SQL使用限制。

全面支持DML、DDL、DCL、TCL和部分DAL。支持分页、去重、排序、分组、聚合、关联查询(不支持跨库关联)。

分布式事务

兼容Seata

支持Seata柔性事务

读写分离(写及时读)

支持,提供写及时读解决方案

支持,提供写及时读解决方案Hint读主库。

弹性伸缩(平滑扩容,热点问题)

提供平滑扩容和热点问题工具。

临时地使用两个数据库集群,伸缩完成后切换的方式实现

 

 

二.分库分表策略,实例数,每个实例物理分库数,每物理分库物理分表数

  • 计算前提
  1. 一个实例建议最多8个物理分库数
  2. 单个物理分表的容量不超过500万行
  3. 单一数据库实例的数据的阈值在 1TB 之内
  4. 预估1~2年内的数据增长量,得到总数据量

(二)计算物理分表数

物理分库上的物理分表数=向上取整(估算的总数据量/(实例数 x 物理分库数)/ 5,000,000)

若计算出的物理分表数等于1时,当前分库即可满足需求

若计算结果大于1,则建议既分库又分表,即每个物理分库上再创建多个物理分表

 

 

三.分库分表策略,拆分键和拆分函数(算法)选择

  • 拆分键

拆分键选择决定数据路由效率。如查询条件带拆分键,可通过拆分函数(算法)快速定位数据所在库表,读取数据。如查询条件与拆分键无关,则需全库表扫描,性能比未分库分表前低。

所以拆分键选择要根据业务操作,选择大部分查询所使用关键字,比如主键ID,或者业务Code。其余频繁查询,或是转化成带拆分键索引条件查询,或者通过其他方式处理。

 

非拆分键查询处理

情况

处理方法

备注

可以转化成拆分键

  1. 查询条件关键字可直接转化成拆分键
  2. 建立查询条件关键字和拆分键关系表,一次查关键字,拿到拆分键后二次再查结果集

 

 

转低峰时运行

某些操作可以转到低峰时操作

 

OLAP全表

DTS数据到其他NoSql引擎处理

 

低频率查询

调用频率低,全实例全库全表扫描,也无太大影响,无需处理

 

 

  • 分库和分表拆分函数(算法)
  1. 分库,分表函数(算法)将数据分片,支持通过 =、>=、<=、>、<、BETWEEN 和 IN 分片。
  2. 分库,分表可选择不同拆分键,不同函数(算法)。
  3. 分库和分表拆分函数

取模:根据数据量计算的表数和数据库数,确定模几。

哈希:

范围:日期。

 

不建议分库分表策略过于复杂(如多拆分键等)

 

 

四.分布式主键生成策略

自增ID(最常用),UUID,雪花算法。

 

建议使用自增ID

 

 

五.支持SQL情况

具体看你使用的中间件和数据库

 

 

六.分布式事务

支持XA,Seata。

 

七.读写分离

支持读写分离,支持写及时读。

 

 

八.弹性伸缩

  • 普通伸缩

使用两个数据库集群,伸缩完成后切换的方式实现。

  • 平滑扩容
  1. 判断是否需要平滑扩容

通过观察实例的三个指标进行判断:IOPS、CPU、磁盘空间。

  1. 扩容方法

一个实例变成两个实例,实例物理数据库减半。自动扩容需要专业工具。扩容需要在低峰期,业务有暂短停止。

  •  
  • 热点问题

数据多存在热点问题,某些用户的数据被频繁操作,某些用户数据长时间不被访问。数据分片多为均匀分布,这就造成某个实例某个数据库某几张表承担大部分的压力,容易出现热点节点性能问题。

一般解决热点问题都是增加实例,进行二次分库分表。

 

 

九.不建议分库分表情况

  • 数据量不大。
  • TPS不高。
  • 大量join查询,大量全表扫描,OLAP型业务。

 

 

十.TiDB

 

 

热门文章

暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法&#xff0c;在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较&#xff0c;从而确定目标数是在中间数的左边还是右边&#xff0c;将查…
暂无图片
编程学习 ·

GMX 命令分类列表

建模和计算操作命令&#xff1a; 1.1 . 创建拓扑与坐标文件 gmx editconf - 编辑模拟盒子以及写入子组(subgroups) gmx protonate - 结构质子化 gmx x2top - 根据坐标生成原始拓扑文件 gmx solvate - 体系溶剂化 gmx insert-molecules - 将分子插入已有空位 gmx genconf - 增加…
暂无图片
编程学习 ·

一文高效回顾研究生课程《数值分析》重点

数值分析这门课的本质就是用离散的已知点去估计整体&#xff0c;就是由黑盒子产生的结果去估计这个黑盒子。在数学里这个黑盒子就是一个函数嘛&#xff0c;这门课会介绍许多方法去利用离散点最大化地逼近这个函数&#xff0c;甚至它的导数、积分&#xff0c;甚至微分方程的解。…
暂无图片
编程学习 ·

在职阿里5年,一个28岁女软测工程师的心声

简单的先说一下&#xff0c;坐标杭州&#xff0c;14届本科毕业&#xff0c;算上年前在阿里巴巴的面试&#xff0c;一共有面试了有6家公司&#xff08;因为不想请假&#xff0c;因此只是每个晚上去其他公司面试&#xff0c;所以面试的公司比较少&#xff09; ​ 编辑切换为居中…
暂无图片
编程学习 ·

字符串左旋c语言

目录 题目&#xff1a; 解题思路&#xff1a; 第一步&#xff1a; 第二步&#xff1a; 第三步&#xff1a; 总代码&#xff1a; 题目&#xff1a; 实现一个函数&#xff0c;可以左旋字符串中的k个字符。 例如&#xff1a; ABCD左旋一个字符得到BCDA ABCD左旋两个字符…
暂无图片
编程学习 ·

设计模式--观察者模式笔记

模式的定义与特点 观察者&#xff08;Observer&#xff09;模式的定义&#xff1a;指多个对象间存在一对多的依赖关系&#xff0c;当一个对象的状态发生改变时&#xff0c;所有依赖于它的对象都得到通知并被自动更新。这种模式有时又称作发布-订阅模式、模型-视图模式&#xf…
暂无图片
编程学习 ·

睡觉突然身体动不了,什么是睡眠痽痪症

很多朋友可能有这样的体验&#xff0c;睡觉过程中突然意识清醒&#xff0c;身体却动弹不了。这时候感觉非常恐怖&#xff0c;希望旁边有一个人推自己一下。阳光以前也经常会碰到这样的情况&#xff0c;一年有一百多次&#xff0c;那时候很害怕晚上到来&#xff0c;睡觉了就会出…
暂无图片
编程学习 ·

深入理解C++智能指针——浅析MSVC源码

文章目录unique_ptrshared_ptr 与 weak_ptrstd::bad_weak_ptr 异常std::enable_shared_from_thisunique_ptr unique_ptr 是一个只移型别&#xff08;move-only type&#xff0c;只移型别还有std::mutex等&#xff09;。 结合一下工厂模式&#xff0c;看看其基本用法&#xff…
暂无图片
编程学习 ·

@TableField(exist = false)

TableField(exist false) //申明此字段不在数据库存在&#xff0c;但代码中需要用到它&#xff0c;通知Mybatis-plus在做写库操作是忽略它。,.
暂无图片
编程学习 ·

Java Web day15

第十二章文件上传和下载 一、如何实现文件上传 要实现Web开发中的文件上传功能&#xff0c;通常需要完成两步操作&#xff1a;一.是在Web页面中添加上传输入项&#xff1b;二是在Servlet中读取上传文件的数据&#xff0c;并保存到本地硬盘中。 需要使用一个Apache组织提供一个…
暂无图片
编程学习 ·

【51nod 2478】【单调栈】【前缀和】小b接水

小b接水题目解题思路Code51nod 2478 小b接水 题目 输入样例 12 0 1 0 2 1 0 1 3 2 1 2 1输出样例 6解题思路 可以发现最后能拦住水的都是向两边递减高度&#xff08;&#xff1f;&#xff09; 不管两个高积木之间的的积木是怎样乱七八糟的高度&#xff0c;最后能用来装水的…
暂无图片
编程学习 ·

花了大半天写了一个UVC扩展单元调试工具

基于DIRECTSHOW 实现的&#xff0c;用的是MFC VS2019. 详见&#xff1a;http://www.usbzh.com/article/detail-761.html 获取方法 加QQ群:952873936&#xff0c;然后在群文件\USB调试工具&测试软件\UVCXU-V1.0(UVC扩展单元调试工具-USB中文网官方版).exe USB中文网 USB中文…
暂无图片
编程学习 ·

贪心(一):区间问题、Huffman树

区间问题 例题一&#xff1a;区间选点 给定 N 个闭区间 [ai,bi]请你在数轴上选择尽量少的点&#xff0c;使得每个区间内至少包含一个选出的点。 输出选择的点的最小数量。 位于区间端点上的点也算作区间内。 输入格式 第一行包含整数 N&#xff0c;表示区间数。 接下来 …
暂无图片
编程学习 ·

C语言练习实例——费氏数列

目录 题目 解法 输出结果 题目 Fibonacci为1200年代的欧洲数学家&#xff0c;在他的着作中曾经提到&#xff1a;「若有一只免子每个月生一只小免子&#xff0c;一个月后小免子也开始生产。起初只有一只免子&#xff0c;一个月后就有两只免子&#xff0c;二个月后有三只免子…
暂无图片
编程学习 ·

Android开发(2): Android 资源

个人笔记整理 Android 资源 Android中的资源&#xff0c;一般分为两类&#xff1a; 系统内置资源&#xff1a;Android SDK中所提供的已经定义好的资源&#xff0c;用户可以直接拿来使用。 用户自定义资源&#xff1a;用户自己定义或引入的&#xff0c;只适用于当前应用的资源…
暂无图片
编程学习 ·

零基础如何在短时间内拿到算法offer

​算法工程师是利用算法处理事物的职业 算法&#xff08;Algorithm&#xff09;是一系列解决问题的清晰指令&#xff0c;也就是说&#xff0c;能够对一定规范的输入&#xff0c;在有限时间内获得所要求的输出。 如果一个算法有缺陷&#xff0c;或不适合于某个问题&#xff0c;执…
暂无图片
编程学习 ·

人工智能:知识图谱实战总结

人工智能python&#xff0c;NLP&#xff0c;知识图谱&#xff0c;机器学习&#xff0c;深度学习人工智能&#xff1a;知识图谱实战前言一、实体建模工具Protegepython&#xff0c;NLP&#xff0c;知识图谱&#xff0c;机器学习&#xff0c;深度学习 人工智能&#xff1a;知识图…
暂无图片
编程学习 ·

【无标题】

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题&#xff0c;有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注…