位置: 编程技术 - 正文

MySQL数据库表分区注意事项大全【推荐】(mysql分表实践)

编辑:rootadmin

推荐整理分享MySQL数据库表分区注意事项大全【推荐】(mysql分表实践),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:mysql 多少数据分表,mysql分表的3种方法,mysql分表语句,mysql数据库如何分类,mysql如何分表,mysql数据库表分区原则,mysql数据库表分区,mysql数据库表分区,内容如对您有帮助,希望把文章链接给更多的朋友!

表分区与数据库分区是不一样的那么碰到表分区使用时我们要注意一些什么事情呢,今天我们来看一篇关于MySQL数据库表分区注意事项的细节。

1、分区列索引约束

若表有primary key或unique key,则分区表的分区列必须包含在primary key或unique key列表里,这是为了确保主键的效率,否则同一主键区的东西一个在A分区,一个在B分区,显然会比较麻烦。

2、各分区类型条件

range 每个分区包含那些分区表达式的值位于一个给定的连续区间内的行。这些区间要连续且不能相互重叠

list只支持整形字段或返回整形数的表达式,每个分区列表里的值列表必须整数

hash类型只支持整形字段或返回整形数的表达式

key类型只支持列名形式(可一个或多个列名),不支持表达式

3、分区可用函数

ABS()

CEILING() (see CEILING() and FLOOR(), immediately following this list)

DAY()

DAYOFMONTH()

DAYOFWEEK()

DAYOFYEAR()

DATEDIFF()

EXTRACT()

FLOOR() (see CEILING() and FLOOR(), immediately following this list)

HOUR()

MICROSECOND()

MINUTE()

MOD()

MONTH()

QUARTER()

SECOND()

TIME_TO_SEC()

TO_DAYS()

WEEKDAY()

YEAR()

YEARWEEK()

注意:

因为分区函数不包括FROM_UNIXTIME函数,所以用时间戳转时间来分区就无法实现了,只能用date或者datetime来分区

例如按年我们可以用:

按月:

#div 会把日期变成整数,例如:-- -> 、就是从后面去掉两位,最后结果是

一个订单做分区的例子:

因为我们没法用时间戳来做按时间分区,所以添加了一个date字段,这个字段和order_id一起作为主键,我们知道分区的列一定要放到主键里面去的。下面我们用date计算成年月组合来分区

以上 LESS THAN MAXVALUE 设置了最后一个分区p_catch_all,所以不能用add的方式来添加分区了,以下语句不可用:ALTER TABLE order ADD PARTITION (PARTITION p__ VALUES LESS THAN ());

只能把最后的p_catch_all分区拆分成两个,这样还有一个好处就是在p_catch_all分区的数据不会丢失。数据的合并与拆分用REORGANIZE PARTITION进行。

合并分区:

为什么不分到p_catch_all去?因为会报分区以存在。

为什么合并的时候要带上最后一个分区p_catch_all?因为除了最后一个分区,其他重组的分区范围不能改变总范围。删除分区但是不删除数据:

alter table 表名 remove partitioning

注意:上面语句在5.5可以执行,5.6好像有问题,要先测试一下

分区之后,where条件是一个范围的话分区是不起作用的,如 where date >= '--' And date <= '--'一定要用 = 或者 in 条件才行 where date = '--' 或者 where date in ('--', '--', '--'...)

补充:MySQL表的四种分区类型

一、什么是表分区

MySQL数据库表分区注意事项大全【推荐】(mysql分表实践)

通俗地讲表分区是将一大表,根据条件分割成若干个小表。mysql5.1开始支持数据表分区了。 如:某用户表的记录超过了万条,那么就可以根据入库日期将表分区,也可以根据所在地将表分区。当然也可根据其他的条件分区。

二、为什么要对表进行分区

为了改善大型表以及具有各种访问模式的表的可伸缩性,可管理性和提高数据库效率。

分区的一些优点包括:

与单个磁盘或文件系统分区相比,可以存储更多的数据。

对于那些已经失去保存意义的数据,通常可以通过删除与那些数据有关的分区,很容易地删除那些数据。相反地,在某些情况下,添加新数据的过程又可以通过为那些新数据专门增加一个新的分区,来很方便地实现。通常和分区有关的其他优点包括下面列出的这些。MySQL分区中的这些功能目前还没有实现,但是在我们的优先级列表中,具有高的优先级;我们希望在5.1的生产版本中,能包括这些功能。

一些查询可以得到极大的优化,这主要是借助于满足一个给定WHERE语句的数据可以只保存在一个或多个分区内,这样在查找时就不用查找其他剩余的分区。因为分区可以在创建了分区表后进行修改,所以在第一次配置分区方案时还不曾这么做时,可以重新组织数据,来提高那些常用查询的效率。

涉及到例如SUM()和COUNT()这样聚合函数的查询,可以很容易地进行并行处理。这种查询的一个简单例子如 “SELECT salesperson_id, COUNT (orders) as order_total FROM sales GROUP BY salesperson_id;”。通过“并行”,这意味着该查询可以在每个分区上同时进行,最终结果只需通过总计所有分区得到的结果。

通过跨多个磁盘来分散数据查询,来获得更大的查询吞吐量。

三、分区类型

RANGE分区:基于属于一个给定连续区间的列值,把多行分配给分区。

LIST分区:类似于按RANGE分区,区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。

HASH分区:基于用户定义的表达式的返回值来进行选择的分区,该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包含MySQL 中有效的、产生非负整数值的任何表达式。

KEY分区:类似于按HASH分区,区别在于KEY分区只支持计算一列或多列,且MySQL服务器提供其自身的哈希函数。必须有一列或多列包含整数值。

RANGE分区

基于属于一个给定连续区间的列值,把多行分配给分区。

这些区间要连续且不能相互重叠,使用VALUES LESS THAN操作符来进行定义。以下是实例。

Sql代码:

按照这种分区方案,在商店1到5工作的雇员相对应的所有行被保存在分区P0中,商店6到的雇员保存在P1中,依次类推。注意,每个分区都是按顺序进行定义,从最低到最高。这是PARTITION BY RANGE 语法的要求;在这点上,它类似于C或Java中的“switch … case”语句。对于包含数据(, ‘Michael', ‘Widenius', '--′, NULL, )的一个新行,可以很容易地确定它将插入到p2分区中,但是如果增加了一个编号为第的商店,将会发生什么呢?在这种方案下,由于没有规则把store_id大于的商店包含在内,服务器将不知道把该行保存在何处,将会导致错误。 要避免这种错误,可以通过在CREATE TABLE语句中使用一个“catchall” VALUES LESS THAN子句,该子句提供给所有大于明确指定的最高值的值:

Sql代码:

MAXVALUE 表示最大的可能的整数值。现在,store_id 列值大于或等于(定义了的最高值)的所有行都将保存在分区p3中。在将来的某个时候,当商店数已经增长到, , 或更多 ,可以使用ALTER TABLE语句为商店-, -,等等增加新的分区。在几乎一样的结构中,你还可以基于雇员的工作代码来分割表,也就是说,基于job_code 列值的连续区间。例如——假定2位数字的工作代码用来表示普通(店内的)工人,三个数字代码表示办公室和支持人员,四个数字代码表示管理层,你可以使用下面的语句创建该分区表:

Sql代码:

在这个例子中, 店内工人相关的所有行将保存在分区p0中,办公室和支持人员相关的所有行保存在分区p1中,管理层相关的所有行保存在分区p2中。在VALUES LESS THAN 子句中使用一个表达式也是可能的。这里最值得注意的限制是MySQL 必须能够计算表达式的返回值作为LESS THAN (<)比较的一部分;因此,表达式的值不能为NULL 。由于这个原因,雇员表的hired, separated, job_code,和store_id列已经被定义为非空(NOT NULL)。除了可以根据商店编号分割表数据外,你还可以使用一个基于两个DATE (日期)中的一个的表达式来分割表数据。例如,假定你想基于每个雇员离开公司的年份来分割表,也就是说,YEAR(separated)的值。实现这种分区模式的CREATE TABLE 语句的一个例子如下所示:

Sql代码:

在这个方案中,在年前雇佣的所有雇员的记录保存在分区p0中,年到年期间雇佣的所有雇员的记录保存在分区p1中, 年到年期间雇佣的所有雇员的记录保存在分区p2中,年后雇佣的所有工人的信息保存在p3中。RANGE分区在如下场合特别有用:1)、当需要删除一个分区上的“旧的”数据时,只删除分区即可。如果你使用上面最近的那个例子给出的分区方案,你只需简单地使用”ALTER TABLE employees DROP PARTITION p0;”来删除所有在年前就已经停止工作的雇员相对应的所有行。对于有大量行的表,这比运行一个如”DELETE FROM employees WHERE YEAR (separated) <= ;”这样的一个DELETE查询要有效得多。 2)、想要使用一个包含有日期或时间值,或包含有从一些其他级数开始增长的值的列。3)、经常运行直接依赖于用于分割表的列的查询。例如,当执行一个如”SELECT COUNT(*) FROM employees WHERE YEAR(separated) = GROUP BY store_id;”这样的查询时,MySQL可以很迅速地确定只有分区p2需要扫描,这是因为余下的分区不可能包含有符合该WHERE子句的任何记录。

注释:这种优化还没有在MySQL 5.1源程序中启用,但是,有关工作正在进行中。

LIST分区

类似于按RANGE分区,区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。

LIST分区通过使用“PARTITION BY LIST(expr)”来实现,其中“expr”是某列值或一个基于某个列值、并返回一个整数值的表达式,然后通过“VALUES IN (value_list)”的方式来定义每个分区,其中“value_list”是一个通过逗号分隔的整数列表。 注释:在MySQL 5.1中,当使用LIST分区时,有可能只能匹配整数列表。

Sql代码:

假定有个音像店,分布在4个有经销权的地区,如下表所示:

要按照属于同一个地区商店的行保存在同一个分区中的方式来分割表,可以使用下面的“CREATE TABLE”语句:

Sql代码:

这使得在表中增加或删除指定地区的雇员记录变得容易起来。例如,假定西区的所有音像店都卖给了其他公司。那么与在西区音像店工作雇员相关的所有记录(行)可以使用查询“ALTER TABLE employees DROP PARTITION pWest;”来进行删除,它与具有同样作用的DELETE(删除)查询“DELETE query DELETE FROM employees WHERE store_id IN (4,,,,);”比起来,要有效得多。【要点】:如果试图插入列值(或分区表达式的返回值)不在分区值列表中的一行时,那么“INSERT”查询将失败并报错。例如,假定LIST分区的采用上面的方案,下面的查询将失败:

Sql代码:

这是因为“store_id”列值不能在用于定义分区pNorth, pEast, pWest,或pCentral的值列表中找到。要重点注意的是,LIST分区没有类似如“VALUES LESS THAN MAXVALUE”这样的包含其他值在内的定义。将要匹配的任何值都必须在值列表中找到。LIST分区除了能和RANGE分区结合起来生成一个复合的子分区,与HASH和KEY分区结合起来生成复合的子分区也是可能的。

HASH分区

基于用户定义的表达式的返回值来进行选择的分区,该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包含MySQL 中有效的、产生非负整数值的任何表达式。

要使用HASH分区来分割一个表,要在CREATE TABLE 语句上添加一个“PARTITION BY HASH (expr)”子句,其中“expr”是一个返回一个整数的表达式。它可以仅仅是字段类型为MySQL整型的一列的名字。此外,你很可能需要在后面再添加一个“PARTITIONS num”子句,其中num是一个非负的整数,它表示表将要被分割成分区的数量。

Sql代码:

如果没有包括一个PARTITIONS子句,那么分区的数量将默认为1。例外:对于NDB Cluster(簇)表,默认的分区数量将与簇数据节点的数量相同,这种修正可能是考虑任何MAX_ROWS设置,以便确保所有的行都能合适地插入到分区中。

LINER HASH

MySQL还支持线性哈希功能,它与常规哈希的区别在于,线性哈希功能使用的一个线性的2的幂(powers-of-two)运算法则,而常规哈希使用的是求哈希函数值的模数。线性哈希分区和常规哈希分区在语法上的唯一区别在于,在“PARTITION BY”子句中添加“LINEAR”关键字。

Sql代码:

假设一个表达式expr,当使用线性哈希功能时,记录将要保存到的分区是num 个分区中的分区N,其中N是根据下面的算法得到: 1. 找到下一个大于num.的、2的幂,我们把这个值称为V ,它可以通过下面的公式得到: 2. V = POWER(2, CEILING(LOG(2, num))) (例如,假定num是。那么LOG(2,)就是3.。 CEILING(3.)就是4,则V = POWER(2,4), 即等于)。 3. 设置 N = F(column_list) & (V ? 1). 4. 当 N >= num: 设置 V = CEIL(V / 2) 设置 N = N & (V ? 1) 例如,假设表t1,使用线性哈希分区且有4个分区,是通过下面的语句创建的: CREATE TABLE t1 (col1 INT, col2 CHAR(5), col3 DATE) PARTITION BY LINEAR HASH( YEAR(col3) ) PARTITIONS 6; 现在假设要插入两行记录到表t1中,其中一条记录col3列值为'--′,另一条记录col3列值为'--′。第一条记录将要保存到的分区确定如下: V = POWER(2, CEILING(LOG(2,7))) = 8 N = YEAR('--′) & (8 ? 1) = & 7 = 3 (3 >= 6 为假(FALSE): 记录将被保存到#3号分区中) 第二条记录将要保存到的分区序号计算如下: V = 8 N = YEAR('--′) & (8-1) = & 7 = 6 (6 >= 4 为真(TRUE): 还需要附加的步骤) N = 6 & CEILING(5 / 2) = 6 & 3 = 2 (2 >= 4 为假(FALSE): 记录将被保存到#2分区中) 按照线性哈希分区的优点在于增加、删除、合并和拆分分区将变得更加快捷,有利于处理含有极其大量(吉)数据的表。它的缺点在于,与使用常规HASH分区得到的数据分布相比,各个分区间数据的分布不大可能均衡。

KEY分区

类似于按HASH分区,区别在于KEY分区只支持计算一列或多列,且MySQL服务器提供其自身的哈希函数。必须有一列或多列包含整数值。

Sql代码:

在KEY分区中使用关键字LINEAR和在HASH分区中使用具有同样的作用,分区的编号是通过2的幂(powers-of-two)算法得到,而不是通过模数算法

总结

标签: mysql分表实践

本文链接地址:https://www.jiuchutong.com/biancheng/348373.html 转载请保留说明!

上一篇:简析mysql字符集导致恢复数据库报错问题(mysql字符集的作用)

下一篇:sql和MySQL的语句执行顺序分析(mysql与sqlyog)

  • 如何判断销售额含税还是不含税
  • 股东向公司借款超过一年不还
  • 企业增值税必须退税吗?
  • 房产税土地使用税新政策消息2023
  • 税控盘的进项税在哪里申报
  • 研发支出管理制度
  • 京东开专用发票需要用公户付款吗
  • 申报表填完后下一步是什么
  • 金融工具减值的简化处理
  • 转出未交增值税是借方还是贷方
  • 2019小微企业10万免税需要如何办理
  • 出口退税发票未稽核可以申报退税吗
  • 非货币性资产交换准则
  • 实收资本未认缴资本还用填写吗
  • 债务重组是什么意思?
  • 小企业所得税申报流程
  • 城镇土地使用税征收标准及计算方法
  • 印花税的计税金额
  • 税务局查账征收转为核定征收之程序
  • 合伙企业如何计算缴纳个人所得税
  • 分公司的发票可以由总公司开吗
  • windows更新显示
  • 把快速打开
  • 长期负债在报表哪里看
  • 进项税转出补交的增值税和附加税可以税前扣除吗
  • 事业单位的费用
  • 收到广告费收入怎么做分录
  • 小规模纳税人如何缴纳企业所得税
  • 直接人工的核算包括
  • 收到以前年度退税款的会计分录
  • PHP:session_set_cookie_params()的用法_Session函数
  • 企业注销时无力缴纳社保
  • PHP:stream_context_get_options()的用法_Stream函数
  • 公司报销客户的差旅费
  • 公司向职工借款利息需要交税吗
  • 资产减值会计处理论文
  • 股权名称应该填什么?
  • 交易性金融资产是什么意思
  • python生成器定义
  • 电子口岸报关单在哪下载
  • 简易计税办法计算的应纳税额可以抵扣吗
  • 社保和公积金在不同单位交可以吗
  • mongodb部署安装
  • 以前年度的企业所得税怎么入账
  • 盈余公积转增实收资本会计科目
  • 建筑公司可以开3个点的专票吗
  • 信息技术服务增值税税负率是多少
  • 不征税收入怎么申报增值税
  • 跨年发票分录
  • 冲减以前年度利润
  • 职工罚款的会计处理办法
  • 应交税金-应交增值税明细账
  • 房屋租赁合同怎么写对房东有利
  • 海关对旧设备进口规定
  • 代收水电费如何入账
  • 在建工程账务处理问题有哪些
  • 环境保护税法自什么时候起施行
  • 公司开办期间的住宿费会计分录
  • 工会经费按实际发放交还是以计提的
  • 生产成本增加记哪边
  • 没有销售收入可以有销售费用吗
  • mac怎么安装ios
  • Win7笔记本怎么连接wifi
  • mac 系统查看
  • macbookair文档怎么变成word
  • Linux开机启动文件
  • win8 cmd在哪
  • xp取消开机启动项
  • windows8怎么去除广告
  • 游戏引擎的重要性
  • three.js 文档
  • javascript有哪些常用的属性和方法
  • 搭建nodejs
  • 基于jquery的框架
  • 手机端apk反编译工具_android反编译工具
  • shell动态显示
  • shell脚本替换文件中某个字符串
  • jquery下拉列表
  • android原生框架
  • 电子发票未验真是假发票吗
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设