ShardingSphere生产实战

由于业务发展，数据库中某几张核心表未来半年单表数据能达到20亿左右。也因为外部的因素，只能用mysql来存储数据。所以考虑分库分表，最终选型为ShardingSphere。

方案选型可见文章：Mysql大数据量解决方案

考虑拆分后数据不会绝对均匀，按前期每表存400万来算，大约需512张表。8个库，那每库有64张表。团队采用的单分片键，按什么分片可自行约定，比如按地区，按业务标识等。

配置的分片策略为：

• 库：sharding_column % 8

• 表：sharding_column / 8 % 64

本地用了两个版本测试，线上用的是5.2.0版本。

ShardingSphere 5.0.0-alpha

5.0.0-alpha 和 5.2.0配置文件有差异。

配置文件中common项可以配置数据源的公共配置。5.2.0版本公共项只能在每个数据源下都配置一遍。

maven版本：

5.0.0-alphaorg.apache.shardingsphereshardingsphere-jdbc-core-spring-boot-starter${shardingsphere-starter.version}

com.alibabadruid1.1.22

application.yml:

spring:shardingsphere:datasource:common:type: com.alibaba.druid.pool.DruidDataSourcedriver-class-name: com.mysql.cj.jdbc.Driverinitial-size: 6maxActive: 20# 配置获取连接等待超时的时间maxWait: 60000# 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒timeBetweenEvictionRunsMillis: 60000# 配置一个连接在池中最小生存的时间，单位是毫秒minEvictableIdleTimeMillis: 300000#Oracle需要打开注释#validationQuery: SELECT 1 FROM DUALtestWhileIdle: truetestOnBorrow: falsetestOnReturn: false# 打开PSCache，并且指定每个连接上PSCache的大小poolPreparedStatements: truemaxPoolPreparedStatementPerConnectionSize: 20# 配置监控统计拦截的filters，去掉后监控界面sql无法统计，'wall'用于防火墙filters: stat,wall,slf4j# 通过connectProperties属性来打开mergeSql功能；慢SQL记录connectionProperties: druid.stat.mergeSql\=true;druid.stat.slowSqlMillis\=5000wall:multi-statement-allow: truenames: ds0, ds_1, ds_2, ds_3, ds4, ds_5, ds_6, ds_7ds0:type: com.alibaba.druid.pool.DruidDataSourcedriverClassName: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://127.0.0.1/test?autoReconnect=true&useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8username: rootpassword: rootds1:......省略rules:sharding:tables:# 逻辑表名t_record:actualDataNodes: ds_$->{0..7}.t_record_$->{0..63}# 配置表分片策略tableStrategy:standard:shardingColumn: record_idshardingAlgorithmName: t-record-inlinekeyGenerateStrategy:column: idkeyGeneratorName: snowflakedefaultShardingColumn: record_id#绑定表bindingTables:- t_recorddefaultTableStrategy:none:defaultDatabaseStrategy:standard:shardingColumn: record_idshardingAlgorithmName: database-inline#分片算法配置sharding-algorithms:t-record-inline:type: INLINEprops:algorithm-expression: t_record_$->{record_id.intdiv(8) % 64}database-inline:type: INLINEprops:algorithm-expression: ds_$->{record_id % 8}default-key-generate-strategy:column: idkey-generator-name: snowflakekey-generators:snowflake:type: SNOWFLAKEprops:worker-id: 123props:sql-show: true

配置Druid监控代码：

@Configuration
public class DruidConfig {@Beanpublic ServletRegistrationBean statViewServlet() {ServletRegistrationBean bean = new ServletRegistrationBean(new StatViewServlet(), "/druid/*");Map initParams = new HashMap<>();initParams.put("loginUsername", "root");initParams.put("loginPassword", "root");//initParams.put("", true);//默认就是允许所有访问initParams.put("allow", "127.0.0.1");//黑名单IPinitParams.put("deny", "192.168.1.1");bean.setInitParameters(initParams);return bean;}@Beanpublic FilterRegistrationBean webStatFilter() {WebStatFilter webStatFilter = new WebStatFilter();FilterRegistrationBean filterRegistrationBean = new FilterRegistrationBean<>(webStatFilter);filterRegistrationBean.setUrlPatterns(Arrays.asList("/*"));filterRegistrationBean.addInitParameter("exclusions", "*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*");return filterRegistrationBean;}
}

ShardingSphere 5.2.0线上配置

maven版本：

5.2.0
org.apache.shardingsphereshardingsphere-jdbc-core-spring-boot-starter${shardingsphere-starter.version}

com.alibabadruid1.1.18

application.yml:

spring:shardingsphere:datasource:names: ds0, ds_1, ds_2, ds_3, ds4, ds_5, ds_6, ds_7ds_0:type: com.alibaba.druid.pool.DruidDataSourcedriverClassName: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://127.0.0.1/prod?autoReconnect=true&useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8username: rootpassword: rootmaxWait: 60000maxActive: 100validationQuery: SELECT 1testWhileIdle: truetestOnBorrow: truetimeBetweenEvictionRunsMillis: 300000minEvictableIdleTimeMillis: 3600000useUnfairLock: trueds_1:......省略rules:sharding:tables:# 逻辑表名t_record:actualDataNodes: ds_${0..7}.t_record_${0..63}# 配置表分片策略tableStrategy:standard:shardingColumn: record_idshardingAlgorithmName: t-record-inlinekeyGenerateStrategy:column: idkeyGeneratorName: UUIDdefaultShardingColumn: record_id#绑定表bindingTables:- t_recorddefaultTableStrategy:none:defaultDatabaseStrategy:standard:shardingColumn: record_idshardingAlgorithmName: database-inline#分片算法配置sharding-algorithms:t-record-inline:type: INLINEprops:algorithm-expression: t_record_${record_id.intdiv(8) % 64}database-inline:type: INLINEprops:algorithm-expression: ds_${record_id % 8}default-key-generate-strategy:column: idkey-generator-name: UUIDkey-generators:UUID:type: UUIDprops:sql-show: false

Groovy中相除结果为浮点数

record_id/8有时会出现0.5的结果，则表名为t_record_0.5，会报错。

原因是Groovy不提供专用的整数除法运算符符号，需将表达式中 record_id/8 修改为 record_id.intdiv(8)

在application.yml 下加入Druid监控配置会报错

spring:shardingsphere:datasource:names: ds0, ds_1, ds_2, ds_3, ds4, ds_5, ds_6, ds_7ds_0:filters: stat

可见github上issues：https://github.com/apache/shardingsphere/issues/21211

报错
Caused by: org.yaml.snakeyaml.constructor.ConstructorException: Can't construct a java object for tag:yaml.org,2002:com.alibaba.druid.filter.stat.StatFilter; exception=Class is not accepted: com.alibaba.druid.filter.stat.StatFilterin 'string', line 76, column 5:- !!com.alibaba.druid.filter.stat. ... 

5.2.0自动审计配置不生效，配置审计是为了拦截没有走分片键的sql，避免全路由。

排查后是因为 ShardingSphereAutoConfiguration 自动配置没有把审计的实现类注入。于是乎本地手动注入，具体实现为配置一个后置处理器BeanPostProcessor 即可。

具体案例可参考之前文章：策略模式、模板模式实战

@Override
public Object postProcessAfterInitialization(Object bean, String beanName) throws BeansException {//加载审计配置，ShardingRuleSpringBootConfiguration自动配置类未加载，所以手动加载if (bean instanceof AlgorithmProvidedShardingRuleConfiguration) {PropertySource source = ((ConfigurableEnvironment) environment).getPropertySources().get("applicationConfig: [classpath:/application.yml]");Object val = source.getProperty("spring.shardingsphere.rules.sharding.auditors.sharding_key_required_auditor.type");//简单实现if (val != null) {Map auditors = new LinkedHashMap<>();auditors.put("sharding-key-required-auditor", new DMLShardingConditionsShardingAuditAlgorithm());((AlgorithmProvidedShardingRuleConfiguration) bean).setAuditors(auditors);}}return bean;
}

5.2.0版本测试问题

• 5.2.0版本中配置ShardingSphere主键生成策略不生效，与MybatisPlus主键生成策略冲突，猜测原因是5.2.0版本问题。

所以代码中主键生成用MybatispPlus内置的雪花算法实现。

• 除了分片表之外，ShardingSphere连接的数据源中，不能有重复的表。ShardingSphere启动时，会把对应的数据源和表的映射关系放在Map中，如果重复，则一个表会对应多个数据源。表关联会报错（必须指定相同的数据源）。

• 分片表和普通表可以join查询，但必须指定相同的数据源。

• ShardingSphere支持跨库事务更新，如果是代码逻辑异常则会回滚。