首页 > > 程序设计 > Java技术 >

数据库分表之Mybatis+Mysql实践（含部分关键代码…

2018-06-27 09:55:36来源：未知 阅读 ()

新老客户大回馈,云服务器低至5折

2018年01月31日
     随着我们系统用户数量的日增，业务数据处于一个爆发前，增长的数据量已经给我们的系统造成了很大的不确定。在上个周末用户量较多，并发较大的情况下，读写频繁的验证码表，数据量达到几十万上百万的时候出现了锁表阻塞，导致用户登录验证失败，进而导致系统的一度反应较慢，甚至登录不上等问题。查了很多资料，发现大家都是偏理论，索性自己实现了，发出来以作记录，也能给别人一些帮助。诸位有什么高明意见，欢迎交流。个人QQ：1612301243,非诚勿扰。
     由于这种读写更新频繁的表，造成性能下降，仅仅通过添加redis缓存已经解决不了问题。所以我们引入了数据库表切分的解决方案。
     考虑到业务表数据量的增长情况，我们决定采用按周或者按月的方式进行表的切分，具体路由规则如下：
           切分策略，见仁见智。
package com.**.uc.utils;
import java.util.Calendar;
import org.apache.commons.lang.StringUtils;
public class TableRouter {
            
            /**
             * table路由规则，获取新表名称
             * @param prefix  表明前缀
             * @param strategy 切分策略,
             * @return
             */
            public static String getUcCaptchaTable(String prefix,String strategy ){
                        //根据切分策略进行切分，添加一定的容错，该部分主要是针对读写频繁的验证码表，故部分代码写死为主表的数据；
                        //切分策略为周时，返回“表名_年份周次”，也就是说一年会有52张表
                        //切分策略为月时，返回“表名_年份月份”，也就是说一年会有12张表
                        //该种切分策略的弊端，是在周末凌晨或者月末凌晨的几分钟，存在验证不存在的情况，在我们的系统允许范围内，故此处未做特殊处理。
                        if(StringUtils.isNotBlank(prefix)&&StringUtils.isNotBlank(strategy)&&prefix.equals("uc_captcha")&&"week".equals(strategy)){
                                    Calendar c=Calendar.getInstance();
                    int i = c.get(Calendar.WEEK_OF_YEAR);
                    StringBuffer sb = new StringBuffer();
                    int year = c.get(Calendar.YEAR);
                    String suffix = sb.append(year).append(i).toString();
                    System.out.println(suffix);
                    return prefix+"_"+suffix;
                        }else if(StringUtils.isNotBlank(prefix)&&StringUtils.isNotBlank(strategy)&&prefix.equals("uc_captcha")&&"month".equals(strategy)){
                                    Calendar c=Calendar.getInstance();
                    int i = c.get(Calendar.MONTH);
                    StringBuffer sb = new StringBuffer();
                    int year = c.get(Calendar.YEAR);
                    String suffix = sb.append(year).append(i).toString();
                    System.out.println(suffix);
                    return prefix+"_"+suffix;
                        }
                        //获取不到分表名称，则返回主表名称
                        return "uc_captcha";
            }
            
}
切分策略写好后，关键的是我们需要将我们的sql中对应的表名更改为动态传入，此处用到的是mybatis的多参数映射属性。
部分java代码与xml代码如下：
java代码如下（支持集中基本的数据类型，注意map的写法，list的话，采用list 小写）：
             /**插入一条数据 **/
   public int add(@Param("table") String table  ,@Param("map") Map<String,Object> map);
             /**更新一条数据**/
   public int update(@Param("table") String table  ,@Param("map") Map<String,Object> map);
 
xml文件：注意表名的写法 ${table}使用${}不携带jabcType，也不能使用#;map取参数，使用map.prapmeter 取参数
      <!-- 插入一条新记录 -->
      <insert id="add" parameterType="map">
       insert into ${table}(pid,btype,uid,naccount,capthcha,ntype,ctime,expiration)
       values(
       #{map.pid, jdbcType=VARCHAR},
       #{map.type, jdbcType=VARCHAR},
       #{map.uid, jdbcType=VARCHAR},
       #{map.phone, jdbcType=VARCHAR},
       #{map.code, jdbcType=VARCHAR},
       #{map.is_active, jdbcType=VARCHAR},
       #{map.ctime, jdbcType=VARCHAR},
       #{map.invalid_time, jdbcType=VARCHAR}
       )
       <selectKey resultType="int" keyProperty="pid" >
             SELECT @@IDENTITY AS pid
       </selectKey>
      </insert>
domain层调用如下：
 
int validation_id = validationDao.add(getCurrentTableName(),map);
其中getCurrentTableName()为内部方法，其中是根据配置的策略以及路由规则获取分表表名，代码如下：
 
/**
             * 获取当前分表名称
             */
            public String getCurrentTableName() {
                        String tableName =  TableRouter.getUcCaptchaTable("uc_captcha", strategy);
                        if(!this._this.existTable(tableName)){//不存在新表，则创建新表，并返回新表表名
                                    try {
                                                int tableCreateRes = validationDao.dynamicCreateTable(tableName);         
                                                if(tableCreateRes >=0){
                                                            //创建新表，清空表不存在的缓存，
                                                            this._this.notExistTable(tableName);
                                                }
                                    } catch (Exception e) {
                                                return "uc_captcha";
                                    }
                        }
                        return tableName;
            }
 
            /**
             * 缓存表是否存在，减轻
             */
            @Cacheable(value="uc2cache", key="'uc_captcha_exist_'+#tableName")
            public boolean existTable(String tableName){
                        int tableCount = validationDao.existTable(tableName);
                        if(tableCount == 0){//不存在新表，则创建新表，并返回新表表名
                                    return false;
                        }
                        return true;//存在
            }
           @CacheEvict(value="uc2cache", key="'uc_captcha_exist_'+#tableName")
            public void notExistTable(String tableName){}
 
考虑到每次都会调用数据库查询表是否存在，我们为减少对数据库的IO，我们采用了redis缓存的方式，其中AOP切面，自调用不起作用的情况，不在此处赘述。
你可以看到，不存在路由的分表的时候，我们会进行创建表，创建语句如下：
 
<!-- 查询表是否存在 -->
<select id="existTable" parameterType="String" resultType="Integer"> 
        select count(1)
        from information_schema.tables 
        where LCASE(table_name)=#{table,jdbcType=VARCHAR} 
    </select>
<!-- 创建表 -->
<update id="dynamicCreateTable" parameterType="String">
      CREATE TABLE  if not EXISTs ${table} (
  `pid` varchar(36) NOT NULL,
  `uid` int(11) DEFAULT NULL,
  `btype` varchar(30) NOT NULL COMMENT '业务类型例如：sign 用户注册。login 用户登陆',
  `ntype` varchar(30) NOT NULL COMMENT '短信、邮箱、微信等。根据系统支持取值',
  `naccount` varchar(30) NOT NULL COMMENT '手机号、邮箱、微信等',
  `capthcha` varchar(6) NOT NULL COMMENT '6位随机验证码',
  `expiration` int(11) NOT NULL COMMENT '有效期，距离1970年秒数',
  `ctime` int(11) NOT NULL COMMENT '创建时间距离1970年秒数',
  PRIMARY KEY (`pid`),
  KEY `fk_uccaptcha_uid` (`uid`),
  KEY `uk_uc_captcha_ub` (`btype`) USING BTREE,
  CONSTRAINT ${table}_ibfk_1 FOREIGN KEY (`uid`) REFERENCES `uc_users_ext` (`uid`) ON DELETE CASCADE
) ENGINE=InnoDB DEFAULT CHARSET=utf8
</update>
<!--成功返回0  失败会跑错，我们已经做了容错处理-->
至此，数据库的切分表功能基本完成。
 
发一个beanselfaware的链接 ：http://fyting.iteye.com/blog/109236
 

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有

上一篇：浅析final关键字

下一篇：Java进阶篇（六）——Swing程序设计（下）

相关文章

IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设

网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源

网站联盟： 联盟新闻 联盟介绍 联盟点评 网赚技巧

行业资讯： 搜索引擎 网络游戏 电子商务 广告传媒

网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它

服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护

软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷

网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash

程序设计： Java技术 C/C++ VB delphi

网络知识： 网络协议 网络安全 网络管理 组网方案 Cisco技术

操作系统： Win2000 WinXP Win2003 Mac OS Linux FreeBSD

热门词条
最新资讯
热门关注
热门标签