MySQL_第三方数据库引擎_tokudb
2018-06-17 23:58:28来源:未知 阅读 ()
前阵子迁移zabbix到tokudb,整理部分操作笔记到这篇博文。
1 tokudb引擎介绍
- 特性:高压缩,可支持多个聚集索引,支持ACID、MVCC,使用 Fractal Tree 索引
- 优点:
-
- fractal tree 可以再了解下,对随机IO有非常大的改善作用
- fractal tree 可以快速插入及删除,在随机IO方面的性能比 B-tree的性能更优
- 高压缩,官网给出最大25倍
- 对数据及索引进行压缩,根据数据的可压缩性,官网给出的最大压缩比是 25 倍
- 在线索引创建,创建期间,insert delete的DML支持,update呢 ?
- 在线列增加删除重命名,修改期间,insert delete的DML支持,update呢 ?
- 在线备份
- 多个聚集索引
- 无io读复制
- TokuDB slave可以配置,让来自master修改可以最小化。通过记录fractal tree索引:
- Insert/update/delete操作可以控制取消read-modify-write的行为,然后注入消息到合适的fractal tree。
- Update/delete操作可以配置取消需要io的一致性检查。
- 为了使用使用无io读复制,服务需要配置:
- 在replication master:
- 设置为binlog行模式:BINLOG_FORMAT=ROW
- 在replication slave:
- Slave必须为只读:read_only=1
- 取消一致性检查:tokudb_rpl_unique_checks=0
- 关闭查找(read-modify-write) :tokudb_rpl_lookup_rows=0
- 可以在一个或者多个slave上配置。只要master使用了基于行的复制,优化在tokudb slave就可用。也就是说如果master使用innodb或者myisam表也是可用的。
- 无损化,少碎片
- 4Mb为单位进行存储
- 快速恢复
- 恢复时长少于1min
- fractal tree 可以再了解下,对随机IO有非常大的改善作用
2 Tokudb安装
2.1 percona mysql安装
1 下载最新percona mysql二进制包 2 解压 tar zvxf Percona-Server-5.7.17-13-Linux.x86_64.ssl101.tar.gz 3 软连接 ln -s /opt/percona/Percona-Server-5.7.17-13-Linux.x86_64.ssl101 /usr/local/pmysql 4 建立用户及用户组 groupadd mysql useradd -g mysql -s /sbin/nologin -d /usr/local/mysql/ -M mysql 5 建立文件夹 mkdir -p /data/mysql/pmysql3330/{data,tmp,logs} 6 数据库配置文件 pmysql3330.cnf 7 授权 [root@sutest242 percona]# chown -R mysql:mysql /usr/local/pmysql/ [root@sutest242 percona]# chown -R mysql:mysql /opt/percona/Percona-Server-5.7.17-13-Linux.x86_64.ssl101 [root@sutest242 percona]# chown -R mysql:mysql /data/mysql/pmysql3330/ 8 看是否需要配置环境变量 vim /etc/profile PATH=$PATH:/usr/local/pmysql/bin source profile 9 初始化实例 /usr/local/pmysql/bin/mysqld --defaults-file=/data/mysql/pmysql3330.cnf --initialize 10 检查是否安装有问题 vim /data/mysql/pmysql3330/data/error.log 11 启动数据库实例 /usr/local/pmysql/bin/mysqld --defaults-file=/data/mysql/pmysql3330.cnf & 12 修改密码 cat /data/mysql/pmysql3330/data/error.log | grep password /usr/local/pmysql/bin/mysql --socket=/tmp/pmysql3330.sock -uroot -p alter user root@localhost idnetified by '******'; flush privileges;
2.2 安装 jemalloc,管理内存
2.3 修改transparent_hugepage
tokudb引擎需要启动透明大页,更好的提供内存管理。
echo never > /sys/kernel/mm/transparent_hugepage/defrag
2.4 安装tokudb引擎跟percona client
2.5 启用tokudb存储引擎
* Run the following script to enable the TokuDB storage engine in Percona Server:
ps_tokudb_admin --enable -u <mysql_admin_user> -p[mysql_admin_pass] [-S <socket>] [-h <host> -P <port>]
* See http://www.percona.com/doc/percona-server/5.7/tokudb/tokudb_installation.html for more installation details
* See http://www.percona.com/doc/percona-server/5.7/tokudb/tokudb_intro.html for an introduction to TokuDB
>> Percona server is running with jemalloc enabled.
Checking transparent huge pages status on the system...
>> Transparent huge pages are currently disabled on the system.
Checking if thp-setting=never option is already set in config file...
>> Option thp-setting=never is not set in the config file.
>> (needed only if THP is not disabled permanently on the system)
Checking TokuDB plugin status...
>> TokuDB plugin is not installed.
Adding thp-setting=never option into /etc/mysql/my.cnf
>> Successfuly added thp-setting=never option into /etc/mysql/my.cnf
Installing TokuDB engine...
>> Successfuly installed TokuDB plugin.
3 文件管理及分析
3.1 安装tokudb引擎后的新增文件
- tokudb.environment:tokudb赢取的环境变量存储文件,像创建时间、当前版本号
- tokudb.rollback:每一个tokudb的事务,都有自己的回滚日志,具体回滚日志分配相关信息记录在这里
- tokudb.directory:映射文件夹的名字
3.2 tokudb文件管理
- 如何迁移:
- 关闭数据库服务
- 配置文件中添加或者修改 tokudb_data_dir、tokudb_tmp_dir、、、
- 创建 tokudb 文件的存储目录
- 移动文件
- 移动 *.tokudb 文件 跟 __tokudb_lock_dont_delete_me_data 到新的存储目录
- 移动 __tokudb_lock_dont_delete_me_temp 到新的 存储目录
- 移动 到新的 log*.tokulog* files and your __tokudb_lock_dont_delete_me_logs file 存储目录
- 启动数据库服务器
- 查看文件的存放位置
- SELECT dictionary_name, internal_file_name FROM INFORMATION_SCHEMA.TokuDB_file_map;
3.3 问题分析
4 备份
4.1 安装备份引擎
4.2 备份tokudb
- 配置前提
-
- 如果实例含有innodb引擎的表格,需要关闭 innodb异步io的变量 innodb_use_native_aio,避免出现数据不一致,无法恢复的备份。这个变量只能在配置文件中添加,属于readonly变量
- 建立备份文件夹,这个文件夹必须是为空、授权备份文件夹可写,因为备份的时候,需要写入及创建文件夹,所以对其所在的文件夹需要有权限
- 注意,tokudb_back对本身引擎的表格,支持对单独存储的 tokudb_data_dir\ tokudb_log_dir \binary log备份,但是,不支持不支持不支持 innodb或者myisam引擎的表格另外存储,也就是 所有的InnoDB存储引擎,MyISAM,及其他文件必须在MySQL datadir
- tokubackup不备份MySQL的配置文件(S)
- tokubackup不支持增量备份
- 配置
-
- 在配置文件中设置 innodb_use_native_aio = OFF,重启数据库实例,这里注意,启动数据库需要到 /usr/local/pmysql 目录下,执行 ./bin/mysqld_safe --defaults-file=/data/mysql/pmysql3330.cnf
- 建立文件夹 /data/backup/pmysql3330 ,并授权
-
- chown -R mysql:mysql /data/backup
- 实例备份
-
- set tokudb_backup_dir='/data/backup/pmysql3330';
- 执行这个指令则开始备份,备份过程中,支持读写,
- 备份出错验证
- 表格备份
- 实例备份后还原
-
- tokudbback没有特定的函数进行数据恢复,可以使用cp或者sync到 数据目录,或者直接使用备份目录
- 注意权限修改
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
- MySQL replace函数怎么替换字符串语句 2020-03-09
- PHP访问MySQL查询超时怎么办 2020-03-09
- mysql登录时闪退 2020-02-27
- MySQL出现1067错误号 2020-02-27
- mysql7.x如何单独安装mysql 2020-02-27
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash