运维 – 第3页 – gitweixin

运维 3月 10,2022

如何恢复MySQL误删除数据文件

在生产环境上，误删除ibdata1、ib_logfile0和ib_logfile1。如果mysql进程还在运行，此时select读取数据还是insert、update更新数据都正常。

这时可以通过命令查看mysql的进程

# ps -ef | grep mysqld|awk '{print $1,$2}'|grep mysql
# mysql 4070

查看mysql误删除文件在proc的位置

ll /proc/4070fd|grep -e ibdata -e ib_

可以看到，被删除的3个文件ibdata1、ib_logfile0和ib_logfile1在内存中已经标记为deleted了，可见文件确实是被删除了。

那么为什么MySQL还能正常使用呢？其实，mysqld在运行状态下，会保持ibdata1、ib_logfile0、ib_logfile1这些文件为打开状态，即使把它们删除了，它们仍旧存在于内存文件系统中，所以，mysqld仍然可以对其进行读写。只要mysqld进程不结束（MySQL服务不重启），就可以通过proc文件系统找到这几个被删除的文件。

现在数据库还一直对外提供服务，也就是有数据会持续写入，而在InnoDB存储引擎的buffer pool中，有许多dirty page（脏数据，就是内存中的数据已经被修改，但是没有写到磁盘中）还没提交，如果直接把文件复制回去，肯定会丢失数据，甚至还有可能导致ibdata1文件损坏。在复制数据文件之前，必须保证所有buffer pool中的数据修改都保存到了硬盘上，因此，首先需要停止目前的写入、更新和删除等操作，然后刷新内存数据到磁盘，最后才能复制文件。如何操作呢？可执行下面几个SQL：

FLUSH TABLES WITH READ LOCK;
SHOW engine innodb STATUS\G;
show variables like '%innodb_max_dirty_pages_pct%';
SET global innodb_max_dirty_pages_pct=0;
这样设置后，脏页会迅速减少，磁盘写操作会迅速完成。等待所有脏数据刷新到磁盘后，就可以进行文件复制了。

cp /proc/4070/fd/10  /data1/mysql/ib_logfile1
cp /proc/4070/fd/4   /data1/mysql/ibdata1
cp /proc/4070/fd/9   /data1/myql/ib_logfile0

修改文件权限为MySQL，操作如下：

chown mysql:mysql /data1/mysql/ib*

所有操作完成后，还需要重启数据库服务：

/etc/init.d/mysqld restart

作者 east

Java, 运维 11月 7,2021

一次诡异系统变慢排查

给客户上线了系统（Spring Cloud、微服务，centos上运行），运行1、2年后，客户投诉系统很慢。

自己打开系统，刚开始很快，用一些时间就变慢。看前端请求的接口，是挂起状态，有的要几分钟才有结果。

检查服务器内存和CPU。这是引起系统慢常见的问题，发现这2方面改善后还是变慢，后来干脆重启服务器，依然无解。

检查磁盘坏道。之前用电脑时，如果磁盘有坏道，如果有写操作，有时也会为坏道。用centos检查坏道的命令也没发现。

检查接口代理。由于是前后端分离，用户在前端的请求，都经过第三方代理。如果直接测后台接口是很快，但通过前端访问就变慢了，于是怀疑是第三方代理搞的鬼。于是咨询第三方代理，第三方代理说他们服务的客户，都没有发现这种情况，建议我们排查网络。

检查前端。由于后来又上线几个类似的系统，前端基本一样的，没有安装新的插件。所以觉得可能性不大。

检查浏览器。网上有的说是chrome浏览器早期的bug，如果是已经请求过的接口，会复用之前的。想找不同浏览器或更新到最新chrome的。但几个一样的系统，用同样浏览器也没有变慢，也解释不通。

终极答案。经反复排查，最后发现是前端有个页面每几秒钟请求1次，而请求相关的数据库年长月久数据很多，数据库不能及时响应请求。后来根据业务需要改成几分钟请求1次，果然这个诡异问题没再出现。

作者 east

运维 2月 19,2021

linode如何迁移服务器

linode是个性价比的服务器，广受广大站长喜欢。由于种种原因，可以很方便进行不同地区迁移。例如linode日本地区服务器，在中国用移动网络不太稳定，要迁移到加州。

方法/步骤

虽然迁移服务器理论上讲只是ip变了，不影响服务上网站运行。但为防止万一，最后进行备份。登录linode服务器，找到要迁移的服务器，选择”Migrate”
在下一步的界面中，勾选同意，选择要迁移的服务器地区。最后点击“Enter Migrate Queue”
完成上一步后，可以在服务器的status上看到迁移的进度。迁移完成后会自动重启。
迁移服务后，由于ip变了，所以要在域名解析中，把新ip替换旧的ip。

作者 east

运维 2月 8,2021

shell监控日志关键字，并杀死有故障进程重启

在实际开发当中，会遇到很多程序运行一段时间出现故障，例如flume没有采集日志，写hbase的程序出现”Too many open files”或”session Time out”。除了把代码写健壮性，尽量能做到7*24小时零故障保障，还可以通过crontab来配置定时检测的脚本，分析程序的日志，根据关键来产生预警，或者来进行kill掉进程进行重启。

#bin/sh
is_equal(){
  if [ $1 eq '1' ]
  then
    echo $pid
    kill -9 $pid
    echo $?
  else exit
fi
//$7是gawk分割netstat -tunpl | grep 8083产生字符串的位置
my_pid=`netstat -tunpl | grep 8083 | gawk '{print $7}'`
cur_statu=`cat /app/my.log | tail -n 1 | grep 'Too many open files '|gawk -F 'Too many open files' '{print 1}'`
echo $cur_statu
is_equal $cur_statu $my_pid
sleep 5
nohup java -jar my.jar >/app/my.log 2>&1 &
echo 重启程序

作者 east

运维 8月 23,2020

lnmp一键安装包重新安装mysql

安装mysql好长时间，一直没去管，后来一直频繁重启，各种网上找方案去解决，最后问题太异常，一顿操作猛如虎之后把mysql彻底搞垮，无奈只能进行重装。

#whereis mysql

#mysql: /usr/bin/mysql /usr/lib/mysql /usr/include/mysql /usr/local/mysql

找到五个目录

rm -rf /usr/bin/mysql 五个目录依次删除

然后就可以安装，新的MYSQL了，INIT 启动下的就不用删了，如果还要安装的话，

目前提供了较多的MySQL、MariaDB版本和不安装数据库的选项，需要注意的是MySQL 5.6,5.7及MariaDB 10必须在1G以上内存的更高配置上才能选择！如仅需安装数据库在lnmp安装包目录下执行：

./install.sh db

加上这个DB 就只安装数据库了，别的NGINX就不安装了

杀死以前安装的mysql进程，然后重启就可以啦

lnmp restart

查看进程

ps -ef|grep mysql

强制杀死进程4328

kill -s 9 4328

作者 east

运维 12月 20,2018

备份mysql数据库到远程机器

本网站文章《定时自动备份mysql数据库并删除过期备份》

介绍的备份mysql方法，这样的做法还不够安全，万一本地磁盘坏了，造成的损失将无法弥补。

远程手动备份数据费时费力且不及时。最好的方法就是通过脚本实现远程自动互备。但远程无论是通过SSH登陆，还是通过scp拷贝文件都需要输入密码。为了克服这个问题，首先需要实现不需要密码的SSH登陆，这样就可以使用 rsync，scp，rexec等命令来做的远程备份了。

前提：本地服务器：A，远程服务器：B

生成密钥对
假设A，B两服务器，现在需要在A机上用root登陆B机，而不需要输入密码。那我们可按照下面的步骤来做：

在本地服务器A上生成rsa证书
在本地服务器A上生成rsa证书，运行命令：

ssh-keygen -t rsa
cp生成rsa公钥证书到远程服务器B
使用scp命令进行远程复制，将A机生成的id_rsa.pub.A拷贝到远程服务器B的/root/.ssh目录下

scp /root/.ssh/id_rsa.pub.A root@远程服务器ip:/root/.ssh/

这里使用scp命令需要输入密码，当我们把下面的第三步执行完毕之后，以后本地服务器A使用scp命令复制文件到远程服务器B的话，就不需要再次输入密码。

密钥配对
1、创建authorized_keys文件
当上面将服务器A上的id_rsa.pub.A 文件copy到了服务器B后，现在我们在 B 的/root/.ssh下创建authorized_keys文件，使用如下命令

touch authorized_keys

2、将id_rsa.pub.A文件内容追加到authorized_keys 文件中
通过 cat 命令把id_rsa.pub.A 追写到 authorized_keys 文件中，命令依次如下：

cat id_rsa.pub.A >> authorized_keys

3、修改authorized_keys文件的权限
执行如下命令，修改authorized_keys文件的权限

chmod 400 authorized_keys

authorized_keys文件的权限很重要，如果设置为777，那么登录的时候，还是需要提供密码的。

4、测试
测试服务器A使用scp命令复制文件到服务器B是否还需要密码

在服务A上，再次使用刚才的命令，发现已经可以不需要输入密码。

最后修改mysql_backup.sh的脚本，达到自动备份数据库到远程服务器。

最终脚本如下：

#备份文件后缀时间
time=_` date +%Y_%m_%d_%H_%M_%S `
#需要备份的数据库名称
db_name=user1
#mysql 用户名
db_user=root
#mysql 密码
db_pass=123456
# 远程备份服务器 gitlab备份文件存放路径
RemoteBackDir=/home/rangfeiBackup
# 远程备份服务器登录账户
RemoteUser=root
# 远程备份服务器 IP地址
RemoteIP=120.79.28.12
#本地备份路径
localBackDir=$backupdir/$time.sql.gz
#mysqldump命令使用绝对路径
mysqldump -u $db_user -p$db_pass $db_name | gzip > $localBackDir
scp $localBackDir $RemoteUser@$RemoteIP:$RemoteBackDir
#删除7天之前的备份文件
find $backupdir -name “*.sql.gz” -type f -mtime +7 -exec rm -rf {} \; > /dev/null 2>&1

作者 east

运维 12月 17,2018

定时自动备份mysql数据库并删除过期备份

在实际项目中，遇到有客户机房断电导致数据库数据丢失的问题，又因为备份容灾不及时，导致部分数据恢复不了。使用Linux的自动定时任务命令crontab对数据库进行定时备份可以减少这种情况发生。

新建备份文件并赋予可以执行的权限

mkdir -p /home/mysql_backup/
touch /home/mysql_backup/mysql_backup.sh
chmod 551 /home/mysql_backup/mysql_backup.sh

编辑/home/mysql_backup/mysql_backup.sh

vim /home/mysql_backup/mysql_backup.sh

写入以下内容

# Name:mysql_backup.sh
# This is a ShellScript For Auto DB Backup and Delete old Backup
#备份地址
backupdir=/home/mysql_backup
#备份文件后缀时间
time=_` date +%Y_%m_%d_%H_%M_%S `
#需要备份的数据库名称
db_name=test
#mysql 用户名
#db_user=
#mysql 密码
#db_pass=
#mysqldump命令使用绝对路径
mysqldump --all-databases -u $db_user -p$db_pass | gzip > $backupdir/$time.sql.gz
#删除7天之前的备份文件
find $backupdir -name $db_name"*.sql.gz" -type f -mtime +7 -exec rm -rf {} \; > /dev/null 2>&1

编辑crontab

vim /etc/crontab

在最后一行加入

* */1 * * * root /home/mysql_backup/mysql_backup.sh

重启crontab

service crond restart

作者 east

分类归档运维