总体思路

确认问题与系统现象 → 取证清除与影响评估 → 系统加固 → 复盘整改

常见入侵

挖矿：

  表象：CPU增高、可疑定时任务、外联矿池IP。
  告警：威胁情报（主要）、Hids、蜜罐（挖矿扩散时触发）
  动作：通过CPU确认异常情况→ 确认可疑进程 → 检查定时任务、主机服务、守护进程→结束病毒进程，删除病毒文件->加固。

Webshell：

  表象：业务侧应用逻辑漏洞（允许上传脚本等造成命令执行）或者开源软件低版本造成（fastjson等）导致，通常为反弹shell、高危命令执行，同时存在内网入侵、恶意程序传播、数据盗取等行为。
  告警：Hids（主要）、流量监控设备
  动作：确认Webshell文件内容与可用性→ 酌情断网，摘掉公网出口IP→ 通过日志等确认Webshell文件访问记录→ 确定Webshell入侵来源，是业务逻辑漏洞导致、开源组件漏洞还是弱口令与未授权等情况导致 →排查应用其他机器情况，全盘扫描Webshell文件→ 缩容机器，修复相关问题重新恢复应用开放。

内网入侵：

  表象：以入侵的跳板机为源头进行端口扫描、SSH爆破、内网渗透操作、域控攻击等。
  告警：Hids（主要）、蜜罐、域控监控（ATA等）
  动作：确定入侵边界再进行处理，通常蜜罐等存在批量扫描爆破记录，需登录前序遭入侵机器确认情况，方便后续批量处理，这个情况较为复杂后期单独写一篇文章。

进程相关

1.查询可疑端口、进程、ip：netstat -antlp | more 或者 netstat -anltp | grep $pid，若存在可疑进程可通过 ls -l /proc/$PID 查看PID对应的进程文件路径。
2.针对挖矿等大量消耗系统资源的恶意程序可以通过 top（执行top命令后通过大写字母P按CPU排序，通过大写字母M按内存排序）、ps -elf 可疑$PID 、ps -aux 命令检查排名靠前的或者不断变化的程序。同时使用 kill - 9 进程名 结束进程。
3.查询通过TCP、UDP连接服务器的IP地址列表：netstat -ntu ，查询可疑连接：netstat -antlp
4.查询守护进程：lsof -p $pid
5.查询进程命令行：ps -aux ，#注意查看命令行，如：带有URL等可疑字符串、wget等命令字符串可能为病毒下载地址
6.跟踪可疑进程运行情况：strace -tt -T -e trace=all -p $pid

系统相关

检查账户安全：

① 检查近期登陆的账户记录：使用 last 命令，禁用可疑用户：usermod -L 用户名，删除用户：userdel -r 用户名
② 查询特权用户：awk -F ":" '$3==0{print $1}' /etc/passwd
③ 查询可远程登录用户：awk '/\$1|\$6/{print $1}' /etc/shadow
④ 查询sudo权限账户：cat /etc/sudoers | grep -v "^#\|^$" | grep "ALL=(ALL)"
⑤ 与业务确认管理员帐户、数据库帐户、MySQL 帐户、tomcat 帐户、网站后台管理员帐户等密码设置是否存在弱口令情况。

检查启动项与定时任务：

① cron目录(/var/spool/cron,查询目录下所有文件通过ls -al)下检查非法定时任务脚本：查看/etc/crontab，/etc/cron.d，/etc/cron.daily，cron.hourly/，cron.monthly，cron.weekly/是否存在可疑脚本或程序，进行注释或者删除。
② 编辑定时任务：crontab -e，查看定时任务：crontab -l，查看anacron异步定时任务：cat /etc/anacrontab，删除定时任务：crontab -r
3.查询主机历史命令: history
4.查询主机所有服务：service --status-all
5.开机启动项：ls -alt /etc/init.d/ cat /etc/rc.local

文件相关

关于敏感目录：

① 查看tmp目录相关文件：ls -alt /tmp/
② 指定目录下文件按时间排序：ls -alt |head -n 10
③ 查看可疑文件详细修改时间： stat 目录或者文件

关于文件篡改：

① 查找24小时内被修改的特定文件：find ./ -mtime 0 -name "*.jsp"
② 查找72小时内新增的文件：find / -ctime -2
③ 查询一定时间内敏感目录下被修改的系统文件： find /etc/ /usr/bin/ /usr/sbin/ /bin/ /usr/local/bin/ /var/spool/cron/ -type f -mtime -3 | xargs ls -l

删除恶意文件：

① ls -al /proc/[pid]/，ls -al /proc/[pid]/exe
② rm -f [exe_path]
查询文件md5： md5sum 文件名
查询SSH登录日志： vim /var/log/secure #所有ssh登录打包日志均在该文件夹，可直接vim，快速判断爆破痕迹(Accepted password：密码正确、Failed password：密码错误)

其他

关于取证备份：

系统服务备份 chkconfig --list > services.log
进程备份 ps -ef > ps.log
监听端口备份 netstat -utnpl > port-listen.log
系统所有端口情况 netstat -ano > port-all.log

查看是否有账号异常登录情况：

a.查看当前登录用户和其行为：w
b.查看所有用户最后一次登录的时间：lastlog
c.查看所有用户的登录注销信息及系统的启动、重启及关机事件：last
d.查看登录成功的日期、用户名及ip：grep "Accepted " /var/log/secure* | awk '{print $1,$2,$3,$9,$11}'
e.查看试图爆破主机的ip：grep refused /var/log/secure* | awk {'print $9'} | sort | uniq -c |sort -nr | more 、 grep "Failed password" /var/log/secure* | grep -E -o "(([0-9]{1,3})\.([0-9]{1,3})\.([0-9]{1,3})\.([0-9]{1,3}))" | uniq -c
f.查看有哪些ip在爆破主机的root账号：grep "Failed password for root" /var/log/secure | awk '{print $11}' | sort
g.查看爆破用户名字典：grep "Failed password" /var/log/secure | awk {'print $9'} | sort | uniq -c | sort -nr

cron文件检查恶意脚本位置：

/var/spool/cron/*
/etc/crontab 
/etc/cron.d/* 
/etc/cron.daily/* 
/etc/cron.hourly/* 
/etc/cron.monthly/* 
/etc/cron.weekly/ 
/etc/anacrontab     
/var/spool/anacron/*

检查近期被替换命令:

ls -alt /usr/bin /usr/sbin /bin /usr/local/bin

文章转载请说明出处：八零岁月 » 服务器入侵应急响应排查（Linux篇）