🔍 Debug排查场景决策

# 实时看日志 tail -f /var/log/app/app.log # 搜索异常关键字 grep -n "NullPointerException" app.log # 搜索某个订单的所有日志 grep "ORDER-2024-001234" app.log # 看最近10分钟ERROR日志 find /var/log/app -name "*.log" -mmin -10 | xargs grep "ERROR" # ELK 查询（Kibana） // level: ERROR AND message: "orderId: 1234" // @timestamp: [now-30m TO now]

# tcpdump 服务器抓包 # 抓 8080 端口的 HTTP 请求 tcpdump -i any port 8080 -A -s 0 # 抓某个IP的请求 tcpdump -i any host 10.0.0.5 -w capture.pcap # 抓 HTTP POST 请求 tcpdump -i any -A -s 0 'tcp port 8080 and (((ip[2:2] - ((ip[0]&0xf)<<2)) - ((tcp[12]&0xf0)>>2)) != 0)'

# 方式1：async-profiler（推荐，Java专用） # 下载 async-profiler java -jar async-profiler.jar -d 30 -f flamegraph.html <pid> # 30秒后生成 flamegraph.html，浏览器打开即可 # 方式2：jstack 采样 + 生成 # 多次 jstack 统计方法出现频率 for i in {1..10}; do jstack <pid> > stack_$i.txt sleep 1 done # 方式3：Arthas 生成火焰图 # java -jar arthas-boot.jar # profiler start # 等待30秒 # profiler stop --format html

# 获取线程dump jstack <pid> > thread_dump.txt # 找 CPU 最高的线程 # Step 1: 找到Java进程 jps -l # Step 2: 找到高CPU线程ID top -Hp <pid> # 假设线程ID是 12345 # Step 3: 转为16进制 printf "%x\n" 12345 # 输出: 3039 # Step 4: 在dump中搜索 jstack <pid> | grep "0x3039" -A 30 # 死锁示例输出: # Found one Java-level deadlock: # ============================= # "Thread-1": # waiting to lock monitor...,- locked <0x000000076b...>(a java.lang.Object), # which is held by "Thread-0" # "Thread-0": # waiting to lock monitor...,- locked <0x000000076b...>(a java.lang.Object), # which is held by "Thread-1"

# 手动获取堆dump jmap -dump:format=b,file=heap.hprof <pid> # OOM 时自动dump（推荐配置） // JVM启动参数 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp/heapdump.hprof # 用 MAT (Memory Analyzer Tool) 分析 # 1. 下载 Eclipse MAT # 2. 打开 heapdump.hprof # 3. 查看 Leak Suspects（泄漏嫌疑对象） # 4. 查看 Dominator Tree（占内存最大的对象） # 5. 查看 GC Roots 引用链（谁引用了这个对象导致无法回收） # 快速查看堆概况（不用dump） jmap -histo <pid> | head -20 # 输出类似: # num #instances #bytes class name # 1: 1234567 123456789 [B (byte数组) # 2: 567890 45678901 java.lang.String

# 启动 Arthas java -jar arthas-boot.jar # 选择你的 Java 进程 # 1. trace 追踪慢接口 trace com.example.service.OrderService createOrder # 输出: # +---[200ms] createOrder() # +---[150ms] checkStock() ← 这里最慢！ # +---[30ms] saveOrder() # +---[20ms] publishEvent() # 2. watch 观察方法入参和返回值 watch com.example.service.OrderService createOrder "{params, returnObj, throwExp}" -x 2 # 每次调用都会打印入参、返回值、异常 # 3. 反编译确认代码版本 jad com.example.service.OrderService # 看到源码 → 确认是不是最新版本 # 4. 条件追踪（只看特定订单） trace com.example.service.OrderService createOrder 'params[0].orderId == "ORD123"'

# JVM 启动参数挂载 Agent java -javaagent:/path/to/skywalking-agent.jar \ -Dskywalking.agent.service_name=order-service \ -Dskywalking.collector.backend_service=oap:11800 \ -jar app.jar # 自动采集： # 1. 每个 HTTP 请求的调用链 # 2. MySQL/Redis/MQ 调用 # 3. 接口耗时、错误率 # 4. 服务拓扑图 // 代码中添加自定义 Span import org.apache.skywalking.apm.toolkit.trace.TraceContext; public void processOrder(Order order) { // 获取 traceId，方便日志关联 String traceId = TraceContext.getTraceId(); log.info("traceId={}, orderId={}", traceId, order.getId()); }