🧱 监控四层体系

指标/日志/链路/告警 —— 每层看什么,命令行与可视化分别怎么做

指标看趋势→日志看细节→链路看全程→告警通知

📈指标监控 Metrics

CPU/内存/QPS/RT 等数值型指标,看系统健不健康。

⌨️ 命令行

top

top -Hp PID

free -h

vmstat 1

🖥️ 大屏

Prometheus+Grafana:历史趋势曲线、多机对比、聚合统计、阈值告警

📜日志 Logging

应用输出的事件,搜错误/看异常栈/定位时间段。

⌨️ 命令行

tail -f app.log

grep "ERROR" app.log

awk '/14:00/,/14:05/'

🖥️ 大屏

ELK(Kibana):全文搜索、按字段筛选、错误率趋势、跨机搜索

🔗链路追踪 Tracing

一个请求跨了哪些服务、卡在哪一段。

⌨️ 命令行

grep "traceId" *.log

# 人脑拼调用链

# 痛苦、易漏

🖥️ 大屏

SkyWalking/Jaeger:调用链拓扑图、瀑布图、红色标慢节点、自动traceId串联

🚨告警 Alerting

指标超阈值自动通知,别等用户投诉。

⌨️ 脚本

crontab 定时检查

超阈值 curl webhook

# 简陋、易漏

🖥️ 大屏

Alertmanager:分组、抑制、静默、分级(P0电话/P1钉钉)

四层配合:指标先发现"有事" → 日志搜"是什么错" → 链路看"卡在哪" → 告警把人喊来。少哪一层都瞎一只眼。

运维监控 · 四层体系 · 全栈资料库