案例：某 Web 应用运行 3 天后开始变慢

原因：每次请求都创建新的数据库连接对象，但没有正确关闭
结果：内存中的连接对象越积越多，最终 OOM

教训：资源必须在使用后释放，使用 try-with-resources

案例：一个下游服务超时导致整个系统崩溃

原因：调用下游服务时没有设置超时时间
结果：线程池被耗尽，所有请求都被阻塞

教训：必须设置超时，使用断路器模式

案例：一台服务器宕机导致整个服务不可用

原因：只有一个实例，没有冗余
结果：硬件故障导致完全停机

教训：消除单点故障，使用负载均衡和多实例

事后分析模板：

事件：2024-01-15 支付系统宕机 2 小时

时间线：
- 14:00 流量开始激增
- 14:15 数据库连接池耗尽
- 14:30 所有支付请求超时
- 15:00 运维发现告警
- 15:30 扩容数据库连接池
- 16:00 服务恢复

根因：
- 数据库连接池大小配置为 10，不足以应对流量激增
- 没有连接池监控告警

影响：
- 约 5000 笔支付失败
- 用户投诉 200+

改进措施：
- 连接池大小调整为 100
- 添加连接池使用率监控
- 添加自动扩容机制

// 反模式：没有超时
public String callDownstream(String url) {
    HttpURLConnection conn = (HttpURLConnection) new URL(url).openConnection();
    InputStream in = conn.getInputStream();
    // 如果下游服务不响应，这里会永远阻塞
    return new String(in.readAllBytes());
}

// 正确做法：设置超时
public String callDownstream(String url) throws IOException {
    HttpURLConnection conn = (HttpURLConnection) new URL(url).openConnection();
    conn.setConnectTimeout(5000);  // 连接超时 5 秒
    conn.setReadTimeout(10000);    // 读取超时 10 秒
    InputStream in = conn.getInputStream();
    return new String(in.readAllBytes());
}

public class CircuitBreaker {
    private enum State { CLOSED, OPEN, HALF_OPEN }
    
    private State state = State.CLOSED;
    private int failureCount = 0;
    private final int failureThreshold;
    private final long timeout;
    private long lastFailureTime;
    
    public CircuitBreaker(int failureThreshold, long timeout) {
        this.failureThreshold = failureThreshold;
        this.timeout = timeout;
    }
    
    public synchronized <T> T execute(Callable<T> callable) throws Exception {
        if (state == State.OPEN) {
            if (System.currentTimeMillis() - lastFailureTime > timeout) {
                state = State.HALF_OPEN;
            } else {
                throw new CircuitBreakerOpenException();
            }
        }
        
        try {
            T result = callable.call();
            onSuccess();
            return result;
        } catch (Exception e) {
            onFailure();
            throw e;
        }
    }
    
    private void onSuccess() {
        failureCount = 0;
        state = State.CLOSED;
    }
    
    private void onFailure() {
        failureCount++;
        lastFailureTime = System.currentTimeMillis();
        if (failureCount >= failureThreshold) {
            state = State.OPEN;
        }
    }
}