系统开发篇

很长一段时间没有更新blog了，最近在忙计算机设计大赛的参赛作品设计，所以没有更新blog。今天我要分享一下我最近的一些工作。

比赛官网：2025年广东省大学生计算机设计大赛

敏感数据识别系统开发手记

系统架构全景

基于网络流量分析与 OCR 识别技术，构建了支持 PB 级数据处理的分布式系统：

graph TD
    A[PCAP文件解析] --> B[流量特征提取]
    B --> C[敏感数据识别]
    C --> D[OCR图像处理]
    D --> E[结构化存储]

各模块简介：

PCAP 文件解析：读取网络流量文件，提取原始数据。
流量特征提取：分析数据包特征，定位潜在敏感信息。
敏感数据识别：运用算法精准识别敏感数据。
OCR 图像处理：将图像文字转为可编辑文本。
结构化存储：整理并存储识别结果。

核心技术解析

分片式流量分析

# 基于 editcap 的分片处理逻辑
def split_pcap(file_path, chunk_size=500000):
    cmd = f'editcap -c {chunk_size} "{file_path}" temp/split.pcap'
    subprocess.run(cmd, shell=True, check=True)

采用自适应分片策略（1GB 阈值），支持断点续处理机制。

并行处理效率对比：

文件大小	串行处理	并行处理 (8 核)
500MB	182s	47s
2.5GB	912s	198s

OCR 深度集成

1
2
3

# 多进程 OCR 处理框架
with ProcessPoolExecutor(max_workers=8) as executor:
    results = list(tqdm(executor.map(ocr_process, img_list)))

遭遇 BrokenProcessPool 异常时有自动恢复机制，还有图片预处理流水线。

开发挑战实录

内存泄漏追凶记 ：日志出现异常堆栈：

1 2	concurrent.futures.process.BrokenProcessPool: A process in the process pool was terminated abruptly...

通过增加进程心跳监测、引入资源限额机制、优化图像缓存策略解决。

多线程优化 ：优化线程调度与任务分配，减少线程竞争与同步开销，提升性能。

系统运行效果

1 2	2025-04-21 08:41:10 - 启动数据处理流程 \| 方法: 并行分片分析 2025-04-21 08:44:09 - 处理完成 \| CSV 记录数: 8041 \| 解析图片: 15936