已结束已结束爬虫，预算18k

第一步：需要从目标站点（公开网站）中爬取文档（格式以网页html为主，少量pdf、word、excel）

第二步：清晰出5-10个目标数据（格式非常固定）

第三步：进行后端接口开发



第一个模块：监管处罚数据库

（1）站点：共80个左右，都是公开的网站信息

（2）示例：https://shanghai.pbc.gov.cn/fzhshanghai/113577/114832/114918/index.html

（3）格式：以htlm为主，少量pdf、word、excel

（4）流程：先爬取→文本解析和数据提取→接口开发，并实现每日更新



第二个模块：资本市场信息聚合

（1）站点：共180个左右，都是公开的网站信息

（2）示例：http://www.csrc.gov.cn/csrc/c100028/common_xq_list.shtml

（3）格式：绝大部分是htlm，里面会嵌入少量图片

（4）流程：无需数据提取，信息保留在需求方的网站，并实现每日更新