结队第二次作业——WordCount进阶需求

博客地址

051601135 岳冠宇 博客地址 051604103 陈思孝 博客地址

Github地址

具体分工

队友实现了爬虫功能，我实现了wordcount代码部分

PSP表格

PSP2.1Personal Software Process Stages预估耗时（分钟）实际耗时（分钟）Planning计划3035· Estimate· 估计这个任务需要多少时间3035Development开发910870· Analysis· 需求分析 (包括学习新技术)6070· Design Spec· 生成设计文档2030· Design Review· 设计复审1010· Coding Standard· 代码规范 (为目前的开发制定合适的规范)2020· Design· 具体设计5030· Coding· 具体编码700650· Code Review· 代码复审3050· Test· 测试（自我测试，修改代码，提交修改）2030Reporting报告120130· Test Repor· 测试报告9090· Size Measurement· 计算工作量00· Postmortem & Process Improvement Plan· 事后总结, 并提出过程改进计划3040合计10601035

解题思路与设计实现

爬虫实用

因为之前学过python，知道用python做爬虫很方便，于是就用python写了一个小程序爬取论文信息。 核心模块是BeautifulSoup，用来处理网页的信息和爬取需要的内容 思路：先得到论文主页的网址，根据网页的源代码信息获得每篇论文的地址，再分别分析每个网页的源代码，定位标题标签和摘要标签，然后爬取信息，写入文件。 homeurl="http://openaccess.thecvf.com/CVPR2018.py" file = urllib.request.urlopen(homeurl).read() page = BeautifulSoup(file , "html.parser") 得到主页的网页内容，并转码。 for link in page.find_all("dt",class_="ptitle"): uuu=link.find('a') url=str(uuu.get('href')) 定位每篇论文的网址，需要注意的是从网页源代码得到的网址不能直接用，要在前面加上http://openaccess.thecvf.com/才是完整的网址。 title = re.findall(' \n\s (.?)\n\s ',page1.decode('utf-8'),re.S) abstract=re.findall(' \n\s(. ?)\n\s ',page1.decode('utf-8'),re.S) 通过正则表达式定位和提取标题和摘要信息 最后写入文本文件，值得注意的是我们我们爬取的信息的格式是utf-8，但是记事本写入的默认格式是GBK，有些英文是不能识别的，会报错， f=open(r'C:\Users\csxcs\Desktop\result.txt','w',encoding='utf-8') 打开文件时要设置一下。 爬取过程如下，运行..py程序即可，可能是网络问题，打开网页的速度很慢，爬取所有的论文也需要一段时间。

代码实现

代码组织与内部实现设计（类图）

代码的关键与关键部分流程图 处理新增权重的要求 先定位title和abstract标签的位置，设置flag。遇到title，flag置为1，并且w=1，后面的统计单词权重置为10，遇到abstarct，flag置为0。

关键代码解释

int wordcnt = 0; int k, i, j, x=1, y=1; if (bo == 1) y = 10; char p,m; while (!feof(fp)) { char c = getc(fp); if ((c >= 'a'&&c <= 'z') || (c >= 'A'&&c <= 'Z'))//可能是单词 { k = 0;//从第0位开始判断 while ((c >= 'a'&&c <= 'z') || (c >= 'A'&&c <= 'Z') || (c >= '0'&&c <= '9'&&k >= 4))//继续后几位的验证 { if (c >= 'A'&&c <= 'Z')//大写改小写 { c = c + 32; } temp.s[k] = c; m = temp.s[k]; k++;//下一位 c = getc(fp); p = c; if (c == ':'&&m == 'e') temp.bl = y; if (c == ':'&&m == 't') temp.bl = x;//改变权重 } temp.s[k] = '\0';//结束标识 k++;//此词位数+1 j = n; if (strlen(temp.s) >= 4)//确保大于4位英文字母 { wordcnt++;//词频置1 if (temp.bl == y) temp.frq = y; if (temp.bl == x) temp.frq = x; ｝

性能改进及分析

可以看出，时间主要消耗在了创建数组上，而且整个代码效率不高。

改进思路

可以用链表STL map工具来实现这次作业，效率能高很多，而且对空间的利用恰到好处

单元测试

对实现的每个功能模块进行单元测试，assert断言判断正确与否，同一个模块用不同的文本测试。

遇到的代码模块异常或结对困难及解决方法

问题描述 我使用数组来实现主要功能，后来发现不知道材料具体长度只能创建的足够大，浪费了很多空间和时间，还有可能越界。解决方案 使用链表和STL map可以使整个代码优化很多。体会 写代码对制定算法大方向和使用的数据结构要进行深刻的分析。

贴出Github的代码签入记录

学习进度条

评价队友

行动力强，是个大佬。

转载于:https://www.cnblogs.com/ygyn/p/9775936.html

相关资源：数据结构—成绩单生成器