导入urllib的相关库，Python 3中应该这样写：
import urllib.request import urllib.parse import rere库是正则表达式（Regular Expression），后面作匹配时会用到。
百思不得姐的段子页面url ='http://www.budejie.com/text/1'，这里末尾数字1代表此为第一页。通过以下代码就能返回网页内容。
req = urllib.request.Request(url) # 添加headers 使之看起来像浏览器在访问 req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36') response = urllib.request.urlopen(req) # 得到网页内容，注意必须使用decode()解码 html = response.read().decode('utf-8')要想筛选符合普通人阅读的内容（如果还带着html标签那还咋读是不），成功提取出段子，为此我们需要一些既定的模式去和网页全部内容进行匹配，将模式下匹配成功的对象返回。我们使用强大的正则表达式进行匹配（Regular Expression），相关语法可以看这里。
仅仅针对本例中的网页内容，先看看我们需要的段子对应了网页中的什么内容。
可以看到段子被<div class="j-r-list-c-desc">(我们要的内容)</div>这样的标签所包围，只需要指定相应规则提取出来即可！上图可以看出段子正文前后是有很多空格的，需要匹配进去。
pattern = re.compile(r'<div class="j-r-list-c-desc">\s+(.*)\s+</div>') result = re.findall(pattern, html)通过re库的compile函数制定规则。
\s+可以匹配一个或更多的空格、.匹配除开换行符\n外的所有字符。可是我们发现里面还有些讨厌的<br />。没关系，写几行代码的事。这里就不再展示去掉后的内容，自行脑补哈哈。
for each in content: # 如果某个段子里有<br /> if '<br />' in each: # 替换成换行符并输出 new_each = re.sub(r'<br />', '\n', each) print(new_each) # 没有就照常输出 else: print(each)这里content是我们通过re.findall()返回的列表。
通过定义一个save()函数即可，num参数用户自定，想下载最近100页的内容都没问题！里面还有些变量没有提到，最后会给出源代码。
# num是指定网页页数 def save(num): # 写方式打开一个文本，把获取的段子列表存放进去 with open('a.txt', 'w', encoding='utf-8') as f: text = get_content(num) # 和上面去掉<br />类似 for each in text: if '<br />' in each: new_each = re.sub(r'<br />', '\n', each) f.write(new_each) else: f.write(str(each) + '\n')段子太多，琳琅满目。可我们只希望一条条阅读。通过按下键盘任意键可以切换到下一条，直到读取到最后一条程序才结束，或者通过设置一个退出键随时退出程序，比如设定q键退出。这里把全部代码给出。
import urllib.request import urllib.parse import re pattern = re.compile(r'<div class="j-r-list-c-desc">\s+(.*)\s+</div>') # 返回指定网页的内容 def open_url(url): req = urllib.request.Request(url) req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36') response = urllib.request.urlopen(req) html = response.read().decode('utf-8') return html # num为用户自定，返回的是所有页的段子列表 def get_content(num): # 存放段子的列表 text_list = [] for page in range(1, int(num)): address = 'http://www.budejie.com/text/' + str(page) html = open_url(address) result = re.findall(pattern, html) # 每一页的result都是一个列表，将里面的内容加入到text_list for each in result: text_list.append(each) return text_list # num是指定网页页数 def save(num): # 写方式打开一个文本，把获取的段子列表存放进去 with open('a.txt', 'w', encoding='utf-8') as f: text = get_content(num) # 和上面去掉<br />类似 for each in text: if '<br />' in each: new_each = re.sub(r'<br />', '\n', each) f.write(new_each) else: f.write(str(each) + '\n') if __name__ == '__main__': print('阅读过程中按q随时退出') number = int(input('想读几页的内容: ')) content = get_content(number + 1) for each in content: if '<br />' in each: new_each = re.sub(r'<br />', '\n', each) print(new_each) else: print(each) # 用户输入 user_input = input() # 不区分大小写的q，输入则退出 if user_input == 'q' or user_input == 'Q': break posted on 2017-07-07 10:21 r2r 阅读( ...) 评论( ...) 编辑 收藏转载于:https://www.cnblogs.com/ruanstudy/p/7130747.html
相关资源：python爬虫爬取糗事百科内容