博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用python抓取58手机维修信息
阅读量:5820 次
发布时间:2019-06-18

本文共 1118 字,大约阅读时间需要 3 分钟。

之前在ququ的博客上看到说 python 中的BeautifulSoup 挺好玩的,今天下午果断下载下来,看了下api,挺好用的,完了2把,不错。

晚上写了一个使用python抓取58手机维修信息的精准的商家信息:

废话不多说了,直接上代码:

#!/usr/bin/python# -*- coding: utf-8 -*-import urllibimport os,datetime,stringimport sysfrom bs4 import BeautifulSoupreload(sys)sys.setdefaultencoding('utf-8')__BASEURL__ = 'http://bj.58.com/'__INITURL__ = "http://bj.58.com/shoujiweixiu/"soup = BeautifulSoup(urllib.urlopen(__INITURL__))lvlELements = soup.html.body.find('div','selectbarTable').find('tr').find_next_sibling('tr')('a',href=True)f = open('data1.txt','a')for element in lvlELements[1:]:    f.write((element.get_text()+'\n\r' ))    url = __BASEURL__ + element.get('href')    print url    soup = BeautifulSoup(urllib.urlopen(url))    lv2ELements = soup.html.body.find('table','tblist').find_all('tr')    for item in lv2ELements:        addr = item.find('td','t').find('a').get_text()        phone = item.find('td','tdl').find('b','tele').get_text()        f.write('地址:'+addr +' 电话:'+ phone + '\r\n\r')f.close()

直接执行后,存在 data1.txt中就会有商家的地址和电话等信息。

BeautifulSoup  api 的地址为: http://www.crummy.com/software/BeautifulSoup/bs4/doc/

---end---

转载地址:http://tmwdx.baihongyu.com/

你可能感兴趣的文章
干货|全面分析GAN,以及如何用TF实现GAN?
查看>>
cas4.2.7实现单点登录
查看>>
中概股最大私有化盛宴开席 投资者下注奇虎360
查看>>
下一个系统设计关注的焦点:云计算和大数据
查看>>
移动开发云测试服务需求旺盛,Sauce Labs融资7000万美元
查看>>
云计算、互联网社交领域未来几年竟然这样发展!
查看>>
管理SELinux策略:优化故障排除及访问控制
查看>>
“互联网+”是云计算普及的助推器
查看>>
nuPSYS公司推出一款数据中心建模软件
查看>>
Oracle SQL Loader切身实例
查看>>
软件项目管理中的进度管理
查看>>
苹果野心很大 其实A系芯片已定制自主GPU
查看>>
张家港“互联网+大数据”精准管理风险
查看>>
同方国芯释疑问询 购台企不以定增为前提
查看>>
7月13日云栖精选夜读:什么才是这个时代最需要的BI人员? —— 阿里云MVP赵玮主题分享...
查看>>
大数据助力中国企业“走出去”
查看>>
Chrome OS 现可运行Android应用 仅限特定机型
查看>>
《黑客大曝光:移动应用安全揭秘及防护措施》一第3章 iOS系统
查看>>
为什么你应该在你下个 Ruby APP 中使用 Neo4j
查看>>
安卓手机曝彩信安全漏洞,因开源机制?
查看>>