VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > 编程开发 > python爬虫 >
  • 【Python爬虫】:爬取58同城二手房的所有房产标题

我们首先打开58同城的网站:
观察网站的版面:

 

 发现所有的title都是以h3开头,并且具有class为“

property-content-title-name

因此我们可以编写这样的程序即可得到整个版面的title,在程序当中使用Xpath表达式即可,使用起来非常方便:

复制代码
import requests
from lxml import etree

#我们这次是使用etree来获取的所有二手房的title,也就是标题

url='https://bj.58.com/ershoufang/'
#cookie='lastCity=100010000; __zp_stoken__=ce26bZyQcLhoDK1A7M0RzPzMQEDJzHHpAQCJkUHtpSSFDSCkNeko0HBZxSywqeBxlHh8PIE4CLwgTSWsacwcdbEMNUBBzE2APASkfAktgOFskSn9HCTgkLmE7GFxecS8MGE4FGX99IHdsQHV5YQ%3D%3D; __c=1610949395; __g=-; __l=l=%2Fwww.zhipin.com%2F&r=https%3A%2F%2Fwww.google.com%2F&g=&s=3&friend_source=0&s=3&friend_source=0; __a=13532184.1600828409.1610683874.1610949395.205.23.3.205; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1610082805,1610683875,1610949395,1610949407; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1610949407'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36',
}

page_text=requests.get(url,headers).text
tree=etree.HTML(page_text)#拿到的网页,而不是局部的数据
li_list=tree.xpath('//h3[@class="property-content-title-name"]/text()')
for i in li_list:
    print(i)
复制代码

打印出来结果如下:

复制代码
北街家园七区 南北通透大两居 看房有钥匙
紧邻大卖场,业主诚心出售,房子非常干净,刚需  
(新上!急售)百环家园高层观景大两居 主次分离 双生活阳台
海淀幸福里~北清路边上~ 智能精装科技住宅~全明格局~新房
模式口南里 南北通透 明厨明卫 满五年  
总价200万 满五年 大兴黄村东新凤小区,南北通透 两居
楼层好,视野广,康居南区圆您置业梦想!
VR看房~邑上原著~中等楼层~新格局~阳光充足
迎风六里 低楼层 南北通透两居室 明厨明卫户型
密云区 密西   独立两居 2室2厅1卫 92.0平米
东方太阳 城 万晴园 眼镜户型精装3居 无个税 采光好
涧桥泊屋馆 5室3厅4卫 带飘窗 两房朝南
清缘里 两居室  低总价  小区出行方便 生活配套齐全
东方太阳 城 琴湖园 精装双卧向阳 顶层    前面无遮挡
精装修 电梯房 90平 2室2厅业主 诚心出售
金融街片区 紧俏房源 510万双证齐全 随时过户
海怡庄园东区!电梯房 观景楼层  小区环境优美 独立两居
首付30住两居空气清新采光好环境优美涧桥山~2室2厅~86.
国风北京 3室2厅2卫 客厅带阳台 主卧朝南
佣金1.5 长安新城 中间位置 南北两居 业主信任有钥匙
西四环 四季青板块 和泓性价比三居出售 主卧客厅朝南随时看房
光大   3室2厅2卫 品质小区 两房朝南
燕郊南城核心夏威夷蓝湾紧邻地铁现房即买即住采光好可买可
佣金1.2 深耕北京12年 玺萌丽苑 南向正规一居 满五  
韩村河雅苑 三层 精装修 三居室 129.89平 满五年
佣金1.2,深耕北京12年 辛店小区 2室 87.97 简装
漫香林五期 精装修两居室 边户全明户型!
满五  住房 水关新村 65平 265万 诚心出售 价格可议
新上房源,小区门口位置,  满五年,仅契税,户型方正
(特惠)海淀 首付300万 华润开发新房 精装修 双轨交汇
佣金1个点  华侨村 燕华苑222平 南北向 高层1200万
燕山迎风三里小区两居室诚心出售
国贸CBD 1室0厅0卫 140.0平米 549.00万元
世纪城观山园 南北通透无缺点 园区中心 采光无遮挡 私密性高
精装修, 南北通透, 高塔小区, 5层不是顶,  满五  
佣金1.2 深耕北京12年 富强西里 3室 144.98
密云区(密云县) 2室1厅1卫 90.0平米
东方太阳 城 精装3居 一层    视野开阔 随时看房
天通苑回龙观 2室1厅  98 平 性价比高的
3室1厅 865万 电梯房 甘家口小区 87平 楼层好 视野
窦店明峻嘉园电梯洋房150万 南北通透 中间楼层 看房方便
西山美庐新出 精装半山独栋别墅 纯边户大院子 看房随时
海淀万柳世纪城三期垂虹园 4室2厅2卫 客厅主卧朝南 带明卫
满五  商品房 2005年建成 3梯10户 双阳台 无遮挡
果园西里小区 精装 2室 厅截三居 103.0平米
新上 南北通透两居室 门口位置仅契税 首付70万看房方便诚售
户型方正  精装别墅   朝南客厅设计   诚心出售看房随时
必看好房 世纪城三期观山园 3室2厅2卫 两房朝南 品质小区
北七家 3室1厅3卫 160.0平米 600.00万元
东坝区域精装洋房  现买现住视野好 住着舒心  宽敞大器
北街家园七区 南北通透大两居 看房有钥匙
南邵国惠村2室1厅1卫1厨1阳台
朝阳公园   4室2厅  楼层好 视野无遮挡  豪华装修
燕郊地铁旁 天洋城业主急售 精装修 满五   省税
四号线清源路地铁口 南北通透两居室 满五   中楼层配套成熟
新上 汤泉逸墅 一层双卧室南 三居室 明厨明卫 看房有钥匙
中间层把东边户 三面采光 品质小区 观绿化带 临金源地铁
区域推荐明星楼盘 满五   诚心出售 高层采光视野无遮挡
东城区)长安街北)大  500平)客厅层高4.5米)看房随时
340万 西源里 3室2厅 满二  住房 精装修 居家自住
密云区(密云县) 2室1厅1卫 87.0平米
密云区(密云县) 3室2厅2卫 107.0平米
必看好房 世纪城三期观山园 3室2厅2卫 两房朝南 品质小区
  住房 精装修 88平 160万 电梯房 嘉都国际 楼层好
中冶蓝城东区紧邻城铁 适合各种   免装修 随时看房
亦庄 采育育新   南北大一居 少税 自住房 精装
密云区(密云县) 1室1厅1卫 53.0平米
必看好房 世纪城三期春荫园 2室2厅1卫 带车库 品质小区
川  区~经典两居室~两卧朝阳~采光超棒~刚需主选~出行方便
石桥小区~朝向南北~温馨2居室~素质住户~诚意出售
南菜园北二区 3室2厅1卫 94.0平米 165.00万元
提前预约,可看实房,城市别墅,精装现房,公园地产
佣金只收0.5 鼓楼东区 精装双阳3居 采光好 5  到  
急售华堂独栋别墅,紧挨球场,850万,满2年,能  。
大柳树13号院2居南北向满五年无税业主诚意急售
含晖苑  低楼层  南北朝向 三面采光 边户 诚心出售
房山区中建京西印玥2室2厅1卫1厨1阳台
云秀  ~一层   ~2室2厅2卫 94.0平米
大兴南23万一套,现房车位菜地都有,商业完善~外地人可以
世纪城三期观山园 3室2厅2卫 两房朝南 品质小区
世纪城三期翠叠园眼镜三居  一个地下25平米储藏间有一个车位
(特惠)海淀 首付300万 华润开发新房 精装修 双轨交汇
世纪城三期春荫园 4室2厅2卫 品质小区 经典实用
北源里~2室1厅~57.00平米  精装修 看房方便
紧按通州独栋别墅,首付290万,外地不 户口,70年,能  
VR看房~邑上原著~中等楼层~新格局~阳光充足
鲁艺上河村三期 5室3厅4卫 客厅朝南 格局方正
满五  住房 水关新村 65平 265万 诚心出售 价格可议
佣金1.2,深耕北京12年 辛店小区 2室 87.97 简装
新小区都丽华府南楼!视野好毛坯随意装修!总价低有钥匙两卫
密云区(密云县) 2室1厅1卫 59.0平米
房山南大街小区  首付33万  2室1厅  南北通透随时看
天地百分之0.9 东关二区 大三居室 南北通透 精装修 诚售
府前东街9号院 宁静安详 大三居 225万
密云区(密云县) 2室1厅1卫 90.0平米
通州珠江.四季悦城 总价140万起复式使用面积150平 精装
急卖园丁小区,现代精装,三居南北通透,拎包入住,价格可议
(价格好谈电话说)税费15万 (纯独栋现房)  350
黄平路8号院 二层 南北通透 业主靠谱 价格可谈 看房预约
看过来 眼睛看好了  一期房源 老业主换房出售 不要等抓紧看
首开缇香郡(新房源)精装修(拎包住)业主换房急售 位置好
(年底特价)西五环,邻地铁,精装墅质洋房,超大面宽,可公积金
格兰二期北区~三阳开泰户型~电梯观景房 ~
密云区(密云县) 1室1厅1卫 70.0平米
君山独栋别墅,精装修, 5室4厅4卫 398.0平米
海淀地铁新房 清华一站 式教育 少有小户型带新风地暖
HR3URSP杏花西里 精装修 采光好 周边商圈成熟
华润橡树湾 双阳眼镜户型3室2厅2卫 139平米 环境优美
(年底特价)智能精装,独门独户,带院子,私家电梯,新风空调
壹号院随时可看  双主卧朝南  大三居室 一梯一户带保姆间
C21星河湾745平全新豪华大复式! 一天未住 价格可谈
清缘里 东西通透明厅户型 经典两居 好房等您来哦
福成五期 南北通透 两居室  全天采光
  小区 独立两居可做厅截三居 无税 业主急售
南北通透 5室2厅 万城华府尚园 满五  住房 楼层好 视野
开盘特惠 良乡新房 恒大御峰 全名三居 一梯两户 超低总价
427平 满五 京基鹭府 南北通透 精装修 看房方便 有钥匙
中层朝南一居 大阳台采光好 满5年一套 临新世界崇文门磁器口
学府  六层 2室2厅2卫 89.0平米五年  
北京五环总价81万 外地可买 地铁三站潘家园四站工
 

文章出处:https://www.cnblogs.com/geeksongs/p/14344070.html

相关教程