-
【Python爬虫】:爬取58同城二手房的所有房产标题
我们首先打开58同城的网站:
观察网站的版面:
发现所有的title都是以h3开头,并且具有class为“
property-content-title-name
”
因此我们可以编写这样的程序即可得到整个版面的title,在程序当中使用Xpath表达式即可,使用起来非常方便:
import requests from lxml import etree #我们这次是使用etree来获取的所有二手房的title,也就是标题 url='https://bj.58.com/ershoufang/' #cookie='lastCity=100010000; __zp_stoken__=ce26bZyQcLhoDK1A7M0RzPzMQEDJzHHpAQCJkUHtpSSFDSCkNeko0HBZxSywqeBxlHh8PIE4CLwgTSWsacwcdbEMNUBBzE2APASkfAktgOFskSn9HCTgkLmE7GFxecS8MGE4FGX99IHdsQHV5YQ%3D%3D; __c=1610949395; __g=-; __l=l=%2Fwww.zhipin.com%2F&r=https%3A%2F%2Fwww.google.com%2F&g=&s=3&friend_source=0&s=3&friend_source=0; __a=13532184.1600828409.1610683874.1610949395.205.23.3.205; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1610082805,1610683875,1610949395,1610949407; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1610949407' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36', } page_text=requests.get(url,headers).text tree=etree.HTML(page_text)#拿到的网页,而不是局部的数据 li_list=tree.xpath('//h3[@class="property-content-title-name"]/text()') for i in li_list: print(i)
打印出来结果如下:
北街家园七区 南北通透大两居 看房有钥匙 紧邻大卖场,业主诚心出售,房子非常干净,刚需 (新上!急售)百环家园高层观景大两居 主次分离 双生活阳台 海淀幸福里~北清路边上~ 智能精装科技住宅~全明格局~新房 模式口南里 南北通透 明厨明卫 满五年 总价200万 满五年 大兴黄村东新凤小区,南北通透 两居 楼层好,视野广,康居南区圆您置业梦想! VR看房~邑上原著~中等楼层~新格局~阳光充足 迎风六里 低楼层 南北通透两居室 明厨明卫户型 密云区 密西 独立两居 2室2厅1卫 92.0平米 东方太阳 城 万晴园 眼镜户型精装3居 无个税 采光好 涧桥泊屋馆 5室3厅4卫 带飘窗 两房朝南 清缘里 两居室 低总价 小区出行方便 生活配套齐全 东方太阳 城 琴湖园 精装双卧向阳 顶层 前面无遮挡 精装修 电梯房 90平 2室2厅业主 诚心出售 金融街片区 紧俏房源 510万双证齐全 随时过户 海怡庄园东区!电梯房 观景楼层 小区环境优美 独立两居 首付30住两居空气清新采光好环境优美涧桥山~2室2厅~86. 国风北京 3室2厅2卫 客厅带阳台 主卧朝南 佣金1.5 长安新城 中间位置 南北两居 业主信任有钥匙 西四环 四季青板块 和泓性价比三居出售 主卧客厅朝南随时看房 光大 3室2厅2卫 品质小区 两房朝南 燕郊南城核心夏威夷蓝湾紧邻地铁现房即买即住采光好可买可 佣金1.2 深耕北京12年 玺萌丽苑 南向正规一居 满五 韩村河雅苑 三层 精装修 三居室 129.89平 满五年 佣金1.2,深耕北京12年 辛店小区 2室 87.97 简装 漫香林五期 精装修两居室 边户全明户型! 满五 住房 水关新村 65平 265万 诚心出售 价格可议 新上房源,小区门口位置, 满五年,仅契税,户型方正 (特惠)海淀 首付300万 华润开发新房 精装修 双轨交汇 佣金1个点 华侨村 燕华苑222平 南北向 高层1200万 燕山迎风三里小区两居室诚心出售 国贸CBD 1室0厅0卫 140.0平米 549.00万元 世纪城观山园 南北通透无缺点 园区中心 采光无遮挡 私密性高 精装修, 南北通透, 高塔小区, 5层不是顶, 满五 佣金1.2 深耕北京12年 富强西里 3室 144.98 密云区(密云县) 2室1厅1卫 90.0平米 东方太阳 城 精装3居 一层 视野开阔 随时看房 天通苑回龙观 2室1厅 98 平 性价比高的 3室1厅 865万 电梯房 甘家口小区 87平 楼层好 视野 窦店明峻嘉园电梯洋房150万 南北通透 中间楼层 看房方便 西山美庐新出 精装半山独栋别墅 纯边户大院子 看房随时 海淀万柳世纪城三期垂虹园 4室2厅2卫 客厅主卧朝南 带明卫 满五 商品房 2005年建成 3梯10户 双阳台 无遮挡 果园西里小区 精装 2室 厅截三居 103.0平米 新上 南北通透两居室 门口位置仅契税 首付70万看房方便诚售 户型方正 精装别墅 朝南客厅设计 诚心出售看房随时 必看好房 世纪城三期观山园 3室2厅2卫 两房朝南 品质小区 北七家 3室1厅3卫 160.0平米 600.00万元 东坝区域精装洋房 现买现住视野好 住着舒心 宽敞大器 北街家园七区 南北通透大两居 看房有钥匙 南邵国惠村2室1厅1卫1厨1阳台 朝阳公园 4室2厅 楼层好 视野无遮挡 豪华装修 燕郊地铁旁 天洋城业主急售 精装修 满五 省税 四号线清源路地铁口 南北通透两居室 满五 中楼层配套成熟 新上 汤泉逸墅 一层双卧室南 三居室 明厨明卫 看房有钥匙 中间层把东边户 三面采光 品质小区 观绿化带 临金源地铁 区域推荐明星楼盘 满五 诚心出售 高层采光视野无遮挡 东城区)长安街北)大 500平)客厅层高4.5米)看房随时 340万 西源里 3室2厅 满二 住房 精装修 居家自住 密云区(密云县) 2室1厅1卫 87.0平米 密云区(密云县) 3室2厅2卫 107.0平米 必看好房 世纪城三期观山园 3室2厅2卫 两房朝南 品质小区 住房 精装修 88平 160万 电梯房 嘉都国际 楼层好 中冶蓝城东区紧邻城铁 适合各种 免装修 随时看房 亦庄 采育育新 南北大一居 少税 自住房 精装 密云区(密云县) 1室1厅1卫 53.0平米 必看好房 世纪城三期春荫园 2室2厅1卫 带车库 品质小区 川 区~经典两居室~两卧朝阳~采光超棒~刚需主选~出行方便 石桥小区~朝向南北~温馨2居室~素质住户~诚意出售 南菜园北二区 3室2厅1卫 94.0平米 165.00万元 提前预约,可看实房,城市别墅,精装现房,公园地产 佣金只收0.5 鼓楼东区 精装双阳3居 采光好 5 到 急售华堂独栋别墅,紧挨球场,850万,满2年,能 。 大柳树13号院2居南北向满五年无税业主诚意急售 含晖苑 低楼层 南北朝向 三面采光 边户 诚心出售 房山区中建京西印玥2室2厅1卫1厨1阳台 云秀 ~一层 ~2室2厅2卫 94.0平米 大兴南23万一套,现房车位菜地都有,商业完善~外地人可以 世纪城三期观山园 3室2厅2卫 两房朝南 品质小区 世纪城三期翠叠园眼镜三居 一个地下25平米储藏间有一个车位 (特惠)海淀 首付300万 华润开发新房 精装修 双轨交汇 世纪城三期春荫园 4室2厅2卫 品质小区 经典实用 北源里~2室1厅~57.00平米 精装修 看房方便 紧按通州独栋别墅,首付290万,外地不 户口,70年,能 VR看房~邑上原著~中等楼层~新格局~阳光充足 鲁艺上河村三期 5室3厅4卫 客厅朝南 格局方正 满五 住房 水关新村 65平 265万 诚心出售 价格可议 佣金1.2,深耕北京12年 辛店小区 2室 87.97 简装 新小区都丽华府南楼!视野好毛坯随意装修!总价低有钥匙两卫 密云区(密云县) 2室1厅1卫 59.0平米 房山南大街小区 首付33万 2室1厅 南北通透随时看 天地百分之0.9 东关二区 大三居室 南北通透 精装修 诚售 府前东街9号院 宁静安详 大三居 225万 密云区(密云县) 2室1厅1卫 90.0平米 通州珠江.四季悦城 总价140万起复式使用面积150平 精装 急卖园丁小区,现代精装,三居南北通透,拎包入住,价格可议 (价格好谈电话说)税费15万 (纯独栋现房) 350 黄平路8号院 二层 南北通透 业主靠谱 价格可谈 看房预约 看过来 眼睛看好了 一期房源 老业主换房出售 不要等抓紧看 首开缇香郡(新房源)精装修(拎包住)业主换房急售 位置好 (年底特价)西五环,邻地铁,精装墅质洋房,超大面宽,可公积金 格兰二期北区~三阳开泰户型~电梯观景房 ~ 密云区(密云县) 1室1厅1卫 70.0平米 君山独栋别墅,精装修, 5室4厅4卫 398.0平米 海淀地铁新房 清华一站 式教育 少有小户型带新风地暖 HR3URSP杏花西里 精装修 采光好 周边商圈成熟 华润橡树湾 双阳眼镜户型3室2厅2卫 139平米 环境优美 (年底特价)智能精装,独门独户,带院子,私家电梯,新风空调 壹号院随时可看 双主卧朝南 大三居室 一梯一户带保姆间 C21星河湾745平全新豪华大复式! 一天未住 价格可谈 清缘里 东西通透明厅户型 经典两居 好房等您来哦 福成五期 南北通透 两居室 全天采光 小区 独立两居可做厅截三居 无税 业主急售 南北通透 5室2厅 万城华府尚园 满五 住房 楼层好 视野 开盘特惠 良乡新房 恒大御峰 全名三居 一梯两户 超低总价 427平 满五 京基鹭府 南北通透 精装修 看房方便 有钥匙 中层朝南一居 大阳台采光好 满5年一套 临新世界崇文门磁器口 学府 六层 2室2厅2卫 89.0平米五年 北京五环总价81万 外地可买 地铁三站潘家园四站工
文章出处:https://www.cnblogs.com/geeksongs/p/14344070.html
最新更新
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
Python初学者友好丨详解参数传递类型
如何有效管理爬虫流量?
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
SQL Server -- 解决存储过程传入参数作为s
JavaScript判断两个数组相等的四类方法
js如何操作video标签
React实战--利用甘特图和看板,强化Paas平
【记录】正则替换的偏方
前端下载 Blob 类型整理
抽象语法树AST必知必会
关于JS定时器的整理
JS中使用Promise.all控制所有的异步请求都完
js中字符串的方法
import-local执行流程与node模块路径解析流程