Python获取【长津湖】豆瓣电影影评数据信息

当前位置:

首页 > temp > python入门教程 >

Python获取【长津湖】豆瓣电影影评数据信息

目录

长津湖堪称今年票房最猛的电影了叭！截止21号票房已经突破50亿！长津湖YYDS！

当然现在涨势已经慢慢下来了，距离上次45亿过去了一周才涨了五个亿，上次咱们爬的是猫眼评论，那么我们就用Python来爬取豆瓣的电影评论，看看大家在豆瓣怎么说！

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

#兄弟们学习python，有时候不知道怎么学，从哪里开始学。
#掌握了基本的一些语法或者做了两个案例后，不知道下一步怎么走，不知道如何去学习更加高深的知识。
#那么对于这些大兄弟们，我准备了大量的免费视频教程，PDF电子书籍，以及视频源的源代码！
#还会有大佬解答！
#都在这个群里了  872937351
#欢迎加入，一起讨论 一起学习！

基本开发环境

Python 3.8
Pycharm

相关模块的使用

import csv
import requests

安装Python并添加到环境变量，pip安装需要的相关模块即可。

豆瓣的网站数据，没有什么反爬，同样也静态网页数据，所以很是简单~

代码展示

import requests
import parsel
import csv

f = open('长津湖短评.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '用户名',
    '是否看过',
    '推荐',
    '日期',
    '点赞',
    '内容',
])
csv_writer.writeheader()

url = 'https://movie.douban.com/subject/25845392/comments?start=40&limit=20&status=P&sort=new_score'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
selector = parsel.Selector(response.text)
divs = selector.css('#comments div.comment-item')
for div in divs:
    name = div.css('.comment-info a::text').get()  # 用户名
    span = div.css('.comment-info span:nth-child(2)::text').get()  # 是否看过
    feel = div.css('.comment-info span:nth-child(3)::attr(title)').get()  # 推荐
    date = div.css('.comment-info span:nth-child(4)::text').get().strip()  # 日期
    content = div.css('.comment-content .short::text').get()  # 内容
    vote = div.css('.comment-vote span::text').get()  # 点赞
    dit = {
        '用户名': name,
        '是否看过': span,
        '推荐': feel,
        '日期': date,
        '点赞': vote,
        '内容': content,
    }
    csv_writer.writerow(dit)
    print(dit)

作者：静默虚空

栏目列表