VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > 编程开发 > python爬虫 >

  • python爬虫之Python爬虫之selenium库使用详解

本站最新发布   Python从入门到精通|Python基础教程
试听地址  https://www.xin3721.com/eschool/pythonxin3721/


什么是Selenium

selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Selenium Core基于JsUnit，完全由JavaScript编写，因此可以用于任何支持JavaScript的浏览器上。

selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。

selenium基本使用

用python写爬虫的时候，主要用的是selenium的Webdriver，我们可以通过下面的方式先看看Selenium.Webdriver支持哪些浏览器

1
2
3
4
5
6
python@pythontab.com:~/python35$ python
Python 3.5.2 (default, Aug 24 2016, 16:48:29) 
[GCC 4.2.1 Compatible Apple LLVM 7.3.0 (clang-703.0.31)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from selenium import webdriver
>>> help(webdriver)

执行结果如下，从结果中我们也可以看出基本支持了常见的所有浏览器：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
......
PACKAGE CONTENTS
    android (package)
    blackberry (package)
    chrome (package)
    common (package)
    edge (package)
    firefox (package)
    ie (package)
    opera (package)
    phantomjs (package)
    remote (package)
    safari (package)
    support (package)
    webkitgtk (package)
......

这里要说一下比较重要的PhantomJS,PhantomJS是一个而基于WebKit的服务端JavaScript API,支持Web而不需要浏览器支持，其快速、原生支持各种Web标准：Dom处理，CSS选择器，JSON等等。PhantomJS可以用用于页面自动化、网络监测、网页截屏，以及无界面测试

 

声明浏览器对象

上面我们知道了selenium支持很多的浏览器，但是如果想要声明并调用浏览器则需要：

1
2
3
from selenium import webdriver
browser = webdriver.Chrome()
browser = webdriver.Firefox()

这里只写了两个例子，当然了其他的支持的浏览器都可以通过这种方式调用

 

访问页面

1
2
3
4
5
from selenium import webdriver
browser = webdriver.Chrome()
browser.get("http://www.pythontab.com")
print(browser.page_source)
browser.close()
相关教程