Python爬虫之selenium库使用详解

当前位置:

首页 > Python基础教程 >

Python爬虫之selenium库使用详解

什么是Selenium

selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Selenium Core基于JsUnit，完全由JavaScript编写，因此可以用于任何支持JavaScript的浏览器上。

selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。

selenium基本使用

用python写爬虫的时候，主要用的是selenium的Webdriver，我们可以通过下面的方式先看看Selenium.Webdriver支持哪些浏览器

1

2

3

4

5

6

						python@pythontab.com:~/python35$ python

						Python 3.5.2 (default, Aug 24 2016, 16:48:29) 

						[GCC 4.2.1 Compatible Apple LLVM 7.3.0 (clang-703.0.31)] on darwin

						Type "help", "copyright", "credits" or "license" for more information.

						>>> from selenium import webdriver

						>>> help(webdriver)

执行结果如下，从结果中我们也可以看出基本支持了常见的所有浏览器：

						......

						PACKAGE CONTENTS

						    android (package)

						    blackberry (package)

						    chrome (package)

						    common (package)

						    edge (package)

						    firefox (package)

						    ie (package)

						    opera (package)

						    phantomjs (package)

						    remote (package)

						    safari (package)

						    support (package)

						    webkitgtk (package)

						......

这里要说一下比较重要的PhantomJS,PhantomJS是一个而基于WebKit的服务端JavaScript API,支持Web而不需要浏览器支持，其快速、原生支持各种Web标准：Dom处理，CSS选择器，JSON等等。PhantomJS可以用用于页面自动化、网络监测、网页截屏，以及无界面测试

声明浏览器对象

上面我们知道了selenium支持很多的浏览器，但是如果想要声明并调用浏览器则需要：

1

2

3

						from selenium import webdriver

						browser = webdriver.Chrome()

						browser = webdriver.Firefox()

这里只写了两个例子，当然了其他的支持的浏览器都可以通过这种方式调用

访问页面

1

2

3

4

5

						from selenium import webdriver

						browser = webdriver.Chrome()

						browser.get("http://www.pythontab.com")

						print(browser.page_source)

						browser.close()

栏目列表