爬虫违法不要学了？资深程序员：请不要造谣

当前位置:

首页 > temp > 简明python教程 >

爬虫违法不要学了？资深程序员：请不要造谣

最近网上流传一个顺口溜：爬虫玩得好，监狱进得早。数据玩得溜，牢饭吃个够。

自2019年9月以来，多家知名公司相关人员被抓或被调查，这些机构均涉及大数据风控业务和爬虫技术的应用。由此，大数据业务的合规合法问题、爬虫技术的合理应用问题，引起了大数据和金融科技行业的特别重视。

爬虫技术违规吗？开展业务到底存在哪些风险点？

近日，在一本学院的风控与助贷业务课堂上，上海瀛东律师事务所的高级合伙人及管理委员会成员冉晋律师，特别就大数据行业的合规合法问题进行了深入解读。以下为部分内容整理。

01 “爬虫”本中立，数据应保护

一、公民个人信息不可侵犯

现在国家对数据行业和数据相关业务的整顿非常严厉。

最近有这样一个案例：X公司是某快递公司的分包服务商，可以登录该快递公司的后台查询快递信息。X公司的一名员工自行开发了一个爬虫软件，利用这家快递公司给的权限密码登录后台系统，抓取了后台25万条用户信息。

这个案件被发现后，开发爬虫软件的员工被定为主犯抓捕，公司法人被定为从犯一起抓捕。公司法人没有参与这件事，不是第一责任人，但仍然是责任关系方。从判刑上来看，主犯是3-7年量刑，从犯是1-2年量刑。可见，数据安全的问题是涉及全行业的，不仅限于金融科技领域。

二、爬虫技术只是中立的工具

最近被查的大数据风控机构，都涉及爬虫技术。一时间，网络爬虫技术被推到了风口浪尖。

在大数据行业内被广泛使用的网络爬虫技术，到底是什么呢？其实，网络爬虫，是互联网时代被普遍运用的一项网络信息搜集技术。该项技术最早应用于搜索引擎领域，是搜索引擎获取数据来源的支撑性技术之一。简单来说，它包含三个步骤：采集信息、数据存储和信息提取。“爬虫”作为一种计算机技术，理论上来说具有技术中立性，在法律上也从未被明令禁止。它不像计算机病毒，计算机病毒本身就是负面的、破坏性的，而爬虫是中立的。

那么使用爬虫技术有什么风险呢？如果在获取数据的过程中，无法甄别哪些数据可以爬取，哪些数据禁止爬取，甚至为爬取数据而破解被爬服务器的防护措施，或者破坏被爬服务器的信息系统，就会触及监管红线。

02 数据爬虫主要涉及的三类罪名

对爬虫技术应用不当的企业，可能涉及的罪名有三个：

一、侵犯公民个人信息罪

1.爬取的数据信息属于公民个人信息范畴

公民个人信息，是指以电子或者其他方式记录的，能够单独或者与其他信息结合识别特定自然人身份，或者反映特定自然人活动情况的各种信息，包括姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等。

2.利用爬虫技术获取的公民个人信息为非法获取的

利用爬虫技术收集公民个人信息数据，应当获得被收集人的同意，尤其是在数据中包含身份证号、信用信息等敏感数据的情况下，还需要获得明示同意。同时，利用网络漏洞非法下载、非法购买等行为，都属于“非法获取”公民个人信息。

3.非法获取公民个人信息达到“情节严重”以上的标准

非法获取、出售或者提供行踪轨迹信息、通信内容、征信信息、财产信息五十条以上，非法获取、出售或者提供住宿信息、通信记录、健康生理信息、交易信息等其他可能影响人身、财产安全的公民个人信息五百条以上，非法获取、出售或者提供上述规定以外的公民个人信息五千条以上，都属于“情节严重”。

4.相关法律依据：《刑法》第253条

【侵犯公民个人信息罪】违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

违反国家有关规定，将在履行职责或者提供服务过程中获得的公民个人信息，出售或者提供给他人的，依照前款的规定从重处罚。

窃取或者以其他方法非法获取公民个人信息的，依照第一款的规定处罚。

单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照该款的规定处罚。

合规建议：

利用爬虫技术获取公民个人信息的，应该严格遵守相关法律、行政法规、部门规章的规定，否则极易落入“非法获取”公民个人信息的法律风险范畴。

此外，关于在公民个人信息已合法公开的情况下，利用爬虫技术对其进行抓取是否构成非法获取这一问题，暂时没有明确答案，但《民法典人格权编》（草案三次审议稿）第816条写到：行为人收集、处理自然人自行公开的或者其他已经合法公开的信息不承担民事责任，但是该自然人明确拒绝或者处理该信息侵害其重大利益的除外。从立法走向上来判断，收集已合法公开的个人信息应不属于违法，但在立法尚不完善的阶段，仍建议谨慎使用爬虫技术抓取公开的个人信息。

二、构成非法获取计算机信息系统数据罪

1．利用爬虫技术侵入计算机信息系统获取数据，或采用其他技术手段获取计算机信息系统数据

任何组织或个人不得危害计算机信息系统安全；不得破坏计算机及其相关的配套的设备、设施（含网络）安全，破坏其运行环境安全、信息安全，影响其功能正常发挥。因此企业若在爬取数据时，存在危害计算机信息系统安全的行为，包括破解被爬企业的防抓取措施、加密算法、技术保护措施等，则很有可能被认定为“侵入或以其他技术手段获取计算机信息系统数据”。

2．非法获取计算机信息系统数据达到“情节严重”以上的标准

获取支付结算、证券交易、期货交易等网络金融服务的身份认证信息十组以上，或获取其他的身份认证信息五百组以上的，均属于“情节严重”。

3. 相关法律依据：《刑法》第285条

【非法侵入计算机信息系统罪】违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，处三年以下有期徒刑或者拘役。

【非法获取计算机信息系统数据、非法控制计算机信息系统罪】违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

【提供侵入、非法控制计算机信息系统程序、工具罪】提供专门用于侵入、非法控制计算机信息系统的程序、工具，或者明知他人实施侵入、非法控制计算机信息系统的违法犯罪行为，而为其提供程序、工具，情节严重的，依照前款的规定处罚。

单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照该款的规定处罚。

合规建议：

严格禁止通过技术手段绕过服务器的访问限制，或破解被爬网站为保护数据而采取的加密算法及技术保护措施，从而对被爬网站受保护的计算机信息系统中的数据进行爬取。

若被爬网站设定了获取数据信息的措施（包括实名认证、账号密码、内部权限等），爬虫企业应避免通过伪造实名认证或窃取账号密码、内部权限的形式获取数据。

避免或谨慎抓取身份认证信息（网络金融服务的身份信息10组/其他身份认证信息500组）。

三、非法侵入计算机信息系统罪

1.提供数据信息的网站为国家事务、国防建设、尖端科学技术领域的计算机信息系统；

高频使用的网站，如“国家企业信用信息公示系统”“中国裁判文书网”“中国执行信息公开网”以及各地政府网站等，都属于“国家事务”网站的法律范畴内。

2．对计算机信息系统具有侵入行为

（1）只要有侵入行为，而不论侵入行为的结果。

（2）目前司法解释未对“侵入”进行具体的定义，但一般法院在认定上主要有两种方式：1）以非法手段登录网站，获取原本不该有权限获取的数据信息；2）将恶意程序、非法文件等发送至网站，对网站的正常运行产生影响。

（3）在爬取此类网站的公开数据时，不存在“侵入”计算机信息系统的情形。但当批量爬取数据信息时，需特别关注是否会对网站的正常运行产生影响，切不可逾越红线。

今年曾有报道称，裁判文书网数据被爬取后标价售卖。由于裁判文书网被很多技术公司通过爬虫系统无限制并发访问获取数据，造成网站负荷过大，正常用户无法访问。最高人民法院发文称，为了对抗爬虫技术，更好地确保正常用户访问性能，相关方面已采取多种方式，包括验证码技术等，防止爬虫功能。

合规建议：

对大数据公司，特别是大数据风控企业来说，获取“裁判文书网”“执行信息公开网”的数据非常普遍且重要，但爬取这类国家事务网站的信息时应当尤为审慎，特别是在网站已采取相关“反爬措施”的情况下，仍强行恶意突破防护措施爬取数据，对网站运行造成影响的，均可能构成本罪。

除上述法律风险以外，利用爬虫技术手段还可能产生构成不正当竞争、侵犯信息网络传播权等法律风险。