python批量请求（GET

当前位置:

首页 > Python基础教程 >

python批量请求（GET | POST）

在Python中，批量执行GET和POST请求通常意味着你需要对多个URL或请求体进行迭代，并对每个请求发送相应的HTTP请求。这里，我将再次强调如何使用`requests`库来实现这一点，并给出更具体的示例。

### 批量GET请求

对于GET请求，你通常会迭代一个包含URL的列表，并对每个URL发送GET请求。

import requests

# 包含URL的列表
urls = [
    'http://httpbin.org/get?param1=value1',
    'http://httpbin.org/get?param2=value2',
    # ... 可以继续添加更多URL
]

# 批量执行GET请求
for url in urls:
    response = requests.get(url)
    print(f"URL: {url}")
    print(f"Status Code: {response.status_code}")
    print(f"Response Text: {response.text[:100]}...") # 只打印响应文本的前100个字符
    print("-" * 50)

### 批量POST请求

对于POST请求，你需要准备一个包含URL和POST数据的列表（或其他可迭代对象）。然后，你可以迭代这个列表，并对每个元素（URL和数据对）发送POST请求。

import requests

# 包含URL和POST数据的列表
posts = [
    ('http://httpbin.org/post', {'key1': 'value1'}),
    ('http://httpbin.org/post', {'key2': 'value2'}),
    # ... 可以继续添加更多URL和数据对
]

# 批量执行POST请求
for url, data in posts:
    response = requests.post(url, data=data)
    print(f"URL: {url}")
    print(f"Status Code: {response.status_code}")
    print(f"Response Text: {response.text[:100]}...") # 只打印响应文本的前100个字符
    print("-" * 50)

### 并发请求

如果你想要更快地执行这些请求，可以使用并发。Python的`concurrent.futures`模块提供了`ThreadPoolExecutor`和`ProcessPoolExecutor`，分别用于线程池和进程池。由于`requests`库是线程安全的（但不建议在多个线程中共享`Session`对象），我们可以使用`ThreadPoolExecutor`来并发执行请求。

import requests
from concurrent.futures import ThreadPoolExecutor

def fetch(url, method, data=None):
    if method == 'GET':
        response = requests.get(url)
    elif method == 'POST':
        response = requests.post(url, data=data)
    else:
        raise ValueError("Unsupported method")
    return response.status_code, response.text[:100]

# 批量GET请求
get_urls = [
    'http://httpbin.org/get?param1=value1',
    'http://httpbin.org/get?param2=value2',
    # ...
]

# 批量POST请求
post_requests = [
    ('http://httpbin.org/post', {'key1': 'value1'}),
    ('http://httpbin.org/post', {'key2': 'value2'}),
    # ...
]

# 并发执行GET请求
with ThreadPoolExecutor(max_workers=5) as executor:
    future_to_url = {executor.submit(fetch, url, 'GET'): url for url in get_urls}
    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]
        try:
            status_code, text = future.result()
            print(f"GET URL: {url}")
            print(f"Status Code: {status_code}")
            print(f"Response Text: {text}...")
        except Exception as exc:
            print(f"GET Error for {url}: {exc}")

# 并发执行POST请求（类似地）
# ...（你可以复制上面的代码块，稍作修改以适应POST请求）

请注意，上面的并发GET请求示例仅展示了如何并发执行GET请求。对于POST请求，你需要将`fetch`函数调用中的`method`参数设置为`'POST'`，并传递相应的数据。由于篇幅限制，我没有在示例中重复POST请求的并发执行部分，但你可以通过复制并修改GET请求的并发执行部分来实现它。

最后，如果你对python语言还有任何疑问或者需要进一步的帮助，请访问https://www.xin3721.com 本站原创，转载请注明出处：
https://www.xin3721.com/Python/python50035.html

栏目列表

首页 > Python基础教程 >

python批量请求（GET | POST）