httpcore，一个好用的 Python 库！ - HelloWorld开发者社区

大家好，我是涛哥，本文内容来自涛哥聊Python ，转载请标原创。

今天为大家分享一个好用的 Python 库 - httpcore

Github地址：https://github.com/encode/httpcore

httpcore库是一个提供异步HTTP客户端和服务器功能的底层库，它是许多高级HTTP客户端库的基础，如httpx。httpcore旨在提供一个快速、稳定且易于使用的HTTP组件。

安装

通过pip可以轻松安装httpcore：

pip install httpcore

特性

异步支持：原生支持异步操作，提高I/O效率。
HTTP/1.1和HTTP/2支持：同时支持HTTP/1.1和HTTP/2协议。
连接池管理：自动管理连接池，复用连接以提高性能。
低级请求/响应接口：提供底层的请求/响应接口，给予使用者更多的控制权。

基本功能

httpcore库提供了执行HTTP请求和接收响应的基础功能，这包括创建连接、发送请求以及处理响应等。

发送请求

使用httpcore可以发送HTTP请求，并获取响应。它支持同步和异步两种操作方式。

发送一个简单的GET请求并获取响应：

import httpcore

# 创建一个同步HTTP连接
with httpcore.SyncConnectionPool() as http:
    # 定义请求方法、URL和头部
    method = b'GET'
    url = (b'http', b'example.com', None, b'/')
    headers = [(b'host', b'example.com')]

    # 发送请求并接收响应
    response = http.request(method, url, headers=headers)

    # 解包响应数据
    http_version, status_code, reason_phrase, headers, stream = response
    
    # 读取响应体
    body = b''.join([chunk for chunk in stream])
    
    print(f'Status code: {status_code}')
    print(f'Body: {body.decode("utf-8")}')

处理响应

httpcore处理响应的方式是通过返回一个响应对象，该对象包含响应的所有相关信息，包括状态码、头部以及响应体。

使用httpcore异步发送请求并处理响应：

import httpcore
import asyncio

async def main():
    # 创建一个异步HTTP连接
    async with httpcore.AsyncConnectionPool() as http:
        method = b'GET'
        url = (b'http', b'example.com', None, b'/')
        headers = [(b'host', b'example.com')]

        # 异步发送请求并接收响应
        response = await http.request(method, url, headers=headers)

        http_version, status_code, reason_phrase, headers, stream = response
        
        # 异步读取响应体
        body = b''.join([chunk async for chunk in stream])
        
        print(f'Status code: {status_code}')
        print(f'Body: {body.decode("utf-8")}')

# 运行异步事件循环
asyncio.run(main())

高级功能

httpcore提供的高级功能使得HTTP请求处理更加灵活和强大，包括流式传输、连接池管理、HTTP/2支持等。

流式传输

httpcore支持流式传输，允许逐块处理请求和响应体，适用于处理大文件或实时数据流。

使用httpcore进行流式上传，可以逐块发送大文件，避免内存溢出：

import httpcore

def read_file_in_chunks(file_path, chunk_size=1024*1024):
    with open(file_path, 'rb') as file:
        while True:
            chunk = file.read(chunk_size)
            if not chunk:
                break
            yield chunk

# 假设有一个大文件需要上传
file_path = 'large_file.dat'

with httpcore.SyncConnectionPool() as http:
    method = b'POST'
    url = (b'http', b'example.com', None, b'/upload')
    headers = [(b'host', b'example.com')]
    content = read_file_in_chunks(file_path)

    # 使用流式上传
    http_version, status_code, reason_phrase, headers, stream = http.request(
        method, url, headers=headers, content=content
    )
    
    print(f'Status code: {status_code}')

连接池管理

httpcore自动管理连接池，支持连接复用，提高了HTTP请求的效率。

httpcore默认使用连接池，无需手动配置，以下是一个基本的使用示例：

import httpcore

with httpcore.SyncConnectionPool() as http:
    response = http.request(b'GET', (b'http', b'example.com', None, b'/'))
    # 连接池会自动管理这个请求的连接

HTTP/2支持

httpcore支持HTTP/2协议，可以提高传输效率，减少延迟。

启用HTTP/2进行请求：

import httpcore

# 创建支持HTTP/2的连接
with httpcore.SyncConnectionPool(http2=True) as http:
    response = http.request(b'GET', (b'http', b'example.com', None, b'/'))
    # 这个请求将尝试使用HTTP/2

实际应用场景

httpcore作为一个低级HTTP库，它的应用场景广泛而多样，特别适合需要精细控制HTTP请求和响应的高级用途。

构建RESTful API客户端

开发者可以利用httpcore构建专用的RESTful API客户端，以实现与远程服务的高效交互。

构建一个简单的API客户端来获取数据：

import httpcore

def get_api_data(endpoint):
    with httpcore.SyncConnectionPool() as http:
        response = http.request(b'GET', (b'http', b'api.example.com', None, endpoint))
        status_code, headers, stream = response[1:]
        if status_code == 200:
            body = b''.join(stream)
            return body.decode('utf-8')
        else:
            return f'Error: {status_code}'

# 获取API数据
data = get_api_data(b'/data')
print(data)

这个函数使用httpcore直接与RESTful API通信，获取并返回所需的数据。

实时数据流处理

对于需要处理实时数据流的应用，比如股票行情、实时监控等，httpcore的流式传输功能非常适用。

处理实时数据流：

import httpcore

with httpcore.SyncConnectionPool() as http:
    method = b'GET'
    url = (b'http', b'stream.example.com', None, b'/live')
    http_version, status_code, reason_phrase, headers, stream = http.request(
        method, url
    )
    
    if status_code == 200:
        for chunk in stream:
            process_data(chunk)

这个示例中，httpcore被用于连接到一个实时数据流接口，逐块处理接收到的数据。

微服务架构中的通信

在微服务架构中，各个服务之间经常需要进行HTTP通信，httpcore可以作为构建微服务通信基础的库。

微服务之间使用HTTP进行通信：

import httpcore

def send_service_request(service_url, payload):
    with httpcore.SyncConnectionPool() as http:
        method = b'POST'
        url = (b'http', service_url, None, b'/endpoint')
        headers = [(b'Content-Type', b'application/json')]
        body = json.dumps(payload).encode('utf-8')
        
        response = http.request(method, url, headers=headers, content=body)
        return response

# 向其他微服务发送请求
response = send_service_request(b'microservice.example.com', {'key': 'value'})

在这个场景中，httpcore用于在微服务之间发送HTTP请求和处理响应，实现服务间的通信。

总结

httpcore库为Python提供了强大的底层HTTP通信能力，支持同步和异步操作，适用于构建高性能的HTTP客户端和服务器。它原生支持HTTP/1.1和HTTP/2协议，能够有效管理连接池并复用连接，以优化网络资源使用和提高请求处理速度。httpcore的设计注重性能和灵活性，使其成为开发现代HTTP应用的坚实基础。无论是实现复杂的网络通信、构建RESTful API客户端，还是开发微服务架构中的通信组件，httpcore都能提供稳定和高效的解决方案。通过其低级请求/响应接口，开发者可以精确控制HTTP交互细节，满足各种定制化的网络编程需求。