python系列18：http请求异步版本_python requests.post async

link管理
链接快照平台
输入网页链接，自动生成快照
标签化管理网页链接
1. 基本方法multiprocessing

我们经常需要其多线程去调用服务（比如拉取远程图片、调用远程计算服务），常用的方式无非是使用multiprocessing+requests，例如：
from multiprocessing.dummy import Pool as ThreadPool
from tqdm import tqdm
import numpy as np
import os,json,requests,base64,struct
url = "http://****:19863/test" # 服务接口
uklist = ...
def getf(img):
        r = requests.post(url,...) # 请求体
        data = json.loads(r.text)['data'][0]
        return data
    except:
results = []
with ThreadPool(100) as p:
    results = list(tqdm(p.imap(getf, urllist), total=num))
2. aiohttp
 
首先我们使用aiohttp创建请求。aiohttp简单来说就是requests的异步替代版。所谓异步请求，是指在单进程单线程的代码中，发起一次请求后，在等待网站返回结果的时间里，可以继续发送更多请求。 
import aiohttp,asyncio
async def getf(imgList)
	async with aiohttp.ClientSession() as client: 
		for img in imgList:
				data = await client.post(url, ...)
				return data
			except:
asyncio.run(getf())
                                    在aiohttp中，创建一个ClientSession实例，然后使用这个会话发起GET、POST等请求是常见的模式。● 现代和简洁：httpx是一个相对较新的库，它的API设计得更加现代和简洁。httpx旨在提供requests库的异步版本，同时保持与requests相似的API设计，使得对于熟悉requests的用户更加容易上手。● 同步和异步：httpx同时支持同步和异步请求，这意味着你可以在同一个库中使用相同的API进行同步和异步HTTP操作。
                                    httpx 模块时 Python 3 的全功能 HTTP 客户端，它提供了 同步 和 asyncio 异步 API，并支持 HTTP/1.1 和 HTTP/2。它建立在 requests 完善的可用性之上，支持 连接和连接池的保持、Cookie 持久性会话、自动内容解码、Basic/Digest 身份认证、HTTP(S) 代理、分段文件上传、分块请求 等一系列功能。httpx 的 API 布局大部分遵循了 requests，但比后者更强大，是用于 Python 的下一代 HTTP 客户端。
                                    httpx旨在提供requests库的异步版本，同时保持与requests相似的API设计，使得对于熟悉requests的用户更加容易上手。同步和异步：httpx同时支持同步和异步请求，这意味着你可以在同一个库中使用相同的API进行同步和异步HTTP操作。通过异步请求，我们可以避免阻塞主线程，使得在等待I/O操作（如网络请求）完成时，主线程可以继续处理其他任务。asyncio是Python的内置库，它提供了创建异步任务、运行异步事件循环以及处理异步I/O操作的能力。Python发送异步HTTP请求的技巧。
                                    有时我们可能会碰到这样一种情况，我们有一个功能，这个功能对外提供了一个http接口，我们需要对这个http接口发起请求才能启动这个服务，但是这个服务功能可能会执行很久，这样如果等功能执行结束再返回请求结果，那这个请求可能就超时了，
发起请求的客户端
1 import requests
3 req = requests.get("http://127.0.0.1:9898/re...
                                    aiohttp 是一个基于异步的 Python HTTP 客户端/服务器框架，它允许你编写高性能的异步网络应用程序。它建立在 Python 的协程和异步 I/O 模型上，并利用了 Python 3.5+ 中引入的 asyncio 库。异步支持：aiohttp 基于 asyncio 库，充分利用了 Python 的协程和异步 I/O 模型，可以处理大量并发请求而不阻塞其他任务。这使得它非常适合编写高性能的网络应用程序。
                                    需求在一个我做的项目里，业务流程有一环需要调用http的接口。这个接口本身是同步处理的，返回响应的速度会根据要处理的数据量不同而不同。为了不拖慢主业务流程，客户要求采用异步的方式来请求，即只要得到http状态码为200即认为请求成功，无须关心接口具体的返回结果。分析这个业务场景可以概括为，我这边处理了所有数据的流程之后，将结果通过这个接口告知服务方，只要对方收到通知即可。这种场景一般有好几种处理方...
async def make_request():
    async with aiohttp.ClientSession() as session:
        async with session.get('https:/...
                                    我需要为django查询集的每个条目生成一个PDF报告。会有3万到4万个条目。在PDF是通过外部API生成的。由于当前是按需生成的，因此这是通过HTTP请求/响应同步处理的。对于这个任务，这是不同的，因为我认为我将使用django管理命令循环查询集并执行PDF生成。在我应该遵循哪种方法来完成这项任务？我考虑了两种可能的解决方案，尽管我从未使用过这些技术：1)Celery：将一个任务(具有不同负载的...
异步HTTP客户端库的流行：目前，有许多第三方库已经实现了异步HTTP客户端，如aiohttp和httpx等。然而，异步语法使得代码变得更加冗长，导致缩进增多，降低了代码的可读性和简洁性。
封装异步HTTP客户端：为了简化异步HTTP请求的代码，我们需要封装一个常用的HTTP客户端，以实现业务中常见的功能，并提供更简洁的接口。在这篇博客中，我将使用httpx库来进行封装异步客户端。
                                    async def post_httpresp(param):
    with async_timeout.timeout(1.0):
        async with aiohttp.ClientSession() as session:
                async with session.post(searchurl, json=param) as resposne:
                    res = await respos.