用三个小例子理解 Python asyncio
先跑一小段代码:同样等待三次,每次 0.2 秒,第一段逐个等待,第二段交给 gather 一起调度。这里用 asyncio.sleep 模拟等待,不访问网络。
import asyncio
import time
async def read_one():
await asyncio.sleep(0.2)
return '一份材料'
async def main():
start = time.perf_counter()
for _ in range(3):
await read_one()
print('顺序等待:', time.perf_counter() - start)
start = time.perf_counter()
await asyncio.gather(*(read_one() for _ in range(3)))
print('并发等待:', time.perf_counter() - start)
asyncio.run(main())
随文脚本的一次运行中,顺序等待用了约 0.618 秒,并发等待用了约 0.214 秒。
例一:把三段等待重叠起来
第一段循环每次都等当前调用结束,下一次调用才能开始。第二段通过 gather 把三个调用交给 Python 调度;一个调用正在等时,另外两个也能开始等。Python 文档对 gather 的说明给出了这一行为。
图里的 0.6 秒与 0.2 秒忽略了调度开销。每个任务仍然要等 0.2 秒,缩短的是三个任务加在一起的等待时间。换成读取三份互不依赖的远端材料,也是先发出请求,再在等待期间处理其他任务;具体能省多少时间,还要看实际服务。
async def 定义了一种可以暂停、之后接着执行的函数,这类函数叫协程函数。调用 read_one() 会得到协程对象;仅仅拿到这个对象,函数体还没有开始执行。需要 await 它,或者把它交给任务调度。
负责安排这些任务运行的机制叫事件循环。在这个例子中,它在同一个线程里工作:任务走到 asyncio.sleep,暂时没有结果可拿,便让出执行机会;时间到了,再接着往下走。
这里没有因为 await 新开线程。前面的 for 循环每次 await 一个结果,仍然是顺序执行;要让等待重叠,得像 gather 那样先把多个任务安排起来。
例二:换成 time.sleep
如果只把函数体换成下面这样,再使用同一个 gather,总耗时又会接近 0.6 秒:
async def read_one():
time.sleep(0.2)
return '一份材料'
time.sleep 会阻塞当前线程。事件循环也在这个线程上,因此它没法趁这段时间安排其他任务。函数前面保留 async,不会改变这次同步调用的行为。
这个区别在接口里很容易遇到:函数声明成了 async def,内部却调用同步客户端、同步读文件或其他阻塞函数。调用卡住时,事件循环也跟着等。已有的阻塞式 I/O 可以考虑移到线程中执行,具体说明见 Python 关于阻塞代码的文档。
例三:把等待换成计算
随文脚本还比较了三次平方和计算:一组逐次调用,另一组交给 gather,一轮运行都用了约 0.434 秒。
这段函数一直在执行 Python 循环,没有让出执行机会。三次计算仍由同一个事件循环线程逐个完成,另外两个协程只能等当前计算结束。gather 可以安排任务,但不会把这段代码自动分到多个 CPU 核心。
较重的纯 Python 计算可以考虑进程池。选择线程还是进程,要先看耗时发生在哪里:等待远端结果、读写文件,还是本机计算。
回到作业批改:如果 FastAPI 正在用异步客户端等待独立的 GPU 服务返回,它可以同时接待其他请求;如果把耗时的同步处理直接放进异步接口里,其他请求仍可能受影响。
教师刷新页面后还要查批改进度,服务重启后还要继续处理,这又涉及任务保存。可以让上传请求先返回编号,再由后台接手,具体流程见 FastAPI 与 Celery 的任务交接。
这篇属于 Python 与后端开发 · 第 1 / 3 篇
下载本专题的 Python 示例