全部文章

用三个小例子理解 Python asyncio

先跑一小段代码:同样等待三次,每次 0.2 秒,第一段逐个等待,第二段交给 gather 一起调度。这里用 asyncio.sleep 模拟等待,不访问网络。

import asyncio
import time

async def read_one():
    await asyncio.sleep(0.2)
    return '一份材料'

async def main():
    start = time.perf_counter()
    for _ in range(3):
        await read_one()
    print('顺序等待:', time.perf_counter() - start)

    start = time.perf_counter()
    await asyncio.gather(*(read_one() for _ in range(3)))
    print('并发等待:', time.perf_counter() - start)

asyncio.run(main())

随文脚本的一次运行中,顺序等待用了约 0.618 秒,并发等待用了约 0.214 秒。

例一:把三段等待重叠起来

第一段循环每次都等当前调用结束,下一次调用才能开始。第二段通过 gather 把三个调用交给 Python 调度;一个调用正在等时,另外两个也能开始等。Python 文档对 gather 的说明给出了这一行为。

顺序等待的三个区间首尾相接,并发等待的三个区间重叠;时间线为示意

图里的 0.6 秒与 0.2 秒忽略了调度开销。每个任务仍然要等 0.2 秒,缩短的是三个任务加在一起的等待时间。换成读取三份互不依赖的远端材料,也是先发出请求,再在等待期间处理其他任务;具体能省多少时间,还要看实际服务。

async def 定义了一种可以暂停、之后接着执行的函数,这类函数叫协程函数。调用 read_one() 会得到协程对象;仅仅拿到这个对象,函数体还没有开始执行。需要 await 它,或者把它交给任务调度。

负责安排这些任务运行的机制叫事件循环。在这个例子中,它在同一个线程里工作:任务走到 asyncio.sleep,暂时没有结果可拿,便让出执行机会;时间到了,再接着往下走。

这里没有因为 await 新开线程。前面的 for 循环每次 await 一个结果,仍然是顺序执行;要让等待重叠,得像 gather 那样先把多个任务安排起来。

例二:换成 time.sleep

如果只把函数体换成下面这样,再使用同一个 gather,总耗时又会接近 0.6 秒:

async def read_one():
    time.sleep(0.2)
    return '一份材料'

time.sleep 会阻塞当前线程。事件循环也在这个线程上,因此它没法趁这段时间安排其他任务。函数前面保留 async,不会改变这次同步调用的行为。

这个区别在接口里很容易遇到:函数声明成了 async def,内部却调用同步客户端、同步读文件或其他阻塞函数。调用卡住时,事件循环也跟着等。已有的阻塞式 I/O 可以考虑移到线程中执行,具体说明见 Python 关于阻塞代码的文档。

例三:把等待换成计算

随文脚本还比较了三次平方和计算:一组逐次调用,另一组交给 gather,一轮运行都用了约 0.434 秒。

这段函数一直在执行 Python 循环,没有让出执行机会。三次计算仍由同一个事件循环线程逐个完成,另外两个协程只能等当前计算结束。gather 可以安排任务,但不会把这段代码自动分到多个 CPU 核心。

较重的纯 Python 计算可以考虑进程池。选择线程还是进程,要先看耗时发生在哪里:等待远端结果、读写文件,还是本机计算。

回到作业批改:如果 FastAPI 正在用异步客户端等待独立的 GPU 服务返回,它可以同时接待其他请求;如果把耗时的同步处理直接放进异步接口里,其他请求仍可能受影响。

教师刷新页面后还要查批改进度,服务重启后还要继续处理,这又涉及任务保存。可以让上传请求先返回编号,再由后台接手,具体流程见 FastAPI 与 Celery 的任务交接。

这篇属于 Python 与后端开发 · 第 1 / 3 篇
下载本专题的 Python 示例