FastAPI 与 Celery 的任务交接
批改作业需要等模型返回,但上传接口可以先告诉教师:“任务已经接收,这是查询编号。”随后由后台继续批改,页面根据编号查询进度。
下面沿着一条批改请求整理这个方案。文件上传、任务受理、自动批改、教师复核分别保存状态,页面才说得清楚现在做到哪一步。
接口先返回任务编号
以 POST /grading-jobs 为例,文件已经保存到后台程序也能读取的位置。请求带着文件标识和作业版本到达 FastAPI,接口检查权限和参数,保存任务记录,成功后返回:
{
"job_id": "job-001",
"status": "pending_dispatch",
"status_url": "/jobs/job-001"
}
这里可以使用 HTTP 202 Accepted,表示已经受理、处理尚未完成。pending_dispatch 表示任务已记录,正在等待发送到队列,页面可以显示“已提交,等待安排批改”。
Vue 页面保存 job_id,随后查询状态接口。刷新页面后也可以从作业详情重新取回任务编号。查询某个任务时,后端仍需检查当前用户是否有权限查看这份作业;编号本身不代表访问权限。
后台接手批改
FastAPI 所在的接口进程继续接收请求、校验参数和提供查询。另一个常驻后台的程序从队列取任务、调用 GPU 服务、保存结果,这种程序通常叫 worker。Celery 提供任务派发和 worker 执行机制,Redis 可以充当传递任务消息的中间服务。
这样拆开后,增加接口进程和增加批改 worker 可以分别考虑,GPU 服务也可以独立部署。页面不必一直挂着原来的上传连接,查询请求则继续读取任务表里的状态。
图中传递的是任务编号和文件引用,worker 根据引用读取文件。请求中的临时文件对象可能只存在于接口进程里,另一台机器上的 worker 未必能访问它,因此需要先准备可共享的存储位置。
FastAPI 自带的 BackgroundTasks 也能在返回响应后执行工作,但没有自动提供持久化任务队列,应用进程退出后,未完成的内存任务无法靠它自行恢复。需要多进程或多服务器执行的重任务,可以像 FastAPI 官方文档建议的那样,交给 Celery 等工具。
把待发送的消息一起存下来
从接口到 worker,中间还有一次交接:把消息发进队列。数据库保存成功后,发送到 Redis 仍可能失败;消息也可能已经发出,只是发送方没有收到确认。
Celery 的发送文档说明了发送重试与连接错误处理。重试能处理部分临时故障,但不能把数据库事务和消息发送自动合成一个事务。
我会考虑在同一笔数据库事务中保存任务本身,以及“这条任务消息还没发送”的记录。两条一起保存成功,接口才返回受理成功。独立发送程序不断读取待发送记录,发出消息后再标记完成。这种做法叫事务发件箱,英文是 transactional outbox。
这笔事务失败,接口就返回错误,前端提示“提交未成功”。事务已成功而发送失败,任务则保持“等待发送”,发送程序稍后继续尝试。等待太久需要告警或人工处理,页面也应该显示具体状态。
配套的 SQLite 小程序模拟了“队列收到了,确认却丢了”:重发后,队列里出现两条相同的 job-001。任务没有丢,但 worker 需要处理重复消息。这个示例演示的是状态变化,没有启动 FastAPI、Redis 或 Celery。
页面查询进度,教师确认结果
前端可以把状态翻译成具体动作:等待发送时显示“已提交”;队列等待时显示“等待批改”;worker 接手后显示“正在批改”;结果保存成功后开放“查看建议”。如果暂时失败且还会重试,就显示“稍后重试”;确认无法继续时,再提供失败原因和重新提交入口。
自动批改完成后,教师仍需要复核模型给出的建议。因此,“自动处理完成”和“教师已确认”分别记录:前者由 worker 更新,后者由教师操作更新。
保存结果时,还需要处理重复消息,并保留教师改分。批改任务的重试与评分保存讨论了具体做法:同一任务只接受一份模型结果,教师评分单独维护。
这篇属于 Python 与后端开发 · 第 2 / 3 篇
下载本专题的 Python 示例