FastAPI 如何将大文件（≥3GB）上传到FastAPI后端

在本文中，我们将介绍如何使用FastAPI将大文件（3GB或更大）上传到后端服务器。FastAPI是一个基于Python的现代、快速（高性能）、Web框架，具有简洁的API设计、自动交互式文档、基于标准的基于Pydantic的请求和响应模型等特点，非常适合用于构建高性能的Web应用和API。

阅读更多：FastAPI 教程

为什么要使用FastAPI？

在探讨如何上传大文件之前，让我们先了解一下为什么我们应该选择FastAPI来构建我们的后端服务器。

高性能：FastAPI是一个高性能的Web框架，基于Starlette实现，可以处理大量并发请求，同时提供高吞吐量和低延迟。
简洁的API设计：FastAPI使用声明式语法来定义API端点，并自动地处理请求体和响应体的验证，使得API的定义更加简洁、直观。
自动交互式文档：FastAPI使用OpenAPI和JSON Schema规范来自动生成API的交互式文档，包括请求和响应模型、参数验证规则等信息，方便前端开发人员和API消费者使用。
基于标准的请求和响应模型：FastAPI使用Pydantic进行请求和响应模型的定义和验证，提供了强类型、自动转换和验证的功能，使得应用程序更加健壮和容错。

使用FastAPI上传大文件的步骤

下面是使用FastAPI上传大文件的步骤和示例代码：

增加文件上传的API端点

首先，我们需要在FastAPI应用程序中增加一个用于接受大文件上传的API端点。可以使用File数据类型作为请求参数来接收上传的文件。

from fastapi import FastAPI, File

app = FastAPI()

@app.post("/upload/")
async def upload_file(file: bytes = File(...)):
    # 处理文件上传逻辑
    # ...
    return {"status": "success"}

在上面的示例代码中，我们定义了一个名为upload_file的API端点，用于处理文件上传。我们将文件定义为bytes类型的参数，并使用File作为参数的注解。

处理大文件上传的逻辑

在上传文件的API端点中，我们可以使用Python的标准库或第三方库来处理大文件的上传逻辑。这里我们以Python的标准库shutil为例，演示如何将上传的文件保存到本地。

import shutil

@app.post("/upload/")
async def upload_file(file: bytes = File(...)):
    with open("uploaded_file.bin", "wb") as f:
        f.write(file)
    return {"status": "success"}

在上面的示例代码中，我们通过open函数创建一个名为uploaded_file.bin的二进制文件，并将上传的文件内容写入到该文件中。

处理大文件上传的限制

由于上传大文件可能会占用较大的系统资源，我们需要对上传文件的大小进行限制，以保证系统的稳定性和安全性。

FastAPI提供了UploadFile数据类型，可以通过max_length参数来设置上传文件的最大大小。在上面的示例代码中，我们可以将File数据类型替换为UploadFile数据类型，并添加max_length参数。

from fastapi import UploadFile

@app.post("/upload/")
async def upload_file(file: UploadFile = File(..., max_length=3*1024*1024*1024)):
    with open("uploaded_file.bin", "wb") as f:
        f.write(await file.read())
    return {"status": "success"}

在上面的示例代码中，我们将max_length参数设置为3*1024*1024*1024，表示最大允许上传的文件大小为3GB。

使用流式读取处理大文件

在处理大文件上传时，为了减少内存的消耗和提高性能，我们可以使用流式读取的方式处理文件。

@app.post("/upload/")
async def upload_file(file: UploadFile = File(...)):
    with open("uploaded_file.bin", "wb") as f:
        while True:
            chunk = await file.read(1024)  # 每次读取1024字节
            if not chunk:
                break
            f.write(chunk)
    return {"status": "success"}

在上面的示例代码中，我们使用await file.read(1024)每次从上传的文件中读取1024字节的数据，并写入到目标文件中，直到文件读取完毕。

总结

本文介绍了如何使用FastAPI将大文件（3GB或更大）上传到后端服务器的方法。使用FastAPI的高性能、简洁的API设计和自动交互式文档，可以帮助我们快速构建高性能的Web应用和API。通过增加文件上传的API端点、处理大文件上传的逻辑和限制、以及使用流式读取的方式处理大文件，我们可以高效地处理和存储大文件的上传。希望本文对你理解和应用FastAPI的大文件上传功能有所帮助。