golang gin框架中实现大文件的流式上传
2021-03-27 13:27
阅读:1002
YPE html>
标签:class content inpu string UNC pen 信息 优化 golang
一般来说,通过c.Request.FormFile()获取文件的时候,所有内容都全部读到了内存。如果是个巨大的文件,则可能内存会爆掉;且,有的时候我们需要一边上传一边处理。
以下的代码实现了大文件流式上传。
还非常不完美,但是可以作为参考:
upload.html
upload file
gin_stream_upload_file.go
/*
本例子实现了gin框架下的多个大文件流式上传,避免了文件内容存在内存而无法支持大文件的情况
*/
package main
import (
"fmt"
"github.com/gin-gonic/gin"
"os"
"bytes"
"io"
"log"
"strconv"
"strings"
)
/// 解析多个文件上传中,每个具体的文件的信息
type FileHeader struct{
ContentDisposition string
Name string
FileName string ///=0{
//找到了结束位置
target.Write(read_data[:loc-4])
return read_data[loc:read_data_len],reach_end, nil
}
target.Write(read_data[:read_data_len-b_len-4])
copy(read_data[0:], read_data[read_data_len-b_len-4:])
read_data_len = b_len + 4
}
target.Write(read_data[:read_data_len])
return nil, reach_end, nil
}
/// 解析表单的头部
/// @param read_data 已经从流中读到的数据
/// @param read_total 已经从流中读到的数据长度
/// @param boundary 表单的分割字符串
/// @param stream 输入流
/// @return FileHeader 文件名等信息头
/// []byte 已经从流中读到的部分
/// error 是否发生错误
func ParseFromHead(read_data []byte, read_total int, boundary []byte, stream io.ReadCloser)(FileHeader, []byte, error){
buf := make([]byte, 1024*4)
found_boundary := false
boundary_loc := -1
var file_header FileHeader
for {
read_len, err := stream.Read(buf)
if err!=nil{
if err!=io.EOF{
return file_header, nil, err
}
break
}
if read_total+read_len>cap(read_data){
return file_header, nil, fmt.Errorf("not found boundary")
}
copy(read_data[read_total:], buf[:read_len])
read_total += read_len
if !found_boundary {
boundary_loc = bytes.Index(read_data[:read_total], boundary)
if -1 == boundary_loc {
continue
}
found_boundary = true
}
start_loc := boundary_loc+len(boundary)
file_head_loc := bytes.Index(read_data[start_loc:read_total], []byte("\r\n\r\n"))
if -1==file_head_loc{
continue
}
file_head_loc += start_loc
ret := false
file_header,ret = ParseFileHeader(read_data[start_loc:file_head_loc])
if !ret{
return file_header,nil,fmt.Errorf("ParseFileHeader fail:%s", string(read_data[start_loc:file_head_loc]))
}
return file_header, read_data[file_head_loc+4:read_total], nil
}
return file_header,nil,fmt.Errorf("reach to sream EOF")
}
func main(){
log.SetFlags(log.LstdFlags | log.Lshortfile)
r := gin.Default()
r.StaticFile("/upload.html", "./upload.html")
r.POST("/gin_upload", func(c *gin.Context) {
var content_length int64
content_length = c.Request.ContentLength
if content_length1024*1024*1024*2{
log.Printf("content_length error\n")
return
}
content_type_,has_key := c.Request.Header["Content-Type"]
if !has_key{
log.Printf("Content-Type error\n")
return
}
if len(content_type_)!=1{
log.Printf("Content-Type count error\n")
return
}
content_type := content_type_[0]
const BOUNDARY string = "; boundary="
loc := strings.Index(content_type, BOUNDARY)
if -1==loc{
log.Printf("Content-Type error, no boundary\n")
return
}
boundary := []byte(content_type[(loc+len(BOUNDARY)):])
log.Printf("[%s]\n\n", boundary)
//
read_data := make([]byte, 1024*12)
var read_total int = 0
for {
file_header, file_data, err := ParseFromHead(read_data, read_total, append(boundary, []byte("\r\n")...), c.Request.Body)
if err != nil {
log.Printf("%v", err)
return
}
log.Printf("file :%s\n", file_header.FileName)
//
f, err := os.Create(file_header.FileName)
if err != nil {
log.Printf("create file fail:%v\n", err)
return
}
f.Write(file_data)
file_data = nil
//需要反复搜索boundary
temp_data, reach_end, err := ReadToBoundary(boundary, c.Request.Body, f)
f.Close()
if err != nil {
log.Printf("%v\n", err)
return
}
if reach_end{
break
} else {
copy(read_data[0:], temp_data)
read_total = len(temp_data)
continue
}
}
//
c.JSON(200, gin.H{
"message": fmt.Sprintf("%s", "ok"),
})
})
r.Run()
}
golang gin框架中实现大文件的流式上传
标签:class content inpu string UNC pen 信息 优化 golang
原文地址:https://www.cnblogs.com/ahfuzhang/p/12629416.html
评论
亲,登录后才可以留言!