Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

分片上传,文件越传越慢,是crc32计算的原因吗? #729

Open
joinwang111 opened this issue Nov 14, 2024 · 5 comments
Open

Comments

@joinwang111
Copy link

joinwang111 commented Nov 14, 2024

大文件分片上传时(一片5M),大概append分片文件上传到1G时左右时,就变的非常慢,此时调用storage查询INFO文件也非常慢,我的环境大概10秒左右吧。原因是什么呢?难道是每片文件上传到fastdfs后,fastdfs都会对当前整个文件(如当前分片已经追加到1G)做crc32计算吗,而不是从记录的上一片crc32为基准再计算当前文件的crc32吗。麻烦说明下为什么这么慢,怎么解决呢
当前版本:
version = 6.04

@happyfish100
Copy link
Owner

你们使用的磁盘是什么类型的呢?猜测是磁盘写入速度慢的缘故。

@joinwang111
Copy link
Author

你们使用的磁盘是什么类型的呢?猜测是磁盘写入速度慢的缘故。

磁盘是普通的机械硬盘。我主要想问分片上传时crc32计算的方式,是不是这个原因也导致慢

@happyfish100
Copy link
Owner

磁盘是普通的机械硬盘。我主要想问分片上传时crc32计算的方式,是不是这个原因也导致慢
应该不是这个原因导致的。我猜测还是因为磁盘写入效率较低导致的。

@joinwang111
Copy link
Author

磁盘是普通的机械硬盘。我主要想问分片上传时crc32计算的方式,是不是这个原因也导致慢
应该不是这个原因导致的。我猜测还是因为磁盘写入效率较低导致的。

那INFO查询文件时慢是因为什么呢?INFO查询文件,不会有磁盘写入吧

@happyfish100
Copy link
Owner

磁盘是普通的机械硬盘。我主要想问分片上传时crc32计算的方式,是不是这个原因也导致慢
应该不是这个原因导致的。我猜测还是因为磁盘写入效率较低导致的。

那INFO查询文件时慢是因为什么呢?INFO查询文件,不会有磁盘写入吧

对于 appender 类型文件,要到 storage server 上查询文件大小,会有网络通信和查询文件信息操作。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants