为什么百度网盘和手机电脑单次只能编辑操作如移动/复制一项任务,怎样才能快速同时批处理多项并行任务?

这其实是一个产品设计及产品使用环境问题。

我们把问题分拆成为几个子问题,一一解释:

1.为什么移动文件在windows本地比网盘快?

我理解你说的windows本地移动是指同盘符下的文件移动,这个对于本地文件系统底层来说,其实只是更新一下文件路径指向,并不需要做任何额外操作,所以速度很快,快到你根本无知觉。但这个路径更新也是一个一个文件来的,文件特别多的时候也是能看到移动的进度的(譬如10万个文件同盘符移动)

如果是跨盘移动,相当于剪切再粘贴,这时候就需要复制一份过去再删除原始的文件,这里速度取决于两方面,一个是磁盘IO速度,一个是文件数量,如果都是几兆的小文件,文件数量是主要瓶颈。复制/移动 一个10G的文件的用时会比1000个加起来10G的文件长得多。跨盘移动文件存储的物理位置是会发生改变的,相当于磁盘要做读写操作,所以速度会比同盘符移动慢很多。

但在本地磁盘操作的都是可以及时返回实时反馈给用户的,所以用户能感觉快及无需等待。

现代网盘的文件管理机制和本地磁盘是完全不一样的,主要差别在这里:

1.文件系统由数据库管理,文件移动复制粘贴本身就是数据库操作,文件在存储中的位置是不会发生改变的。

2.数据库处理文件的特点是功能强大,可以根据需求自定义。但一般数据库的响应速度是不如更底层的文件系统的。(如:CDFS、UDF、FAT12、FAT16、FAT32、NTFS)同时,云端应用是服务于大量用户的,数据库也不可能只会为你一个人服务,一个网盘的数据库可能在同时处理上万个用户的请求,分配给你的资源其实不多,这样速度会更慢。

3.网盘是有权限管理的,所以譬如一个移动操作就需要判断有没有目标文件夹的写入权限,有没有源文件夹的删除权限,移动新的文件夹后权限发生了什么改变(譬如可以访问目标文件夹的其他人是否能访问移入的文件夹)….这些本质上都是数据库操作,并且每个文件的权限都要判断(很多安全性高的网盘都是可以独立控制每个文件的权限的)如果文件特别多,移动就会慢。

4.可能是最重要的,就是网盘的存储是在云端的。云端产品有两个假定,就是网络状况不是永久稳定的,并且并不是每个操作后台都一定会成功的。所以,网络应用的重要操作都需要等服务器返回确认后才算完成,并且还需要出错处理的策略配合,所以会比本地慢。

譬如移动文件这个操作,产品设计角度上会有两种方式:

A:接受到移动指令后做个简单权限判断就在界面上完成操作呈现结果,实际的移动工作还在后台慢慢跑,如果出错了再提示。但是,如果是网页上的,很有可能此时用户已经关闭了网页,用户并不知道移动失败了。

B:弹出个进度条,实时展示移动进度,移动完成进度消失,这样的好处是出错了可以即时提醒,用户也可以确认移动是成功的。

方案A可以做到很快(甚至大量文件移动比本地更快),而且和移动的文件数量无关。但是其实只是取巧的做法。不过考虑到移动失败的概率很低,所以不少产品也用了方案A。

方案B只要移动成功了,就能确定是成功的,所以更加严谨,但给用户的体验就是慢。

2.为什么智能设备整编辑整理文件和文件夹单次只能编辑操作如移动/复制粘贴一项任务,怎样才能同时快速批处理多项并行任务?

这个问题是伪命题或者我没有理解,分几个点说一下吧。

1.这个和设备无关。批处理多项任务所有智能设备都可以,性能也应该够。

2.大多数移动端软件也支持多选并统一移动的,唯一存在的问题可能是交互问题,一般长按能打开多选(批处理)。

                                           很多应用是能开启多选的

3.因为批量移动复制在移动设备上不是强场景,所以软件开发者没有支持。

4.如果和权限判断有关,每个文件夹访问者不同(如企业网盘),为了让事情简单,设计者会禁止多个不同权限的文件或文件夹移动,防止混淆。

3.通过对当前硬件、软件、通信、存储等行业技术创新和革新最快什么时候能实现比较快速比如秒秒钟或分分钟就能单次多任务并行处理成千上万甚至十几万几十万上百万数量、存储空间占用1T以上的文件和文件夹?

很早以前已经实现了,但是你使用的场景可能不需要或者成本太高。

从硬件和支持软件层面上,对海量文件的操作云端是很有优势的,大的云端存储(譬如OSS)其实每秒钟都面临着数十万并发及TB级数据。分布式技术的发展让高性能存储、分发、处理变得很简单,吞吐能力到PB的系统也不少。更不用说现在AI算力服务器的数据处理量了。但是如果你使用互联网应用,分配到你的资源当然不会多,因为这些背后都是成本。

如果有预算,自己搭建一套速度飞快吞吐量和任务处理量到TB甚至PB的分布式集群其实也很简单。说白了,就是钱的事情,技术上没有任何障碍。而且,其实也不用很多钱。

就像我们的产品,巴别鸟企业网盘,我们帮助很多企业搭建了高性能文件处理系统,最高数据处理量能达到上亿文件数量PB级容量。其实成本也不高,还没有破50万。

发表评论

电子邮件地址不会被公开。 必填项已用*标注