关于大批量的获取共享文件夹内的文件SHA1的问题

.Net技术 码拜 8年前 (2016-05-26) 1044次浏览
本人使用Task类,用多线程的方式获取共享文件夹500多万文件的sha1值时发现,网络带宽占用了100M之多。
线程数达到了500多个,获取SHA1的速度也越来越慢,每个文件从最开始的100ms到最后的1分多钟(还没跑完),
问一下各位高手怎么样能解决这个问题。
每个文件的大小从5M到50M不等。
读取SHA1值的方式是.net提供的  System.Security.Cryptography.SHA1CryptoServiceProvider 类。
解决方案

10

引用:
引用

题主见过节假日期间的高速收费站吗?

您的意思是堵,需要排队进行执行的意思么?
假如排队的话,对于单个线程来说速度会加快,但是总的执行时间会缩短么?

意思就是这条路本来是10车道的,你一次过10辆车不会堵,但是一次过100辆速度反而会下降

10

你这个工作几年做一次?
为什么不能每天花几分钟做一小部分,而非要集中在一次做完?

10

网络带宽占去100M?你那500w文件放在局域网的计算机上吗?
要是单线程的,能让单个文件处理加快,能保证执行完,但整体时间长;多线程,不一定能执行完,所以本人说,根本上,需要提高配置
lz可以考虑分布式处理

CodeBye 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明关于大批量的获取共享文件夹内的文件SHA1的问题
喜欢 (0)
[1034331897@qq.com]
分享 (0)