BichonCode BichonCode
3年前
大数据排序
一、如何给100亿个数字进行排序? 1.1解答:1.把这个37GB的大文件,用哈希分成1000个小文件,每个小文件平均38MB左右(理想情况),把100亿个数字对1000取模,模出来的结果在0到999之间,每个结果对应一个文件,所以我这里取的哈希函数是hx%1000,哈希函数取得"好",能使冲突减小,结果分布均匀。2.拆分完了之后
Wesley13 Wesley13
2年前
vmware合并多个虚拟硬盘文件(使用vmware
有时,当我们创建虚拟机vmware里面的应用程序,我们可能会选择创建分割的虚拟磁盘中的多个文件2GB的文件,这是为了提高复制过程,主要用于存储虚拟机文件系统不支持创建更大的文件。还有种情况是虚拟化物理机器的时候,虚拟硬盘会自动采用小文件的存储方式。!(https://oscimg.oschina.net/oscnet/d4048eeef0447ef2
Wesley13 Wesley13
2年前
4项技巧使你不再为PHP中文编码苦恼
PHP程序设计中中文编码问题曾经困扰很多人,导致这个问题的原因其实很简单,每个国家(或区域)都规定了计算机信息交换用的字符编码集,如美国的扩展ASCII码,中国的GB231280,日本的JIS等。作为该国家/区域内信息处理的基础,字符编码集起着统一编码的重要作用。字符编码集按长度分为SBCS(单字节字符集),DBCS(双字节字符集)两大类。早期
Stella981 Stella981
2年前
DDos攻击
DDos简介DDos是分布式拒绝服务攻击,简单的说就是用和科技树控制不计其数的电脑或者服务器,为一个或者多个网站(服务器)发送连接请求,由于这样的垃圾请求太多,导致正常的请求进不来,造成网站或者服务器崩溃。比较猛的DDos共计,请求的数据可以达到每秒钟10GB。DDos攻击记录12月2021日间,部署在阿里云上的知名游戏公司,遭
Wesley13 Wesley13
2年前
4G摄像头采用GB28181协议成功接入LiveGBS国标流媒体平台的设置流程
经过了多天的调试对接,终于将宇视的布控球顺利接入到了LiveGBS的国标平台(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fblog.csdn.net%2Fjinlong0603%2Farticle%2Fdetails%2F87906950),特地写一下对接过程中遇到的问题,希望能帮助
Stella981 Stella981
2年前
Gitee 存储库体积控制策略
前言作为全球Top2的代码托管平台之一,Gitee拥有350W用户和600W存储库,海量的存储库对Gitee的硬件设施提出了更高的要求,以600W存储库为例,如果按照平均1GB的大小磁盘体积,这些存储库将需要总共5860TB的空间,按照Gitee每台存储磁盘14TB,则需要419台存储设备。实际上在Gite
Stella981 Stella981
2年前
Docker吐血总结
安装啥的我就不说了自己百度就行,本人是mac一路傻瓜安装。docker与vm相比的优势:1启动快,秒级别vm为分钟级2需要资源少,是轻量级的,docker容器直接与内核进行交互vm则是通过Hypervisor(VMM)与内核进行交互docker是MB级别vm为GB级别3能创建上千个容器,vm只能创建几十个4高可用性
Stella981 Stella981
2年前
Python爬虫初学
学习爬虫中,从最近自己写的爬虫小程序中抓截一点代码。加深下记忆。1.因为我已经安装了Python3,所以使用了urllib3库。2.要根据对应网页的数据格式进行解码,有的是utf8,有的是GB2312,当然可能还有其它。否则会报错。import urllib3import time因为我使用了Python3,所以使用urlli
Stella981 Stella981
2年前
Git Analyze 工具实现与原理
前言作为一个免费提供私有仓库的代码托管平台,码云时常要考虑利用现有的资源支持更多的用户,对于体积较大的存存储库,由于git的分布式特性,服务器往往需要更多的硬件资源来支撑这些存储库的访问。码云对git仓库的大小限制为1GB,用户在本地可以使用如下命令查看存储库的大小。dush.git/objects这个命令在Gi
Stella981 Stella981
2年前
Elasticsearch集群管理之1——如何高效的添加、删除节点?
1、问题抛出1.1新增节点问题我的群集具有黄色运行状况,因为它只有一个节点,因此副本保持未分配状态,我想要添加一个节点,该怎么弄?1.2删除节点问题假设集群中有5个节点,我必须在运行时删除2个节点。那么如何在不影响指数的情况下完成?我有接近10Gb/hour的连续数据流,这些数据正在连续写