HelloWorld 开发者社区

科技资讯

全部资讯

开源项目

全部项目

推荐好文

海量日志中统计次数最多的100个IP

由于标题长度限制,原题是这样:某系统QPS100万,每十分钟统计一下请求次数最多的100个IP。ip请求写到日志的话,其实就是超大文件中统计topk问题。10分钟6亿条记录,大约是10G级别,所以对于一般单机处理来讲不能一次性加载到内存计算。所以分治算法是处理这类问题的基本思想。思路

乱谈高并发、大吞吐量、海量数据处理的性能问题的背后

事实上我并没有做过任何大型的项目,但是高并发、大数据(此处指大量的数据,而不是在大量数据的基础上进行分析)、性能、缓存等字眼现在更频繁的被提出,甚至有的网友在面试普通程序员的时候也会被询问有关的问题,而且他们还郑重其事的咨询我的意见,还好这只是通过网络的问答,还是比较容易混过去的,不过我还是不得不认

已经看完全部文章

已加载文章中没有匹配内容,可继续加载更多。