文章
海量日志中统计次数最多的100个IP
由于标题长度限制,原题是这样:某系统QPS100万,每十分钟统计一下请求次数最多的100个IP。ip请求写到日志的话,其实就是超大文件中统计topk问题。10分钟6亿条记录,大约是10G级别,所以对于一般单机处理来讲不能一次性加载到内存计算。所以分治算法是处理这类问题的基本思想。思路
乱谈高并发、大吞吐量、海量数据处理的性能问题的背后
事实上我并没有做过任何大型的项目,但是高并发、大数据(此处指大量的数据,而不是在大量数据的基础上进行分析)、性能、缓存等字眼现在更频繁的被提出,甚至有的网友在面试普通程序员的时候也会被询问有关的问题,而且他们还郑重其事的咨询我的意见,还好这只是通过网络的问答,还是比较容易混过去的,不过我还是不得不认
已加载文章中没有匹配内容,试试其他关键词或清空搜索。
已显示全部内容