500w+日表数据的统计方案

MySql 码拜 5年前 (2016-06-04) 630次浏览
    讨教:
现在有每天的日表数据(一天生成一张), 每张表数据大致在500w左右。
需要从每天的日表数据中统计:根据appid统计ip数,同时ip需要去重。
大致的sql是:
select  appid,  count(distinct(ip)) from log0812_tb where iptype = 4 group by appid;
然后将统计的appid 和 ip数,放入到另一张统计表中。

1、直接执行sql的话,肯定超时了(系统仅配置了400ms读取时间)。
2、假如将数据都取出到内存中再做操作,内存又不足了,给的内存只有50M。(不为难程序员的需求不是好公司)

问一下,还有优化的解决方案吗?
谢谢

解决方案

20

建立复合索引:  iptype , appid, ip

10

建索引吧。或做触发器。

10

可以试试1楼的方法,建个索引试试。
另外,设置400m是,对于500w的数据,创建索引的情况下,可能还是会超时。

CodeBye 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明500w+日表数据的统计方案
喜欢 (0)
[1034331897@qq.com]
分享 (0)