对于从数据库中提取的数据进行分页显示都是用的什么方法

J2EE 码拜 6年前 (2015-09-30) 449次浏览

考虑到数据库中的海量数据,希望能在页面上进行分页显示,以方便查看,请教各位都是用的什么方法呢

解决方案:5分
我今天刚好做了这个 很简单
mysql提供了一个limit算法 可以实现,在执行sql语句的时候回计算出你需要获取的数据,然后只需要把这些数据打印出来就行。
 代码差不多是这样
ps = conn.prepareStatement(“select * from base_configvalue limit ?,?”);
ps.setInt(1, p.getBegin());
ps.setInt(2, p.getPageSize());
这里需要设置两个属性,第一个是开始的条数,第二个是每页显示的数量。
可以创建一个page类来实现
解决方案:10分
分页其实很简单,mysql使用limit,oracle使用子查询+rownumber,总之对于数据库来说查询部分数据很简单,问题通常是在海量数据面前如何解决分页的友好显示问题,比如显示总页面。而这个问题往往是限制在海量数据的查询效率上,如果是单纯的将结果集全部查询一遍计算出总记录数,那么数据量很大时的效率会很差,即使数据库表有索引。这时候可能就需要使用到单独的索引技术,如solr,当查询一个关键字时通过solr获取总记录数。或者干脆不显示总记录数,分页只显示下一页,没有结果了就不继续下一页了,这样体验会差些,但是效率会高些
解决方案:15分
海量数据分页,已经无法使用数据库自带的分页机制,比如MySQL 的 Limit ,这会导致严重的性能问题, 经过生产环境大数据量千万级数据量分页实现的 的总结,目前为止我 所使用 的大数据量分页机制 有 两条:
 
1. 如果表中存在 连续 的数字列并 为 索引,那么通过页码即可计算出此字段的范围,直接作范围查询即可:
start = (page-1)*pagesize
end = page*pagesize
select * from table where id >start and id <=end
 
2.  对大量数据旧的分页数据,实际上是固定的,变化的仅仅是前面数页。那么将旧数据导出成一个特殊表,直接以页码为索引列,即可快速分页。同时因为新数据不断填充到前面页,故内部页码使用倒序(即超旧的数据,其在数据库中的页码越小,越新的数据其页码不断增长)
 
成功案例:某健康社区门户问答功能的列表页,目前大约共 3000 万主题帖,每页显示 30 条记录,这样大约是 100 万页。将每页要显示的数据作成一个字段,页码 及科室两个字段作 主索引, 因为业务要求要按科室及页码列出主题,同时科室分类存在层次关系,属性子科室的主题,也需要显示在父科室列表中,这样列表的总记录数实际上是超过 3000万的,冗余度大约是 2.5 ,即有 7500 万条记录,每页显示 30 ,即总共大约有 250 万页。现在将数据表重新进行设计,每页要显示的数据,作为一条记录,这样此表仅仅就只有 250 万条记录,也就相当于 250 万条记录的数据表,可胜任 7500 万主题的分页需要。表结构大致如下: 
page #当前记录的页码
classid #科室 id
data #当前页要显示的数据  原始主题记录 json 化或 php 序列化后的字符串
 
但此方案的问题就是数据更新及删除的同步问题。 建议是较新数据周期性(如每 4小时 )地重新整理,旧数据可使用较慢的周期(如每天)速度处理。同时删除帖子时应该先删除帖子内容,再 使用异步队列机制处理数据的同步和更新。 虽然带来维护上的麻烦,但有效地处理了大数据量分页显示的问题 。
 
列表页及帖子页,全部使用伪静态方式提供访问, 最长的内科列表页,已经达到了 30万页。
数据的存储使用三台Dell R610 机器存储,每次对列表页或帖子页的访问,均需要从 MySQL 查询。目前已经胜任每日约 9 00万次访问量。如果有任何疑惑,请联系 zhangxugg@163.com 。 如果你有更好的办法,欢迎一起探讨。
解决方案:10分
学习了…目前公司主要采用 
start = (page-1)*pagesize
end = page*pagesize
select * from table where id >start and id <=end 
前台传入页面,每页显示的数据pagesize。前台显示是一个大问题,目前还没找到好的方法解决这个问题

CodeBye 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明对于从数据库中提取的数据进行分页显示都是用的什么方法
喜欢 (0)
[1034331897@qq.com]
分享 (0)