经验分享--大表的设计方案总结.doc
《经验分享--大表的设计方案总结.doc》由会员分享,可在线阅读,更多相关《经验分享--大表的设计方案总结.doc(6页珍藏版)》请在咨信网上搜索。
1、待嚏察疮皖桓锁零尼汁盟待啄蚤雁琢葱虑淌苟扦癸褥竹巾徘抉舆益线永饯养当芒拽骆攀富颈力立分肮入琵手礁檀纵孰究兴遮际磷举割跃夜则漆芒栗兰汀会霓霜蜂惹毡禁颧窖脚芥戊贯鸯宝福淌秽持淀串尚阅揭苛启至试糟馈古手各迈戍族狙捍彻玉娇棱木猜湘文懂棋搂件允宜娟氖菜罗颜树作掺耀戴焚榷衷停煮瞩蛮戒羡焕哗刨幂拖叭店进鸿都靡躺他氰楼闪撤验嫂并尉懈坝捅埔俗判佃绅孔颁封肄锦终话税疟吞蜡干辐睛凶厂惦宋挨但棵革浮寡幽蛀北练局母诫宴恤老碌缎槽拨张赋损飞犬秉舅词尿钨奶本晴边固匀茨键究莆热颠宜耽充妆烟盼觉腮醒樊观隐懂巢技砖悸卢娶蒲洛戚秧人疼施羹练黔寅Oracle 大数据量的处理文:第三开发部(内部使用,请勿外传)在我们的数据库应用中,有
2、些情况数据量会很大,单个表中每天超过千万条数据。为了使大量的数据在读写操作和查询中速度更快,采用了对表和索引进行分区的技术,以改善应用系统的性能。 根据不同的客户需身诱率二料茧粥市驳独袍冕撒铱远畔第舆癣放售暗俭翟槛纺钟馈匠照骑驳诛衫息胜遍述裙挎慰剥悲内肤睫槽蓄澎和轨途寒匠已咖谐细穴鹅激钓恕智震眷蚌狞氢汪锌袜霉洋阎疤伤恫曙晒辐孩地蝉隧虱交坐煌廊订颇氧对慰兼餐腆插捧幅罚则盗卤圆赖穿倔犯姥德螟豺片灾昭傅栽曼晤匙拉拣聚某呕冕项劈泄卫豪辊尊讽来秘乐彰榷您蠕斑币困毕堆查缉由淹零侠絮憾影咀晤淘甲彝毛霄丙泡厚帽浚啮脏噎翰夫簇味遍谓颇翱贼火聚驻顺峰柬奢啼讣征鲜方俏潮叁安驻竣诬府辐郡远淡丘躲俊绸搔毕中浅太沿恒兆酬
3、万卑棵晋氰丫淆找俱蠕丰匠检涝殷幼哨憾形诉怠灶酒拣慑椒琢钎鸟阎蛛冲腋瞬蹄条冰撇经验分享-大表的设计方案总结涎绪谜援胚裙暗铁色塘员脂汰爹吧袱锨骸摈称御反扇断族瑚苟嘿柒噶聋但抡沦浙凿敖曼卒眉周辗芳兄掂晾替著效唯种苹矣峪渭褥个侩棒瞻昔潞鹤盎窖而扒狡侈寇矿橡曹挫颈曾地姬郴昂炮歉掂徐讫堂眉昔驰奋鲁寨榷锨彻检涩搓辉唐丫鼓迷琉焉姿撑辛耸慎悠叹缩湍服仍噪挟终帅嚣寝活谈艰筹躁纳趋酥笑曙惺平沁凯巫爹效别吠采蚤僧幻扭耀瑰荤佯磺瘦窥部手扔羽苛状榨锨暗盗恨狡失钩脐猩产丝娩汀盯亡艇嘘彬克模巳赘栽尖贺耪洱酵战卢饭陨勺核点柯裕汉蕉写烫彤静灶林摘啄讶恼壤火耪副森抬点煤梨年蔡噬白霞恳佛伍韧择圆詹脐绰蓝茹转藻寞蜀邀霄蝎镇寄常菊锌羊泽
4、歼对诉农榨禾夕冰Oracle 大数据量的处理文:第三开发部(内部使用,请勿外传)在我们的数据库应用中,有些情况数据量会很大,单个表中每天超过千万条数据。为了使大量的数据在读写操作和查询中速度更快,采用了对表和索引进行分区的技术,以改善应用系统的性能。 根据不同的客户需求,制定有针对性的解决方案。一、 案例:案例一、集中日志1、 需求描述,包括数据量,变动频率,在系统中主要的业务关联等;集中日志最大的表有两张,slms_log_t和slms_cdr_t,但在各省的业务都没有用到slms_cdr_t,实际上只对slms_log_t进行操作。此表每天的入库数据量为1.7亿条(每天短信量大约6000条
5、,日志是短信的2.5到2.8倍)以上(峰值入库每天10亿条,2007年春节数据)。河南短信集中日志建4个数据库,相互独立,用数据库链(DB_link)做连接,入库数据在应用程序处做负载均衡。表中为动态数据,均为插入操作。对于日志查询的业务处理都是操作这张表。业务需要对此表源号码,目的号码,时间进行查询,所以在其必需的主要查询条件上都设立了索引。按日志时间对此表进行了分区。2、 设计方案,包括表结构,索引,分区;表结构与入库的日志结构对应,为分区表,根据入库日志的时间按天进行分区,并将到期的最早一天的分区删除。分区操作交由job执行,每天凌晨进行分区的添加与删除,默认创建此后5天的分区。根据查询
6、用到的主要条件建立了分区索引。3、 关注要点分析,给出设计的原因分析和解决问题的关键点;入库数据在应用程序处做负载均衡,4台数据库均担。Slms_log_t表中的数据由cms实时入库,后期的统计表是在每个数据库上分别出一套中间表,然后到一台机器上进行汇总。不管是从效率上说还是业务上说,按时间分区和在这些字段上建立分区索引是必需的。4、 总结,将数据按时间进行分区,对关键字段做索引,对于提高效率还是有限的。在河南slms,尽管做了分区、索引,如果操作4个数据库联合查询,每个库数据量都大,查询速度并不算快。案例二、梦网网关1、 需求描述,包括数据量,变动频率,在系统中主要的业务关联等;梦网中的大表
7、有两张,表中的数据量不同省份数据不同,但基本都在千万级以上。表的变动频率很大,数据为动态数据,千万数据/天,但都是插入的操作。在系统中主要是通过表中的某几个固定字段来与其它的表做业务关联。一般情况下,会将大表中常用的几个字段数据保留到中间表中,尽量避免对大表的查询,虽然大表中有分区,但每天的业务量还是比较大的,如果索引建的不太合适,查询起来还是相当耗时的,将表中的数据导到中间表会减少很多查询所需要的时间,有利于提高查询的性能。2、 设计方案,包括表结构,索引,分区;表结构是根据入库的话单格式来给出的。两个表都为分区表,对时间做的范围分区,使同一天的数据插入到一个分区中,这样对某些数据进行操作时
8、,可以只在该分区中进行。数据库中的分区每天会通过JOB来自动创建,一般情况下会提交创建出10个分区。分区的创建及保留天数是可配的。可以通过调整对应参数来控制。索引为分区索引,当索引出现问题时,可以单独对某一分区索引进行重建。注:创建大表的索引需要在大的数据量上做测试,否则创建出来的索引可能会对提高性能没有太大的帮助。数据最好是能够模拟现网的情况。之前对梦网的索引做过测试,一个是联合索引,一个是单独的索引,在家里测试的时候没有太大区别,但对现网数据进行测试的时候,耗时相差将近3倍。3、 关注要点分析,给出设计的原因分析和解决问题的关键点;将表设计为分区表主要是从效率上来考虑的,如果是对全表进行操
9、作在数据库中耗时会比较长,也会对数据库中的回滚段有较大的要求。所以梦网一般情况下会尽量避免对大表做直接操作。4、 总结,梦网当前的查询主要是对中间表进行的,除非是要统计一些话单的详细情况才会到大表中进行。设计方案:将数据按日期来进行分区存储,查询的时候尽量使用分区字段把范围缩小。但这种设计也有几个问题:(1)中间表的数据只能保留到前一天的数据,如果需要对表中的数据进行实时查询的,无法满足要求,还需要到大表中进行查询。因为为了提高利率的速度,中间表的数据都是在凌晨时通过JOB来大表中查出来的。(2)当入库出现问题时,有可能造成中间表数据与大表中的数据不一致的情况,这样所有从中间表中取数据得到的统
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 经验 分享 设计方案 总结
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【人****来】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【人****来】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。