Orip基于内存数据库的海量数据实时处理解决方案样本.doc

Orip:基于内存数据库海量数据

实时解决解决方案

李朝铭
(北京开拓天际信息技术有限公司首席架构师)

.4.3

目录

Ø内存数据库简介

Øorip内存数据库架构

Øorip内存数据库应用开发框架

Øorip内存数据库应用案例

Øorip内存数据库开发

什么是海量数据解决？

当数据量不断突破TB、PB、EB级时，当公司核心应用开始数据
大集中、应用管理大集中时，当公司数据库中心向多都市扩张时，当
前数据库体系开始面临各种发展瓶颈：
如何将单一数据库通过Cluster集群方式扩展？
如何运用Cache机制提高数据库访问速度、如何性能调优？
如何保证数据库备份、容灾安全、同步性、一致性？
--摘自本次大会网站主页

当在线顾客数达到数万甚至是数百万时，当每分钟有数十万甚至数
千万SQL需要解决时，当顾客祈求规定在秒级甚至在毫秒级得到响应时，
而满足这些需求咱们money却非常有限时……
应选用何种数据库？
数据库如何设计？
其安全可靠性如何保障？
--这是本演讲主题

什么是内存数据库

· 什么是内存数据库？

数据重要存储于内存中，具备数据库基本功能
· 为什么要使用内存数据库?

某些应用规定极高数据解决性能，而内存数据库性
能远远高于基于磁盘关系数据库；内存价格已下降
· 常用内存数据库有哪些？

（Altibase、Timesten、SolidDB、BerkeleyDB、
eXtremeDB …..)

什么是ORIP ？

ORIP 是 OnDemand
RealTime Information
ProcessPlatform 缩
写，中文名称为“实时
信息随需解决平台”。


内存数据库

消息中间件

SOA服务平台

内置了消息引擎、内存
数据库引擎、SOA 服
务引擎、公司信息服务
总线和高可用管理模块
等


广泛合用于电信、金
融、电力、税务、保
险、证券等数据量大、
实时性和可靠性规定
高行业


应用运营平台

动态Web服务器

HA管理软件

更高综合性能

· 相对老式关系数据库方式，总体性能有10倍以上
提高

· DELL2950(2*4 2.5GHz CPU，16GB 内存)上并
发解决平均解决能力接近每秒20万个 SQL
· 在千兆网络下，ORIP单事例每秒可同步解决5万
个以上并发HTTP祈求（含内存数据库访问）

高可靠性

· Orip提供了redo日记，保证了主机或ORIP进程在
意外down掉状况下，数据可以可靠地恢复
· checkPoint机制兼顾了性能和故障恢复时间
· 支持事务和非事务模式
· 支持一种服务内各种事务穿插进行

更高可用性

· ORIP内置高可用(HA)软件特性，可支持双机热备、
双机热并行、N+1备份、多机并行等

· 可在无磁盘阵列柜状况下，实现双机数据（内
存数据库）准实时同步

· 在不启用ORIP内置HA特性状况下，可安装
oripMon守护进程，将自动重启意外down掉
orip事例

Ø内存数据库简介

Øorip内存数据库架构

Øorip内存数据库应用开发框架

Øorip内存数据库应用案例

Øorip内存数据库开发

ORIP体系构造

Orip 事例

SGA


MA

Orip
Console

字典缓冲区

消息缓冲区

系统内核组件

系统原则组件

oripmgr


oripsql

事务缓冲区

数据存储区

Redo日记缓冲区

共享索引区

顾客服务组件

顾客服务组件

顾客服务组件

顾客服务组件

网络管
理


字典管
理


缓冲区
管理


事务管
理


锁管理


组件库
管理

客户端接口库

任务管
理
消息管
理
服务管
理
备份管
理
恢复管
理
日记管
理

应用顾客
进程

应用顾客
进程

参数配备文献

控制文献
数据文献
备份
重做日记
文献

服务动态
库

锁文献


Profile文
件

Orip 客户端

允许文献


Orip 脱机存储区

Orip内存数据库管理工具

·

·

·

·


oripmgr

oripsql

oripexp/oripimp

orip console

ORIP HA主备示意1/3

√
服务地址：192.168.1.3

启动地址：192.168.1.1

心跳地址：10.16.1.1

orip主节点


Redo log

启动地址：192.168.1.2

心跳地址：10.16.1.2

orip备节点

ORIP HA主备示意2/3

X
服务地址：192.168.1.3

启动地址：192.168.1.1

心跳地址：10.16.1.1

orip主节点
启动地址：192.168.1.2

心跳地址：10.16.1.2

orip备节点

ORIP HA主备示意3/3

服务地址：192.168.1.3
启动地址：192.168.1.1

心跳地址：10.16.1.1

orip主节点


√


Redo log


√


服务地址：192.168.1.4

启动地址：192.168.1.2

心跳地址：10.16.1.2

orip备节点

Ø内存数据库简介

Øorip内存数据库架构

Øorip内存数据库应用开发框架

Øorip内存数据库应用案例

Øorip内存数据库开发

内存数据库应用开发架构

应用


Orip Server

应用

内存数据库


内存数据库


顾客服务组件

顾客服务组件

常规嵌入式内存数据库
应用开发模式


ORIP嵌入式内存数据库
应用开发模式

Ø内存数据库简介

Øorip内存数据库架构

Øorip内存数据库应用开发框架

Øorip内存数据库应用案例

Øorip内存数据库开发

支持一亿顾客电信顾客帐单/余额查询系统

内存表：

1.顾客身份认证表

顾客1


顾客2


顾客n

2、顾客余额表

3、顾客帐单表（每月一种）

服务器配备：

IBM3850 2台（每台64GB
内存，4CPU），双机并行互
为备份

操作系统：

Linux 64位

支持百万顾客同步在线IM设计1/2

--IM顾客信息表
create table imUser
(userName varchar(16) primary key,
uid unsigned int,
petName varchar(16),
password varchar(16),
registerTime unsigned int);

--IM 顾客朋友表
create table imUserFriend
(uid unsigned int primary key,
friendId unsigned int primary key,
groupId unsigned int);


--IM Uid与顾客相应表
create table imUserUid
(uid unsigned int primary key,
userName varchar(16),
socketId int,
ip unsigned int,
port unsigned short int,
offlineMsg char,
status char,
lastLoginTime unsigned int);

支持百万顾客同步在线IM设计2/2

顾客2

顾客1

X.X.1.1
都市1
X.X.1.2

顾客3

Redo log

X.X.2.1


都市2


X.X.2.2


X.X.3.1


都市3


X.X.3.2

顾客5


顾客4

Ø内存数据库简介

Øorip内存数据库架构

Øorip内存数据库应用开发框架

Øorip内存数据库应用案例

Øorip内存数据库开发

Orip内存数据库开发示例1/2

#include<orip_server.h>
/*insert demo */
Int serviceInsertDemo (char *inPara，char **outPara，int *retLen)
{
char dbMsisdn[12];
char dbName[32];
int dbAge = 0;
LDATETIME dbDt;
CLI_PTR *cliPtr = NULL;
……
cliPtr = (CLI_PTR *) mallocCli (100);
cliPtr = addInsertHead (cliPtr，dbMsisdn，"mdb_demo"，&trans1，&flag);
cliPtr = addField (cliPtr，"msisdn"，dbMsisdn，strlen (dbMsisdn)，DT_CHAR,
&flag);
cliPtr = addField (cliPtr，"name"，dbName，strlen (dbName)，DT_CHAR，&flag);
cliPtr = addField (cliPtr，"age"，(char *) &dbAge，4，DT_INT，&flag);
cliPtr = addField (cliPtr，"dt"，(char *) &dbDt，8，DT_LDATETIME，&flag);
callInsert (cliPtr，&ret);
……
}

Orip内存数据库开发示例2/2

#include<orip_server.h>
/*select demo */
int
serviceSelectDemo (char *inPara，char **outPara，int *retLen)
{
char dbMsisdn[12];
char dbName[32];
int dbAge = 0;
LDATETIME dbDt;
SELECT_PARA para[4];
CLI_PTR *cliPtr = NULL;
char *ptr = NULL;
char *freePtr = NULL;
......
strncpy (dbMsisdn，inPara，11);
dbMsisdn[11] = 0;
para[0].val = (char *) &dbMsisdn;
para[1].val = (char *) &dbName;
para[2].val = (char *) &dbAge;
para[3].val = (char *) &dbDt;
cliPtr = (CLI_PTR *) mallocCli (100);
cliPtr = addSelectHead (cliPtr，dbMsisdn，"mdb_demo"，&flag);
cliPtr = addFieldEmpty (cliPtr，"msisdn"，DT_CHAR，&flag);
cliPtr = addFieldEmpty (cliPtr，"name"，DT_CHAR，&flag);
cliPtr = addFieldEmpty (cliPtr，"age"，DT_INT，&flag);
cliPtr = addFieldEmpty (cliPtr，"dt"，DT_LDATETIME，&flag);


cliPtr = addWhereSign (cliPtr);
ptr = callSelect (cliPtr，&ret);
freePtr = ptr;
if (ret >= 0)
{
/*获取首条记录*/
ret =
getSelectFirstResult (&ptr，&para[0]，&para[1],
&para[2]，&para[3],NULL);
char *dt = NULL;
dt = l_dttoc1 (dbDt);
printf
("\ndbMsisdn=%s,dbName=%s,dbAge=%d,dt=%s\n",
dbMsisdn，dbName，dbAge，dt);
free (dt);
}
else if (ret < 0)
{
printf ("\nselect error:%d\n"，ret);
return ret;
}
if (freePtr)
free (freePtr);
return 0;
}

演示

谢谢！