行业解决专项方案游戏数据运营解决专项方案.docx

游戏数据运行处理方案

背景
行业综述
伴随游戏行业市场竞争局面扩大，玩家对于品质要求越来越高，游戏项目标生命周期越来越短，直接影响项目标投入产出比，经过数据运行则能够有效延长项目标生命周期，对各个阶段业务走向进行正确把控。而伴随流量成本日益上升，怎样构建经济、高效精细化数据运行体系，以愈加好支撑业务发展，也变得愈发关键起来。

在这么背景下，越来越多游戏企业加入到数据运行行列，也促进了大数据产业生态链发展，第三方数据企业TalkingData、Dataeye、友盟、热云数据等就是在这一个时代中快速成长起来。但同时受限于业务了解，通用平台往往无法满足游戏企业定制化需求，所以伴随业务发展，最终还是要选择自建数据分析平台——因为技术门槛、资源投入等原因，现在大部分游戏企业只实现了数据统计，少部分企业实现了数据挖掘，在深度学习层面现在趋近空白。
业务需求及痛点分析
根据游戏领域行业细分，不一样类型企业对数据化运行业务需求各有侧重，构建数据化运行平台技术手段也表现为不一样方法。
根据行业属性，能够将生态中企业分为游戏研发商、游戏渠道商、游戏研发商三类，依据业务特点她们对于数据运行需求也各有侧重，从表现形式讲，基础指标集、用户画像、正确投放&效果分析、智能算法等等，不一而足。

而从实现数据运行技术手段来分析，也分别表现出不一样特征，各阶段使用技术栈、驱动原因及演进方向，能够简单经过下图来表述：

而在这么业务背景下，传统来料加工、被动响应数据处理架构，显然无法匹配数据化运行分析需求，关键存在问题：
1、 数据起源单一，缺乏正确用户画像，运行策划、实施不能”投其所好”，用户转化率低；
2、 平台沉淀、积累了大量数据，不过经过数据驱动业务创新、辅助决议方面没有经验，造成数据à业务价值转化率低；
3、 开发定制化，项目实施周期长，响应需求速度慢，无法有效支撑业务灵活改变；
4、 数据应用场景单调，大多只是止于简单看指标、报表，对于机器学习等复杂场景缺乏技术贮备；
阿里云整体处理方案
功效架构
基于阿里云大数据平台，构建一站式数据运行支撑平台。

关键介绍：
1、 数据采集+数据总线，丰富业务数据源：基于开源框架封装多个数据采集工具，按需选择以支持不一样类型异构数据采集，丰富业务数据起源，同时配合阿里云提供流式数据处理服务（DataHub），轻松构建基于流式数据高可用，低延迟，高可扩展，高吞吐分析和应用；
2、 数据处理/数据存放，支持不一样场景数据化运行需求：数据处理/数据存放作为总线数据消费端，提供面向不一样应用场景（实时分析、OLAP、离线计算、智能算法等）数据计算/存放引擎，支持不一样层次、视角数据化运行需求；
3、 数据消费，发挥数据在业务创新、辅助决议方面价值：基于底层数据计算能力，在应用侧经过阿里云提供可视化大屏（DataV）、数据分析配置工具（Quick BI）轻松构建不一样场景数据分析应用，充足发挥数据业务价值
数据运行平台基础数据框架

关键介绍：
1、 Datahub：
a) 实时、高吞吐并发数据处理能力；
b) 数据自动冗余多份，高可用性保障；
c) 数据流吞吐能力动态伸缩，按需弹性等能力；
2、 Stream Compute：
a) 支持类SQL语法，深度整合多类云数据存放
b) 性能优越，关键指标超越storm6~8倍
c) 优化实施引擎，计算任务资源消耗低
关键支持实时数据处理、分析等应用场景；
3、 Max Compute：
a) PB级超大规模数据计算及存放
b) 支持丰富计算模型
c) 数据自动冗余多份，高可用性保障
关键支持多维分析(T+1，OLAP)、报表/分析专题、机器学习等应用场景；
产品技术架构
离线分析
为了愈加全方面了解业务情况、用户行为偏好，需要对积累游戏数据做多维度深度探查，以挖掘数据中蕴含业务价值。这一类场景普遍特点是：
1、 数据量大
2、 计算复杂度高
3、 分析视角&可视化要求灵活多变
4、 许可一定数据时延
常见产品形态有OLAP报表（多维分析、用户行为分析等）、分析专题（游戏角色平衡等）、数据挖掘（用户画像、业务估计等）等。
实现这类场景基础产品技术架构图：

架构关键介绍：
1、 数据库：根据不一样应用场景、数据规模，能够选择适宜计算/存放引擎；
2、 OLAP分析&数据可视化：Quick BI提供拖拽式、所见即多得OLAP分析&报表配置及可视化能力，无需代码开发，可快速实现数据化运行分析场景；
3、 数据挖掘：机器学习提供可视化方法算法配置平台，快速实现机器学习、模型训练、智能算法（估计、偏好分析等）等高复杂度数据应用场景；
同时，对于应用侧提供灵活可集成能力，能够完全使用可视化配置，也可组合使用定制开发方法实现。
实时分析
实时分析更多应用在监控关键业务指标，以立即获知游戏运行动态，指导业务部门立即调整业务策略，快速响应业务改变，这一类场景普遍特点是：
1、 单位时间内数据量中小规模
2、 计算复杂度通常
3、 并发&数据实时性要求高等
常见产品形态：运行实时监控、PV、UV、消费金额、在线人数、区域分布等业务关键指标实时监控等。
实现这类场景基础产品技术架构图：

架构关键介绍：
1、 实时数据处理：经过阿里云流式数据总线（DataHub）+流计算平台（Stream Compute）组合，构建高可用、高并发、可弹性扩容实时数据处理、计算模块；
2、 实时数据分析：经过DataV平台提供多个可视化控件，能够快速实现大屏类实时分析场景，同时假如有定制要求，也可只使用底层数据源计算能力，经过自建web端应用方法提供实时数据分析能力。
方案优点总结
针对前文总结多个业务痛点，提供对应能力支撑，分别描述：
1、 业务数据起源单一
a) 支持多个数据类型；
b) 高可用、多并发流式数据总线，保障数据处理效率；
c) 依据不一样应用场景，按需选择适宜存放/计算引擎；
2、 应用场景单调，数据à业务价值转化率低
a) 游戏行业模型抽象/关键指标体系构建；
b) 常见业务分析场景总结、提炼、固化；
c) 经过工具支持模型训练、机器学习（用户画像、正确投放、用户行为估计）等复杂场景，无需代码开发；
3、 开发运维效率低
a) IAAS层应用、计算资源基于云平台提供弹性能力，按需伸缩，无需人工介入；
b) PAAS层提供指标、报表、分析页面等分析场景配置能力， 无需代码开发；