银行大数据解决专项方案.docx

银行大数据处理方案
一、项目背景
8月31日，国务院印发了《促进大数据发展行动纲要》，这一战略性文件为中国大数据发展和应用提供了指导纲领和政策保障。在数据已成为银行关键资产和宝贵资源形势下，《纲要》也为银行利用大数据推进转型发展指明了方向和实施路径，带来了发展新机遇。
目前中国银行业正在步入大数据时代初级阶段。经过多年发展和积累，现在银行业数据量已经达成100TB以上等级，而且非结构化数据量正在以愈加快速度增加。银行业在数据方面有天然优势：首先，银行在业务开展过程中积累了包含用户身份、资产负债情况、资金收付交易等大量高价值密度数据，这些数据在利用专业技术挖掘和分析以后，将产生巨大商业价值；其次，银行含有较为充足预算，能够吸引到实施大数据高端人才，也有能力采取大数据最新技术。
总体来看， 尽管大数据在银行业应用刚刚起步，现在影响还比较小，不过从发展趋势来看，应充足认识大数据带来深远影响。银行业需要进行统一大数据平台建设，建立综合估计分析体系，整合生产系统数据资源。在此基础上和《纲要》计划信用信息共享交换平台和公共机构数据统一开放平台有效对接，双管齐下扩展数据起源和采集渠道。这能够首先高效搜集、有效整合企业和社会公共数据，掌握企业真实需求，实现正确营销。尤其可经过农业农村信息综合服务和农业资源要素数据共享，获取三农数据和小微企业数据，处理数据挖掘和分析难点，提升三农和小微金融服务水平。其次利用平台动态监控企业经营及个人信用改变情况，强化信用风险智能化管理和预警，降低信用评定、风险控制难度和不确定性，实现风险管控和正确营销双重收益。
二、银行大数据平台总体框架
2.1银行大数据平台框架概述
银行大数据建设是基于已经有信息化基础，充足利用和整合已经有信息化资源，打破行业、部门之间信息壁垒，利用大数据技术进行采集、加工、建模、分析，将数据价值融入到金融之中，从而提升创新能力和产品服务能力。
（1）大数据分析基础平台
根据功效划分数据区，设计数据模型，在统一步骤调度下，整合各类数据，同现有企业级数据仓库和历史数据存放系统一起，形成基础数据体系，提供支撑经营管理各类数据应用，支撑上层应用。
（2）数据应用系统
基于基础数据平台，连续建设各类数据应用系统，经过数据挖掘、计量分析和机器学习等手段，对丰富大数据资源进行开发使用，并将数据决议化过程结合到风控、营销、营运等经营管理活动，充足发挥大数据价值。
（3）数据管控
建立数据标准，提升数据质量，加强元数据管理能力，为平台建设及安全提供保障。
2.2银行大数据平台建设标准
平台是大数据基础实施，其建设、设计和系统实现过程中，应遵照以下指导标准：
经济性：基于现有场景分析，对多年数据量进行合理评定，确定大数据平台规模，后续依据实际情况再逐步优化扩容。 可扩展性：架构设计和功效划分模块化，考虑各接口开放性、可扩展性，便于系统快速扩展和维护，便于第三方系统快速接入。
可靠性：系统采取系统结构、技术方法、开发手段全部应建立在已经相当成熟应用基础上，在技术服务和维护响应上同用户主动配合，确保系统可靠；对数据指标要确保完整性，正确性。
安全性：针对系统级、应用级、网络级，均提供合理安全手段和方法，为系统提供全方位安全实施方案，确保企业内部信息安全。大数据技术必需自主可控。
优异性：涵盖结构化，半结构化和非结构化数据存放和分析特点。借鉴互联网大数据存放及分析实践，使平台含有良好优异性和弹性。支撑目前及未来数据应用需求，引入对应大数据相关技术。
平台性：归纳整理大数据需求，形成统一大数据存放服务和大数据分析服务。利用多租户, 实现计算负荷和数据访问负荷隔离。多集群统一管理。
分层解耦：大数据平台提供开放、标准接口，实现和各应用产品无缝对接
2.3银行基础数据层起源
2.3.1银行内部大数据资源
金融行业数据大多数起源于用户本身信息和其金融交易行为，其中八成左右数据集中于银行。所以依据现在积累沉淀数量资源情况，将数据关键分为三大类：
第一类：用户基础数据
用户信息数据，即用户基础数据，关键是指描述用户本身特点数据。
个人用户信息数据包含：个人姓名、性别、年纪、身份信息、联络方法、职业、生活城市、工作地点、家庭地址、所属行业、具体职业、婚姻情况、教育情况、工作经历、工作技能、账户信息、产品信息、个人爱好等等。
企业用户信息数据包含：企业名称、关联企业、所属行业、销售金额、注册资本、账户信息、企业规模、企业地点、分企业情况、用户和供给商、信用评价、主营业务、法人信息等等。
现在银行业用户信息数据积累数量无疑是最大，假如将这些割裂数据整合到大数据平台，形成全局数据，再根据本身需要进行归类和打标签，因为全部是结构化数据所以将有利于数据分析。能够将这些信息集中在大数据管理平台，对用户进行分类，依据其它交易数据，进行产品开发和决议支持。
第二类：支付信息
交易信息数据，能够称之为支付信息，关键是指用户经过渠道发生交易和现金流信息。
个人用户交易信息：包含工资收入、个人消费、公共事业缴费、信贷还款、转账交易、委托扣款、购置理财产品、购置保险产品、信用卡还款等。
企业用户交易信息：包含供给链应收款项、供给链应付款项、职员工资、企业运行支出、同分企业之间交易、同总企业之间交易、税金支出、理财产品买卖、金融衍生产品购置、公共费用支出、其它转账等。
第三类：资产信息
资产信息关键是指用户在金融机构端资产和负债信息，同时也包含金融机构本身资产负债信息，其中数据大多来自银行。
个人用户资产负债信息包含：购置理财产品、定时存款、活期存款、信用贷款、抵押贷款、信用卡负债、抵押房产、企业年金等。
企业用户资产负债信息包含：企业定时存款、活期存款、信用贷款、抵押贷款、担保额度、应收账款、应付账款、理财产品、票据、债券、固定资产等。
银行本身端资产负债信息包含：本身资产和负债比如活期存款、定时存款、借入负债、结算负债、现金资产、固定资产贷款证券投资等。
第四类：新型业务数据
这类数据包含系统运行日志、客服语音、视频影像、网站日志等。
2.3.2外部大数据所需起源
银行机构进行大数据分析，为了赢得差异化竞争，就必需考虑其它数据源输入，这些数据是本身不含有，不过对其数据分析和决议起到了很关键作用。
银行内部有用户信息、交易信息、信用信息、资产信息等，含有较全数据，需要外部数据含有一定针对性，下表是外部数据需求整理。
金融机构外部数据需求类型
外部信息数据
需求类型及应用方法
法院、公安数据
个人严重行政处罚统计（如行政拘留等）、刑事犯罪统计、涉诉情况（人身关系、财产关系）、交通严重违规违章统计
P2P征信信用数据
个人在P2P平台贷款信用统计
互联网消费行为数据
了解用户消费能力和消费偏好
用户征信信息
用户在其它银行或金融机构贷款统计、信用统计等信息
第三方征信
用户评级情况和用户社会信息
社保、纳税、公积金
用户社会保障情况及经济能力
工作单位性质
了解用户社会身份
第三方催收机构
有催收统计用户信息、用户社会信息
出入境统计
用户出入境目标地、出入境频率等了解用户国外消费潜在需求
中国出行统计
了解用户出行习惯
表一：银行外部数据需求类型
正是因为以银行为代表金融机构需要大量外部数据填补本身内部数据不足，从而催生针对金融业大数据交易市场。现在金融机构能够采取同大数据厂商合作方法，经过本身平台来采集数据或购置第三方数据。
三、大数据在银行业应用场景
3.1用户管理
借助大数据分析平台，构建360度立体画像。

图二：银行大数据技术用户画像维度
伴随大数据大量涌现，尤其是在社交网络背景下，服务渠道不应仅局限于传统银行渠道，而应整合新用户接触点（即社交媒体网站等），这种趋势已经变得日益清楚。银行业发展战略也逐步从以产品为中心转向以用户为中心，用户成为银行发展关键驱动力。银行不仅仅销售产品和服务，而且还应为用户提供完美多渠道体验，成为真正以用户为中心组织。了解用户到底是谁和用户最真实需求成为银行经营管理者最为关注问题。
银行能够经过大数据分析平台，接入用户经过社交网络、电子商务、终端设备等媒介产生非结构化数据，构建全方面用户视图。依据用户行为对用户进行聚类分析，进而能够有效甄别出优质用户、潜力用户和流失用户。
3.2营销管理
借助大数据分析平台，实施个性化营销管理及策略。

图三：银行大数据技术正确营销
在用户画像基础上，银行可展开正确营销。1）实时营销。比如用户当初所在地、用户最近一次消费等信息来有针对地进行营销，或将改变生活状态事件（换工作、改变婚姻情况、置居等）视为营销机会；2）交叉营销。即不一样业务或产品交叉推荐，如招商银行能够依据用户交易统计分析，有效地识别小微企业用户，然后用远程银行来实施交叉销售；3）个性化推荐。银行能够依据用户喜好进行服务或银行产品个性化推荐，如依据用户年纪、资产规模、理财偏好等，对用户群进行正确定位，分析出其潜在金融服务需求，进而有针对性营销推广；4）用户生命周期管理。用户生命周期管理包含新用户获取、用户防流失和用户赢回等。
3.3构建更全方面信用评价体系
利用大数据平台及技术，能够愈加好构建银行系统信用评价系统。

图四：银行大数据全方面信用评价体系
信用风险评价是银行信用风险管理工作依据和基础,其前提是要为信用风险评定建立科学合理评定指标体系。大数据能分析及帮助银行了解用户各方面信息，做出快速、高效评价、评定，实现业务安全实施。
3.4风险管理
借助大数据平台及技术，实现高效正确风险控制。

图五：银行大数据全方面风险管理体系
伴随银行业务快速发展，银行经营者必需有效地甄别风险、防范风险和控制风险。风险管理成为银行稳健发展至关关键一环。社会化媒体互动、实时传感器数据、电子商务和其它新数据源，正给银行经营带来一系列挑战。仅仅借助传统处理方案，无法全方面进行风险管理。大数据分析帮助银行了解用户自然属性和行为属性，结适用户行为分析、用户信用度分析、用户风险分析和用户资产负债情况，建立完善风险防范体系统。
3.5运行优化
在运行优化方面应用包含：1）市场和渠道分析优化。经过大数据，银行能够监控不一样市场推广渠道，进而为银行产品或服务找到适宜渠道，优化推广策略。2）产品和服务优化。银行将用户行为转化为信息流，并从中分析用户个性特征和风险偏好，智能化分析和估计用户需求，从而进行产品创新和服务优化。
3.6 处理信息孤岛
银行系统是很多，带来问题是信息孤岛，过去，银行通常需要小时时间间隔去扫描各个业务系统，这会造成部分业务方面问题。比如：现在绝大多数交易全部能够在多渠道上做，用户在做过程中可能会碰到困难。碰到这种情况，用户会打电话到客服，对应客服人员不太可能实时知道这个问题。新一代处理方案是利用现在大数据能力把分布在各个地方原始数据和原始日志定时每隔一分钟进行搜集和抽取，放到分布式文件系统里，然后建立索引，这么一来就能够实时查询
四、大数据在银行业应用趋势
4.1风险定价模型
利率市场化改革逐步深化，银行正在增强本身定价能力。在贷款业务上，银行和银行竞争本质上就是风险定价竞争。现在，银行在用户数据和数据质量方面落后于互联网金融企业，不过风险定价能力则超出这些企业。
4.2多渠道数据实时交互
银行需要加紧新兴电子渠道建设，同时还要基于用户统一信息视图，实现数据在各渠道终端立即交互。
4.3加强语义和语音分析
很多银行内部、社交网络、移动设备上来数据和电子商城上数据全部是非结构化，其中一部分还是语音，比如用户录音，这些数据对于银行了解用户也是至关关键。
4.4实时营销将会推广到更多银行和更多银行业务
依据用户所在地进行营销、依据用户最近一次交易进行营销、依据用户言论进行营销、依据用户浏览网页或商品进行营销等。
4.5银行进入P2P领域
对于部分细分市场，银行将从贷款提供者走向贷款中介。实际上，我们已经看到部分银行正在尝试这种模式，她们仅仅是撮合资金提供方和需求方。
4.6将银行电子商城业务和银行金融服务结合起来
银行进入电子商务领域本质上并不是为了和互联网电子商务企业竞争，而是为了愈加好地了解用户。从现在来看，银行开展电子商务业务全部不太顺利，电子商城上商品价格普遍偏高，交易量稀少。
五、银行大数据应用风险及防控
银行业结合了互联网大数据会使得该行业面临更多更复杂风险。在此背景下银行业大数据健康可连续发展离不开对风险监控和管理。
5.1数据安全和数据定价风险
银行从一开始诞生就离不开数据，银行关键基础就是大数法则，在大数据时代，互联网银行在深度触网过程中会产生多种结构化和非结构化数据，深度挖掘用户大数据，开发出用户潜在需求和适宜金融产品，前提是确保这些数据起源全方面性、可靠性和正确性，预防数据失真所带来定价风险。
5.2信用和网络欺诈风险
利用大数据分析软件，能够预防信用卡和借记卡欺诈。经过监控用户、账户和渠道等，提升银行在交易、转账和在线付款等领域防御欺诈能力。在监控用户行为时，大数据能够识别出潜在违规用户，提醒银行工作人员对其给予关键关注，从而节省反欺诈监控资源。
5.3运维风险和运行风险
前者如数据丢失、数据泄露、数据非法篡改、数据整合过程中信息不对称造成错误决议等，后者如企业声誉风险、数据被对手获取后经营风险等。所以，必需加强数据管控。为此，一是高度重视并推进统一数据标准，并做好数据清洗，确保数据质量。二是审慎划定数据边界，合理开展内外部数据共享和非关键数据业务外包。三是大数据下应愈加重视隐私保护和信息安全，加大对反网络攻击投入。
5.4操作风险
之所以将此风险单独列举出来，关键是出于此风险危害性角度考虑，因为该风险很多时候会对企业产生致命性打击。大数据时代互联网金融面临操作风险愈加不容忽略，银行工作人员和用户在线操作风险假如不引发重视，不仅会影响互联网金融长远发展还会引致法律风险。尤其在大数据时所以我们呼吁操作风险管理应纳入到日常风险管理中。
六、银行大数据商用价值
银行对于大数据就用不单单在于提供一个有效手段，提升银行对于用户了解和认知能力。她商用价值还表现在以下多个方面：
（1）批量实现较高水准个性化用户产品服务，增加用户粘性，推进业务创新。有效地将大数据分析系统够构建用户360度全方位视图，设计更有竞争力创新产品。对企业型用户财务情况、相关产业链上下游数据分析，把握客现在情况，更能够经过数据交换、映射对其进行短期、中期估计未来发展情况。同时经过和同行业中企业比较，和利用公共平台搜集企业上、游对其评价，取得多维度评定，对中小企业风险进行有效识别，从而缓解银行和中小企业信息不对称问题，愈加好地推进中小企业市场业务创新。
（2）针对用户需求，实现正确营销。银行借助大数据分析平台，经过对用户浏览统计、购置路径、消费数据，进行挖掘、追踪、分析，将不一样用户群体进行聚类，依据不一样用户特征打造个性化产品营销服务，将最适合产品服务推介给最需要用户。提升用户对银行服务认可程度和用户经理在营销过程中专业程度。
（3）增强风险管控能力。大数据分析帮助银行摒弃原来过分依靠贷款人提供财务报表获取信息业务方法，转而对其资产价格、账务流水、相关业务活动等流动性数据进行动态监控，了解用户自然属性和行为属性，结适用户行为分析、用户信用度分析、用户风险分析和用户资产负债情况，从而有效提升用户信息透明度，建立完善风险防范体系。
（4）促进银行内部管理步骤化，降低管理运行成本。利用大数据能够增加银行内部透明度，使企业上下级之间信息流通更顺畅；同时，基于大数据优化企业内部多种步骤，和经过自己和社会信息归集渠道，了解用户真实反应，主动改善和提升，大大缩短信息搜集、反馈时间，提升企业运作效率。而经过大数据应用和分析，能够正确定位内部管理缺点，制订有针对性改善方法，实施符合本身特点管理模式，进而降低管理运行成本。