基于特征分箱和K-Means算法的用户行为分析方法.pdf

云南民族大学学报（自然科学版），（）：收稿日期：基金项目：国家自然科学基金（）作者简介：殷丽凤（），女，博士，副教授 主要从事大数据挖掘、大数据分析、不确定 规范化处理、查询研究基于特征分箱和 算法的用户行为分析方法殷丽凤，路建政（大连交通大学 软件学院，辽宁 大连 ）摘要：针对网购用户所产生的购物行为进行分析，首先通过数据处理构建客户关系管理模型（模型），在此模型的基础上采用特征分箱法和 聚类两种方法对用户进行细分，并对 种模型结果进行比较分析，讨论二者的差异性和具体的应用范围和意义 其中，基于特征分箱法的 模型将变量转化到相似的尺度上并将变量离散化，使得用户分类标签更加清晰，也可依据各类标签分类出不同类型的用户 算法通过轮廓系数评估聚类算法质量以至于选取最优 值 本文实验分析结果可为运营商提供更加可靠直观的数据，使得运营商可以根据不同用户的不同行为进行市场细分，进而进行精准营销和服务设置关键词：特征分箱；算法；用户行为；模型；网购中图分类号：文献标志码：文章编号：（）随着互联网行业的蓬勃发展，网上购物已经深入千家万户，人们足不出户就可以买到自己喜欢的物品 但是，用户在购物过程中所产生的行为是千变万化的 对于网络购物运营商而言，如何将错综复杂的用户行为数据通过数据处理的方式进行数据分析分析以此来评估和维护客户关系，满足客户日益增长的个性化需求是整个电商平台决策运营系统中的基础客户关系管理（）成为最主流的“以客户为中心”的管理理念之一以满足业务发展的需要 客户分类作为 的重要管理工具，是它的重要依据，是营销的重要依据 徐翔斌等 通过引入客户关系管理（，简称 ）模型总利润属性对电子商务客户进行分类 等 提出将高进度、高频次、高消费价值的客户定义为高价值客户，然后根据 模型估算客户价值，以有效提高现有客户的价值转化率，但他并没有提出相应的比较算法 陈子璐 建立 模型，利用 算法和四分位法对客户进行细分，比较两种方法的优缺点，帮助平台根据实际需求选择合适的方法 寻找最佳和潜在客户的方法，实施有针对性的策略吸引客户，形成长期购买行为，提高客户忠诚度 她虽然比较了 种方式，但并没有考虑到公司的实际情况 程汝娇等 提出了种基于 模型的半监督聚类算法，该算法在传统 算法的基础上采用自适应方法确定 值和初始聚类中心 引入必须链接和不能链接约束将类别标签转换为成对约束信息 提出基于 成对约束，引入约束惩罚和约束奖励条件来调整聚类指导和聚类结果 陈东清等 提出基于熵方法改进 模型的电子商务客户价值分割研究 李伟康等 引入了 模型，以平均交易间隔、平均消费金额和平均产品浏览量作为重要属性，并应用层次分析优化顾客细分 李斌等 将聚类分析数据挖掘技术应用于客户关系管理，可以改善客户关系，预测未来趋势和行为，为决策提供支持 使用最小方差方法的谱系聚类对样本数据进行聚类，挖掘分析客户群体中具有不同特征的群体，得到直观的聚类过程和更合理的分组结果 吴涛 使用 、和 分析客户上次购买日期与当前日期的间隔；客户在一定时间内的购买次数；客户在一定时间内的消费总量 利用 种客户行为指标对种方法进行分类评价 许雪晶等 采用 模型结合 聚类算法对公司 年 笔订单交易数据进行聚类，并对其进行评估、分析和研究 蒋伟等 使用 层 模型研究了黔彩新新零售会员价值 这种模式不仅可以按价格对会员进行细分，还可以根据营销需要，在消费频次和消费金额上进一步细分 结合会员生命周期管理，可为管理者制定营销策略、提升会员价值提供可靠、具体、科学的指导以上学者大多只做实验分析，没有考虑什么样的方法更适合企业自身的实际发展 本文将在 模型的基础上采用数据挖掘技术中的特征分箱法构建新的 模型和经典聚类算法 种方法对用户进行细化分组，并对两种模型进行比较，讨论二者的优缺点和具体的应用范围及意义 并根据实验分析结果评估用户的类型和价值 针对不同用户群体采取针对性的营销策略，进而提高用户对电商平台的满意度，使得商家挖掘更多有价值的客户，提高市场竞争力 基本方法 算法 算法 是聚类算法中的一种经典算法，同时也被称为是一种基于形心的算法技术 它的处理过程如下：首先，在数据集 中随机选取 个对象，每个对象代表一个簇的初始类中心 对剩下的每个对象，计算其与各个簇中心的欧式距离，并将此对象归类到最相近的簇中 然后，算法不断迭代改善簇内对象差值 针对每个簇而言，它使用上述迭代归类到该簇的对象，再计算新的均值或中心 然后，使用更新后的均值作为新的簇中心，再将所有对象重新归类 迭代继续，直到分配稳定，最终更新的簇与前一轮更新的簇相同本文采用欧式距离，簇中所有样本点到聚类中心之间的误差的平方和，定义为：（，）（）其中，是数据集中所有对象的误差和平方和；是空间中的点，表示给定的数据对象；是簇 的形心（和 都是多维的）换言之，对于簇中的每个对象，求对象到其簇中心距离的平方，然后求和 这个目标函数试图使生成的结果簇尽可能紧凑和独立 模型客户关系管理模型（模型）是根据客户活跃程度和交易金额的贡献，进行客户价值细分的一种方法 模型 最初是由 于 年提出，它包括 （）、（）、（）个变量 表示最近一次交易时间间隔 基于最近一次交易日期计算的得分，距离当前日期越近，得分越高；表示客户最近一段时间内的交易次数 基于交易频率计算的得分，交易频率越高，得分越高；表示客户最近一段时间内的交易金额 基于交易金额计算得分，交易金额越高，得分越高 总分值公式如下：（）其中 指客户的综合 值，、分别表示 、和 在计算客户价值的权重 轮廓系数轮廓系数（）是对聚类效果优劣的一种评价方式 最早是由 在 年提出的，它将凝聚度和分离度两种因素相结合，使它可以在相同的原始数据的基础上评价不同的算法、或者不同的运行方式的算法对聚类结果所产生的影响根据样本 的簇内不相似度 和簇间不相似度，定义样本 的轮廓系数如下所示：，（）其中 用来评价样本 是否合适于所在的簇，因为的取值范围在 到 之间，若 的值接近 ，则表明簇内平均距离 小于最小簇间平均距离，则说明样本 聚类合理；反之，若 的值接近 ，则说明样本 的聚类效果不太理想，样本 更适合聚类到其他簇中；如果 近似为 ，则说明样本 在两个簇的边界上 所有样本的 的平均结果称为聚类结果的轮廓系数，它是评价该聚类结果是否合理的有效度量 用户购物行为分析 用户购物行为分析思路电子商务数据中隐藏着巨大的商业价值，其中用户的购物行为数据隐藏了消费者的购物习惯和特征 本文将重点通过数据挖掘来挖掘消费者的特征，并针对每个消费者的特征采用两种方法进行细化分组，为企业做精准营销提供参考本文首先在数据预处理后构建 模型 构建 模型的目的是根据用户的活跃度和交易金额的贡献来提取用户购物行为的基本特征 其次，在构建 模型后，采用等距分箱的方法对每个特征数据进行分组和离散，得到基于特征分箱的新的 模型 这种云南民族大学学报（自然科学版）第 卷类型的模型使得用户的 模型特征分组更加详细和清晰 然后在 模型的基础上进行 聚类，使用聚类方法自动对用户进行分组 最后对两种分组方式进行比较，从企业的实际情况出发，探讨两种算法的优缺点，为企业选择营销策略提供参考 用户购物行为分析的模型与步骤 ：进行数据预处理，提取与本次实验相关的实验数据并填写实验缺失的数据，然后处理一些影响实验结果的退货单和消费金额 ：构建 模型，计算三类用户特征数据，即用户最后一次购买的时间间隔（）、消费频次（）、消费总金额（）：构建基于特征分箱的 模型，将用户上次购买时间间隔、消费频率、消费总金额三类用户特征数据划分为等距分箱，对数据进行离散化和打分，最终得到新的 模型 ：构建 模型，利用基于 模型的轮廓系数评估进行 算法聚类，得到 分组模型 实验结果与分析 数据资源和实验环境实验数据来自 该 数据集包含在 和 之间发生在英国的注册非商店在线零售的所有交易 该公司主要销售独特的礼品 公司的许多客户都是批发商 数据集包括 行数据和 个属性 属性包括：（发票编号）、（产品编号）、（产品描述）、（产品数量）、（发票时间）、（产品单价）、（客户编号）、（国家）本实验在单机 系统上用 语言编译，使用的 为 参数设置 模型中“”、“”和“”字段中的进行等距分箱，每个字段中的样本数据分为 个区间，分别进行评分 最高分 分，最低分 分 用户价值表按上述方法划分后，对数据进行离散化，选取“分数”、“分数”、“分数”三个字段中数据的平均值作为分割点，划分为“高”和“低”类别，分别记为“”、“”，以此得到基于特征分箱方法的 模型，最后建立细分规则如下：“”：重要价值用户；“”：重要发展用户；“”：重要保留用户；“”：普通值用户；”：重要扣留用户；“”：一般发展用户；“”：一般用户；“”：普通挽留用户 在使用 算法的实验中，是最优的类别数 数据预处理首先检查数据集中各个字段是否存在缺失值，将与本次实验相关的字段中存在的缺失值进行填补，并删除与本次实验无关的字段 其次，对退货订单的处理，在数据集 标签中，存在一些包含字母“”的订单编号，此类订单编号包含的含义是订单退货 所以在数据预处理阶段要记录每一笔订单的退货量以便之后计算单笔订单的真实消费金额 最后提取出和取消订单的商品相配对的原订单并删除 字段中为负的订单 其中各个月份退货订单的变化如图 所示：图 各月退货单占比图 显示，月和 月的退货比例有所增加这里的原因应该是圣诞节的到来，导致大量购买后大量退货截取数据预处理之后的 类订单数据如表 所示：表 数据预处理之后的部分数据用户 订单 金额交易时间 基于特征分箱法的 模型的建立和分析在预处理之后的数据中，订单金额是每位用户的单笔消费金额，所以需要将每位客户的单笔金额求和得到单位用户的总消费额；用户中最后订单时间与单个用户的最后订单时间的差值就是此用户最近一次购买的时间；单个用户的总的消费次数就是第 期殷丽凤，路建政：基于特征分箱和 算法的用户行为分析方法此用户的消费频率 经过以上分析和处理得到 用户价值的部分数据表如表 所示：表 部分用户价值表用户 最近购买间隔（）消费频率（）消费额（）将 模型中的“最近购买间隔（）”，“消费频率（）”和“消费金额（）”三个字段中的数据进行等距分箱，其中各个字段中的样本数据分为 个区间，并分别为其打分 最高分为 分，最低分为 分 具体划分方法如表 所示：表 特征分箱划分方法表 分箱 分箱 分箱分数 ，（，（，（，（，（，（，（，（，（，（，（，（，其中“分箱”代表最近购买间隔的分段范围，“分箱”代表消费频率的分段范围，“分箱”代表消费金额的分段范围 通过上述方法划分用户价值表之后再将数据离散化，选取“分数”，“分数”和“分数”个字段中的数据的均值作为分割点分为“高”和“低”类，分别记为“”、“”最终得到基于特征分箱法的 用户价值表如表 所示：表 基于特征分箱法的部分 用户价值表用户 分数 分数 分数 值 根据特征分箱法得到的 用户价值表可以将客户进行细化分组，在特征离散化的基础上将用户细分为 个不同类型的客户，细分规则如下：“”：重要价值客户；“”：重要发展客户“”：重要保持客户；“”：普通价值客户“”：重要挽留客户；“”：普通发展客户“”：普通客户；“”：一般挽留客户根据细分规则得到客户分组表如表 所示：表 基于特征分箱的 客户分组表用户 分数 分数 分数 值用户等级 普通客户 重要发展客户 普通发展客户 重要发展客户 普通发展客户经过分析和处理，得到了最终基于特征分箱的 客户价值分组表，根据客户价值表确定各类用户等级，并进行用户分层，得到各类用户占比 用户分层图如图 所示将基于特征分箱的 用户价值表（表 ）和 用户价值占比图（图 ）相结合得出结论：满足“”标签的用户占比 这类用户总的来说最近一次购买时间间隔较短，购买频次较高且消费金额较大，所以将此类用户划分为重要价值客户满足“”标签的用户占比 这类用户最近一次购买时间间隔较短，但是消费频率和消费总金额较低，所以将此类用户划分为一般发展用户满足“”标签的用户占 这类用户无论是消费频率与消费金额还是最近一次购买时间间隔得分都比较低，所以把此类用户划分为挽留客户满足“”标签的用户占比 这类用户最近一次购买时间间隔较短并且消费的总金额较大，但是消费频率较低 所以把此类用户划分为重要云南民族大学学报（自然科学版）第 卷发展客户满足“”标签的用户占比 这类用户最近一次购买时间间隔较长且消费频率较低 但是消费的总金额较大 所以把此类用户划分为重要保持客户满足“”标签的用户占比 这类用户最近一次购买时间间隔较短且消费频率较低，但是总的消费金额较小 所以把此类用户划分为普通价值客户RFM*3E,39%7*,29.9%F,16.8%E,8.2%E,1.2%F,2.7%F,1.2%F*,1.0%图 用户价值占比图满足“”标签的用户占比 这类用户消费频率和消费总金额都较高，但是最近一次购买时间间隔较短 所以把此类用户划分为重要保持客户满足“”标签的用户占比 这次用户最近一次购买时间间隔较低且消费总金额较低，但是消费频率较高 所以把此类用户划分为普通客户 基于 算法的用户购物行为的分析在 模型的基础上选取“”、“”、“”作为 算法的聚类变量并基于 语言进行数据分析 首先通过轮廓系数来评估算法的质量以确定最优 值 其中轮廓系数曲线图如图 所示：图 轮廓系数曲线图根据轮廓系数评判规则判定轮廓系数得分越接近 样本聚类越合理，由上述轮廓系数曲线图（图）可知，当 取 时聚类效果最优，但是出于实际情况考虑，时不符合实际要求，所以，当 时，聚类效果较优 进而得到聚类后的客户划分如表所示：表 模型用户价值表分组人数 根据聚类好的客户价值表得到可视化模型雷达图（），可以更直观的发现各个客户群的差异 聚类可视化模型如图 所示：图 客户分组雷达图结合表 和图 可以看出将最近购买时间间隔（）较短，消费频率（）较低且消费金额（）较低的用户分为第一组（分组 ），此类用户约占统计总人数的 ，根据此类用户的购买特征可划分为重要挽留客户将最近购买时间间隔（）最长，消费频率（）最低且消费金额（）最少的用户分为第二组（分组），此类用户约占统计总人数的 ，根据此类用户的购买特征可分为一般发展客户将最近购买时间间隔（）较长，消费频率（）较高且消费金额（）较高的用户分为第三组（分组），此类用户约占统计总人数的 ，根据此类用户的购买特征可划分为重要保持客户将最近购买时间间隔（）最短，消费频率（）和消费金额（）最高的用户分为第四组（分组 ），此类用户约占统计总人数的 ，根据此类用户的购买特征可划分为重要价值客户第 期殷丽凤，路建政：基于特征分箱和 算法的用户行为分析方法 两种方法的对比分析 实验结果对比分析类方法虽然都可以对用户进行细化分组，但是二者之间仍存在差异性 其差异性具体表现在两个方面：细分程度上：基于特征分箱法的 模型将样本数据离散化后可以细分更多类别 但是 算法为考虑最优化会受到 值的限制使得类别数量也会存在一定局限性细分质量上：基于特征分箱法的 模型只是简单粗暴地把各个用户特征按照指定地阈值和区间进行细分，若两个用户的样本数据都接近两个相邻区间端点时，两位用户的性质相差无几 但按照划分规则会把两位用户划分为不同类别的客户，进而一定程度上影响企业地营销判断 然而，算法聚类更加科学 该算法通过不断优化迭代，在已经求得的聚类上再进行迭代修正确定部分样本的聚类，克服了少量样本聚类的不准确性，使得样本划分更合理无论选择哪种方法的用户群体划分都要考虑企业的实际能力，并且划分用户的不同类型目的也是帮助企业做到精准营销，所以，笔者认为两类方法的应用范围也有不同 若公司资金储备充足，且营销体系完善则可以选择特征分箱的 划分方法，因为此类方法划分客户类别广泛，若能做到一对一营销管理，可以有效提高用户的满意度 若公司资金相对短缺，且没有足够的人力物力投入营销，倘若多一个类别多一份负担的话，则可以选择 聚类算法进行用户分组，虽然此类方法划分虽然收到 值限制，但是划分质量也有保障，可以为企业减少人力财力的投入，减轻起的营销成本 营销策略分析针对一般发展客户而言，这类客户平台可发送短信或者电子邮件进行找回召回，努力将这类用户转化为重要挽留客户或重要保持客户针对重要挽留客户而言，此平台也许并不是他们购物时的首选平台，或者对网购的需求不算很高针对此类用户，平台可实施问卷有礼的方式了解这类消费者的满意度并针对存在的不足适当改进，提升购物体验，增大用户粘性针对重要保持客户而言，平台可以推送一些相关其他商品，并做一些相应的促销和优惠活动，保持这类消费者的消费兴趣针对重要价值客户而言，电商平台需要大力挽留和着重维护 并且还需要提高该部分用户的服务满意度，可适当发放一些福利 并且值得注意的是，在做运营推广时要给予此类用户特别关注，避免引起此类用户的反感 结语在 模型的基础上，采用特征分箱方法构建新的 模型，并与 算法进行比较，分析两种算法的优缺点和差异 从企业实际出发，对两种方式的选择提出合理建议 针对不同的用户群体进行详细分析，提出可行的营销策略参考文献：马椿荣 消费者价值研究理论综述 商业时代，（）：，（）：徐翔斌，王佳强，涂欢，等 基于改进 模型的电子商务客 户 细 分 计 算 机 应 用，（）：，（）：陈子璐 基于 模型的电子商务客户细分 市场周刊，（）：程汝娇，徐鸿雁 基于 模型的半监督聚类算法 计算机系统应用，（）：陈东清，叶罛，黄章树 基于熵权法改进 模型的电商客户价值细分研究 西安电子科技大学学报：社会科学版，（）：李为康，杨小兵 一种改进的 模型在网点客户细分中的应用 中国计量大学学报，（）：李斌，郭剑毅 聚类分析在客户关系管理中的研究与应用 计算机工程与设计，（）：李斌，郭剑毅 基于系统聚类的客户分析 昆明理工大学学报，（）：吴涛 基于 模型的电子商务顾客细分研究 铜陵学院学报，（）：许雪晶，林辰玮 基于 的电商数据客户价值细分实例研究 长春师范大学学报，（）：蒋伟，嵩涛，罗恒 基于双层 模型的黔彩新零售会员价值分析 内蒙古科技与经济，（）：刘维 数据挖掘中聚类算法综述 江苏商论，（）：云南民族大学学报（自然科学版）第 卷 ，数据挖掘：概念与技术 范明，孟小峰，译 版 北京：机械工业出版社，：黄晓辉，王成，熊李艳，等 一种集成簇内和簇间距离的加权 聚类方法 计算机学报，（）：陆娜，刘晓文，李兰 基于 的网店客户价值细分研究 电脑知识与技术，（）：徐文瑞 基于 模型的顾客消费行为为与顾客价值预测研究 商业经济研究，（）：朱连江，马炳先，赵学泉 基于轮廓系数的聚类有效性分析 计算机应用，（）：尹世庄，王韬，谢方方，等 基于互信息和轮廓系数的聚类结果评估方法 兵器装备工程学报，（）：，（，）：，（），：；（责任编辑段鹏）第 期殷丽凤，路建政：基于特征分箱和 算法的用户行为分析方法