机器学习作为一门科学,不可避免的是,科学本身是基于归纳得到经验总结,必然存在历史经验不适用未来的情况(科学必可证伪)。这里很应景地讲一个小故事--By 哲学家罗素:
(相关资料图)
农场有一群火鸡,农夫每天来给它们喂食。经过长期观察后,一只火鸡(火鸡中的科学鸡)得出结论,“每天早上农夫来到鸡舍,我就有吃的”,之后每天的经历都在证实它的这个结论。但是有一天,农夫来到鸡舍,没有带来食物而是把它烤了,因为这天是圣诞节,做成了圣诞节火鸡。
通过有限的观察,得出自以为正确的规律性结论的,结局如是此。以这角度,我们去看AI/机器学习的应用,也能看到很多类似的例子。
机器学习是研究怎样使用计算机模拟或实现人类学习活动的科学,是基于一系列假设(基本的如,独立同分布假设)归纳得到经验,进行预测的过程。
也不可避免的,机器学习中也可能出现预测的数据与训练数据不满足同分布,历史数据经验不那么适用了!导致预测效果变差或失效的情况。这就类似我们考试的时候,发现这类型的题目我没有见过,歇菜了...
一、什么是数据不满足同分布实际预测与训练数据不满足同分布的问题,也就是数据集偏移(Dataset shift),是机器学习一个很重要的问题。
从贝叶斯定理可得P(y,x) = P(y|x) * P(x) = P(x|y) * P(y),当输入空间的边缘概率分布P(x) , 输出空间的标签分布P(y) 以及表示该机器学习任务的条件概率分布 P(y|x) 之中,有任一项因素发生偏移导致训练数据与预测数据 P(y,x)造成差异,即为数据集偏移现象。
不同因素对应着如下三种情况得数据偏移:
Covariate shift:协变量偏移(统计学中的协变量即机器学习中的特征的概念), 指的是输入空间的边缘概率分布P(x),也就输入特征x分布变化导致的偏移。这个应该是最为常见的,比如图像识别任务中,训练时输入的人脸图像数据没戴口罩,而预测的时候出现了很多戴口罩人脸的图像。再如反欺诈识别中,实际预测欺诈用户的欺诈行为发生升级改变,与训练数据的行为特征有差异的情况。
Prior probability shift:先验偏移,指的是标签分布P(Y) 差异导致的。比如反欺诈识别中,线上某段时间欺诈用户的比例 对比 训练数据 突然变得很大的情况。
Concept shift:映射关系偏移,指P(y|x) 分布变化,也就是x-> y的映射关系发生变化。比如农场的火鸡,本来x是【 早上/农夫/来到/鸡舍】对应着 y是【火鸡被喂食】,但是圣诞节那天这层关系突然变了,x还是【 早上/农夫/来到/鸡舍】但对应着 y是【火鸡被烤了】..hah,留下心疼的口水..
二、为什么数据不满足同分布可能导致数据不满足同分布的两个常见的原因是:
(1)样本选择偏差(Sample Selection Bias) :分布上的差异是由于训练数据是通过有偏见的方法获得的。比如金融领域的信贷客群是通过某种渠道/规则获得的,后面我们新增加营销渠道获客 或者 放宽了客户准入规则。这样就会直接导致实际客群样本比历史训练时点的客群样本更加多样了(分布差异)。
(2)不平稳环境(Non-stationary Environments):由于时间上的或空间上的变化导致训练与测试环境不同。比如金融领域,预测用户是否会偿还贷款的任务。有一小类用户在经济环境好的时候有能力偿还债务,但是由于疫情或其他的影响,宏观经济环境不太景气,如今就无法偿还了。
三、如何检测数据满足同分布可能我们模型在训练、验证及测试集表现都不错,但一到OOT(时间外样本)或者线上预测的时候,效果就掉下来了。这时我们就不能简单说是模型复杂导致过拟合了,也有可能是预测数据的分布变化导致的效果变差。我们可以通过如下常用方式检测数据分布有没有变化:
3.1 统计指标的方法通过统计指标去检测分布差异是很直接的,我们通常用群体稳定性指标(Population Stability Index,PSI), 衡量未来的样本(如测试集)及训练样本评分的分布比例是否保持一致,以评估数据/模型的稳定性(按照经验值,PSI<0.1分布差异是比较小的。)。同理,PSI也可以细化衡量特征值的分布差异,评估数据特征层面的稳定性。PSI指标计算公式为 SUM(各分数段的 (实际占比 - 预期占比)* ln(实际占比 / 预期占比) ),介绍可见:指标。其他的方法如 KS检验,KDE (核密度估计)分布图等方法可见参考链接[2]
3.2 异常(新颖)点检测的方法可以通过训练数据集训练一个模型(如 oneclass-SVM),利用模型判定哪些数据样本的不同于训练集分布(异常概率)。异常检测方法可见:异常检测算法速览
3.3 分类的方法混合训练数据与测试数据(测试数据可得情况),将训练数据与测试数据分别标注为’1‘和’0‘标签,进行分类,若一个模型,可以以一个较好的精度将训练实例与测试实例区分开,说明训练数据与测试数据的特征值分布有较大差异,存在协变量偏移。
相应的对这个分类模型贡献度比较高的特征,也就是分布偏差比较大的特征。分类较准确的样本(简单样本)也就是分布偏差比较大的样本。
四、如何解决数据不满足同分布4.1 增加数据增加数据是王道,训练数据只要足够大,什么场面没见过,测试数据的效果自然也可以保证。
如上面的例子,作为一只农场中的科学鸡,如果观察到完整周期、全场景的数据,或者被灌输一些先验知识,就能更为准确预测火鸡的命运。
但是现实情况可能多少比较无奈,可能业务场景的原因限制,并不一定可以搞得到更多数据,诸如联邦学习、数据增强等方法也是同样的思路。
4.2 数据增强在现实情况没法新增数据的时候,数据增强(Data Augmentation)是一个备选方案,在不实质性的增加数据的情况下,从原始数据加工出更多的表示,提高原数据的数量及质量,以接近于更多数据量产生的价值。
其原理是通过对原始数据融入先验知识,加工出更多数据的表示,有助于模型判别数据中统计噪声,加强本体特征的学习,减少模型过拟合,提升泛化能力。具体可见:数据增强方法
4.3 选择数据我们可以选择和待预测样本分布比较一致的数据做模型训练,使得在待预测样本的效果变得更好。
这个方法看起来有点投机,这在一些数据波动大的数据竞赛中很经常出现,直接用全量训练样本的结果不一定会好,而我们更改下数据集划分split的随机种子(如暴力for循环遍历一遍各个随机种子的效果),或者 人工选择与线上待预测样本业务类型、 时间相近的样本集用于训练模型(或者 提高这部分样本的学习权重),线上数据的预测效果就提升了。
4.4 半监督学习半监督学习是介于传统监督学习和无监督学习之间,其思想是通过在模型训练中直接引入无标记样本,以充分捕捉数据整体潜在分布,以改善如传统无监督学习过程盲目性、监督学习在训练样本不足导致的学习效果不佳的问题。
通过半监督学习,训练时候可以充分捕捉数据整体潜在分布,同理也可以缓解预测数据分布有差异的问题。半监督分类常用的做法是,通过业务含义或者模型选择出一些虽然无标签的样本,并打上大概率的某个标签(伪标签)加入到训练数据中,验证待预测样本的效果有没有变好。
经典的如金融信贷领域的拒绝推断方法(参考链接[6]),我们可以从贷款被拒绝的用户中(这部分用户是贷款的时候直接被拒绝了,没有"是否违约"的标签),通过现有信贷违约模型(申请评分卡)预测这部分拒绝用户的违约概率,并把模型认为大概率违约的用户作为坏样本加入到训练样本中,以提升模型的泛化效果。
4.5 特征选择对于常见的协变量偏移,用特征选择是一个不错的方法。我们可以分析各个特征在分布稳定性(如PSI值)的情况,筛选掉分布差异比较大的特征。需要注意的是,这里适用的是筛掉特征重要性一般且稳定性差的特征。如果重要特征的分布差距也很大,这就难搞了,还是回头搞搞数据或者整整其他的强特征。特征选择方法可见:python特征选择
4.6 均衡学习均衡学习适用与标签分布差异(先验偏移)导致的数据集偏移。均衡学习的方法可以归结为:通过某种方法,使得不同类别的样本对于模型学习中的Loss(或梯度)贡献是比较均衡的,以消除模型对不同类别的偏向性,学习到更为本质的决策。
比如原反欺诈训练样本中,好坏样本的比例是1000:1,但到了预测,有时实际的好坏样本的比例是10:1。这时如果没有通过均衡学习,直接从训练样本学习到模型,会先天认为欺诈坏样本的概率就是很低的,导致很多欺诈坏样本的漏判。
不均衡的任务中,一方面可以通过代价敏感、采样等方法做均衡学习;另一方面也可以通过合适指标(如AUC),减少非均衡样本的影响去判定模型的效果。具体可见:一文解决样本不均衡(全)
最后,机器学习是一门注重实践的科学,在实践中验证效果,不断探索原理。
仅以此文致敬我们的数据科学鸡啊。
参考链接:
1、理解数据集偏移 https://zhuanlan.zhihu.com/p/449101154
2、训练/测试集分布不一致解法总结
3、训练集和测试集的分布差距太大有好的处理方法吗 https://www.zhihu.com/question/265829982/answer/1770310534
4、训练集与测试集之间的数据偏移(dataset shift or drifting) https://zhuanlan.zhihu.com/p/304018288
5、数据集偏移&领域偏移 Dataset Shift&Domain Shift https://zhuanlan.zhihu.com/p/195704051
6、如何量化样本偏差对信贷风控模型的影响?https://zhuanlan.zhihu.com/p/350616539
-推荐阅读-
深度学习系列
1、一文概览神经网络模型2、一文搞定深度学习建模预测全流程(Python)3、一文弄懂CNN及图像识别(Python)机器学习系列1、一文解决样本不均衡(全)2、一文全览机器学习建模流程(Python代码)3、一文速览机器学习的类别(Python代码)...更多原创文章,请关注个人博客:https://github.com/aialgorithm/Blog关注【算法进阶】领福利回复【课程】:即可免费领取Python、机器学习、AI 等精品课程资料大全回复【加群】:可提问咨询、共享资源...与群内伙伴一起交流,共同进步或扫码,备注“加群”标签:
-
机器学习数据不满足同分布,怎么整?
机器学习作为一门科学,不可避免的是,科学本身是基于归纳得到经验总结,必然存在历史经验不适用未来的情况(科学必可证伪)。这里很应景地讲
-
天天观天下!朗科科技:12月26日获融资买入401.20万元,占当日流入资金比例37.84%
同花顺数据中心显示,朗科科技12月26日获融资买入401 20万元,占当日买入金额的37 84%,当前融资余额1 64亿元,占流通市值的7 66%,低于历史20
-
新兴装备: 中信建投证券股份有限公司关于北京新兴东方航空装备股份有限公司详式权益变动报告书之财务顾问核查意见 全球微速讯
中信建投证券股份有限公司关于北京新兴东方航空装备股份有限公司 详式权益变动报告书 之 财务顾问核查意见
-
神奇!武汉纺织大学造出智慧服装,可自动调节温度!_全球快报
你是在上楼、下楼?还是在奔跑?通过智慧服装的传感器传到后方平台上人工智能算法会得出你的状态信息如果外界温度比较低平台还可以反向给你的
-
“阳康”了,多久没有传染性?|焦点滚动
随着“阳康”的人变多网友们有了新的疑问:没有症状,是不是就没有传染性了?听说15天才能产生抗体是不是以后可以放心嗨了?对此北京佑安医...
-
老周侃股:警惕全聚德的卖酒炒作风险
知名烤鸭企业也要卖白酒,全聚德成为了资本宠儿,二级市场股价接连大涨。卖酒消息披露后,全聚德颇有些妖股的味道,7天连续斩获了6个涨停板。
-
环球最资讯丨提钱花贷款逾期4年不还会不会上征信
网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信机构,而有些借贷机构则是会在几天后上报给征信机构,因为有些借贷机构可
-
全球动态:单线程跑分仅有17 全宇宙最慢电脑诞生 系统为Windows Vista
对于电脑硬件来说,大家都希望越快越好,不过这个世界总是会有人让你感到吃惊,比如接下来要跟大家介绍的这款全世界最慢电脑,其R15单核跑分只
-
交通事故自行协商处理会怎么样
依据《道路交通安全法》第70条及《道路交通事故处理程序规定》第13条之规定,在道路上发生交通事故,未造成人身伤亡,当事人对事实及成因无争
-
今日热文:十万家长每天送学接学顺畅又安心
佛山禅城公安“全民护畅”打造多赢局面(副题)法治日报记者邓君法治日报通讯员廖海飙作为广东省佛山市的“强中心”,禅城区平均人口密度、...
-
药店限售抗原为囤货?店方:未囤货倒卖
药店限售抗原为囤货?店方:未囤货倒卖---虽然店内还有存货,可浙江杭州一药店每日限量发售100份抗原试剂,这引发顾客质疑。12月22日,涉事药
-
及时满足市场需求 央行本周通过逆回购提供跨年资金超5000亿-世界新资讯
中国网是国务院新闻办公室领导,中国外文出版发行事业局管理的国家重点新闻网站。本网通过10个语种11个文版,24小时对外发布信息,是中国进行
-
如果不是没有钱,谁想测3个重复?_世界新要闻
这篇文章上次发出后,有朋友留言说到底要测几个重复?其实也没有定论,有钱多多益善。只是需要知道重复少时,发现的差异基因会有不少假阴性,
-
【全球快播报】长春农博园入选国家首批农耕文化实践营地
本报讯(记者张欣禹)近日,农业农村部办公厅、共青团中央办公厅、全国少工委办公室联合公布农耕文化实践营地推荐名单(第一批),经过逐级推
-
“发热诊疗小屋”加强接诊能力 提升服务方便居民就医
央视网消息:为有效提高基层医疗卫生机构应对发热患者的接诊能力,
-
Free Arch: 将 IdentityServer 部署到 Okteto 焦点滚动
最终成果部署了一个免费的IdentityServer实例:https: id6-jeff-tian cloud okteto net 相关代码提交一共
-
84会把白衣服弄黄吗
关于84会把白衣服弄黄吗的内容,包含维c能去84烧黄的衣服吗84让白衣服发黄?84消毒液会把白色衣服洗白吗
-
奥迪中国高管:坚定不移生根中国 加强在华生产研发 世界讯息
(郭佳高龙安)吉林省奥迪一汽新能源汽车产业链招商大会20日在中国“汽车城”长春召开,吸引数百家中国零部件企业线上线下参会。奥迪中国执行...
-
当前通讯!东方甄选自营产品抖音账号粉丝数量突破100万
编程客栈android(www cphpppcns com)12月20日消息:最近,东方甄选旗下的android自营产品抖音账号粉丝人数大增javascrip
-
药品保供措施密集出台 考验地方医药工业制造实力 全球实时
上周,刚参加完某市商务局组织的药品产销对接会之后,江月(化名)连续收到多个电话。包括民营医院、连锁药店等多个机构希望能购买到江月所在公
-
沃顿科技董秘回复:根据公司产品性能,公司产品可以广泛用于分离提纯,但目前尚未开展海水提锂的相关应用试验
沃顿科技(000920)12月19日在投资者关系平台上答复了投资者关心的问题。投资者:贵公司的产品能用于海水提取锂吗?沃顿科技董秘:您好!根据公
-
约37%资金是从金融机构借的!航宇科技实控人认购定增遭问询
(原标题:约37%资金是从金融机构借的!航宇科技实控人认购定增遭问询)近日,航宇科技对外披露了定增首轮问询回复材料,重点解释了认购资金对
-
许昌市建安区魏风路小学:安全管理扛在肩
教育路上,安全先行。今年以来,为切实加强校园安全管理,建安区魏风路小学始终把校园安全管理放在突出位置,从健全管理机制、加强安全教育、
-
当前简讯:强无敌!死神杜怒轰39+5+5生涯351次30+排历史第8
强无敌!死神杜怒轰39+5+5生涯351次30+排历史第8,凯文杜兰特,奇才,凯里·欧文,凯文-杜兰特,莫里斯,内线
-
明晚,决战卢赛尔!卡塔尔世界杯决赛前瞻
2022年12月18日,多哈当地时间18:00(北京时间23:00),北纬25度42分,东经51度49分,这将是一个载入史册并被亿万人长久记忆的时空坐标。此前历
-
跟随格兰特 • 今原,探秘机器人与人类如何共处
varplayer=polyvObject( & 039; plv_608c319f9f093ae250e9db613f02883d_6 & 039;) videoPlayer({ & 039;width & 039;: & 039;680 & 039;, & 039;height & 039;: & 039;381 & 039;, & 039;vid & 039;: & 039;608c31
-
本周盘点(12.12-12.16):山鹰国际周涨2.36%,主力资金合计净流出1860.82万元-前沿资讯
截至2022年12月16日收盘,山鹰国际(600567)报收于2 6元,较上周的2 54元上涨2 36%。本周,山鹰国际12月13日盘中最高价报2 66元。12月12日盘
-
五洲医疗:12月15日获融资买入216.32万元-全球即时看
同花顺数据中心显示,五洲医疗12月15日获融资买入216 32万元,占当日买入金额的15 81%,当前融资余额1983 43万元,占流通市值的3 63%,超过历
-
舆情追踪|秦皇岛新林石料加工有限公司新增严重违法信息-环球热文
据快查App了解到,12月9日公告显示,秦皇岛新林石料加工有限公司被河北省市场监督管理局列入严重违法失信企业名单,列入原因为被列入经营异常
-
正裕工业(603089)12月15日主力资金净买入74.29万元 当前时讯
截至2022年12月15日收盘,正裕工业(603089)报收于8 91元,上涨3 01%,换手率0 95%,成交量2 12万手,成交额1870 45万元。12月