不要只关心怎么优化模型这不是机器学习的全部

雷锋网(公众号:雷锋网) AI 科技评论按:机器学习领域的学生、研究员、企业开发者都习惯了在模型的优化上花大量功夫,仿佛取得更高的准确率/AUC/mAP 等等就是机器学习研究和应用的全部。但是很少有人去问:测试表现优秀的模型就真的能很好解决真实世界的问题吗?

可解释的机器学习方向的研究员、《可解释的机器学习》书作者 Christoph Molnar 近日就发表了一篇博客,提醒领域内的各位警醒这种风气,开始注意机器学习的应用中那些不应该被忽视的问题。雷锋网 AI 科技评论编译如下。

雷锋网版权文章,。详情见转载须知。

这里只是简单列了几项,大家可以继续补充。

我自己也曾有过类似这样反复折腾机器学习比赛用的模型直到深夜的经历,现在我已经不会再这么做了,原因有两个,1,正常的睡眠现在对我来说重要得多,2,我对机器学习的认识也有了很大变化。

“有些游戏不会主动提醒实名认证,有的就算弹出来后也没有强制要求,孩子会直接跳过。”张伟作为家长也感到无奈。

“如果真如孩子所预想般,每个游戏都能玩上1.5个小时,那《通知》中所作出的规定,起到的监管效果并不强。”陈先生说,“充值也可能存在相似的情况,每款游戏都充几百元的话,加起来仍是笔不小的金额。”

12月5日,记者登录闲鱼等二手交易平台发现,多个商家在销售“已通过实名认证”的游戏账号。一个店铺里,记者看到以7.90元的价格销售“过沉迷,无2小时限制”的游戏账号。一位游戏玩家称,这些账号主要的销售对象或许正是未成年人,而通过这种交易,让政策以及厂商所设定的“实名认证”制度形同虚设。

今天我的观点有了很大变化。我觉得「机器学习」这四个字的含义远不仅仅是把损失函数最小化。某种程度上,模型的拟合可以说是最简单的部分了,因为有大批的文献、教材、练习以及实用工具来帮你改善现状。而且你也总能立刻得到反馈(只需要在模型没有见过的数据上进行测试就行),总的来说很让人满意。我觉得,以机器学习整个领域来讲,在模型拟合这方面已经发展得相当成熟了。但是除了拟合模型之外,我们还需要解决很多别的很困难的问题。比如:

12月9日,记者以上述“已认证”的身份登录《宾果消消消》并进入其商城页面,发现其为玩家提供多个不同价位的充值礼包,记者尝试购买其“12元”的礼包后,系统转入支付页面,随后显示充值成功。

拟合模型不是唯一重要的环节

事后他们才意识到,他们逐一联系那些有可能不再使用他们的服务的用户,这提醒了对方不能继续使用这家公司的套餐。联系用户的举动反倒成了使得他们最终解约并转向别的运营商的导火索。

在一款排名APP Store免费榜单前列的《至尊斗罗》游戏里,记者登入后没有收到任何关于实名制的提示,且不需要注册就能快速登录。记者进入游戏反复寻找,并没有发现实名制的选项。

比如你收入很高,但你不喜欢你的工作内容。那你还成功吗? 比如你的论文经常被引用,但你对真实世界还没造成什么实际的影响。那你还成功吗? 比如你有上千个关注者,但是没有人在看完你的动态之后点赞留言。那你还成功吗? 比如你在机器学习竞赛中取得了很靠前的名次,但是你偷偷利用了数据里的漏洞,就和其它排在前面的参赛者一样。那你还成功吗?

如何把现实问题转化为预测任务? 我们如何在预测模型中建立信任机制? 训练数据是否含有偏倚?训练数据和实际部署以后的输入数据相似程度有多高? 如果系统的运行不太正常,如何为机器学习模型 debug? 模型给出的预测(尤其是错误的预测)会对用户和产品本身造成什么样的影响? 在当前的预测和未来会增添的训练数据之间是否存在有害的反馈关系? 一个固定不变的模型在不断变化的环境中会有怎么样的表现?

“孩子太沉迷游戏了。”12月1日,张伟(化名)向新京报记者表示,10岁的儿子越来越沉迷玩手游,“每天玩到夜里10点多都不睡觉。”

Anna 也开始意识到机器学习这个领域有多么年轻、学术界和工业界的联系又有多么紧密。为了了解最前沿的技术,她开始阅读机器学习的学术论文。从哪里开始呢,嗯,当然是读引用数最高的论文了!那么哪些论文引用数高呢?当然是研究常见科研任务模型的论文和各种机器学习框架的论文了……

“7岁儿童”可充值《宾果消消消》

过了一段时间以后,她开始参加 Kaggle 上的各种比赛。再一次地,她在 Kaggle 上也看到各种经过精心设计的预测问题,简直是喂到嘴边了:在我们看到的比赛背后,Kaggle 已经把最难最累的活都做完了,先寻找企业、数据、问题,把问题转化成预测任务,然后考虑要用哪些数据,可能还需要做一些数据清理和合并,再选一个模型评价标准,这些都由 Kaggle 包办了。那对于参加 Kaggle 比赛的人来说,给他们剩下的事情除了特征工程以外,当然就只有「拟合出最好的模型」这一件事了!赢走了比赛奖金的都是谁呢?不是模型表现优良、有可解释性的团队,不是当别人要花几天训练的时候他们只需要几秒钟的团队,不是模型真的有机会部署在生产环境中的团队,因为这些模型的预测准确率注定不会是最高的。所以 Anna 也就跟着相信,机器学习就只不过是找到预测表现最佳的模型,而且这个信念越来越牢固。这不是开玩笑,大家都看得到,得到了奖金和荣誉的就是那些能做出预测表现最佳的模型的人,

根据《青少年蓝皮书——中国未成年人互联网运用和阅读实践报告(2017-2018)》显示,未成年人首次触网年龄持续走低。截至2017年底,7岁(学龄前)儿童触网比例达到27.9%,10岁前儿童触网比例约70%,而小学生“拥有自己手机”的比例达64.2%。

那么是不是只有初学者才会在用机器学习解决真实世界问题的时候犯错?当然不是。想要学习拟合模型之外的机器学习技能,最好的方法就是参与解决真实世界的问题。不过这还不算完,你必须真的希望自己在拟合模型之外的方面也变得更厉害。

12月2日,新京报记者通过短视频链接下载,并以游客身份多次登录一款名为《一刀传世》的传奇类游戏后发现,这款游戏并非每次都会弹出关于“身份认证”的信息,记者在游戏中也未能找到关于实名认证的相关选项。

在一款名为《JJ斗地主》的游戏里,记者以游客身份进入游戏后发现,每局游戏需要相应的虚拟货币下注,虚拟货币则要用元宝兑换。记者尝试充值时,充值页面没有出现任何关于游客模式不能充值的提示,系统弹出APP充值界面。

12月3日,记者在浏览手机网页时弹出多款棋牌类游戏,当记者以“游客模式”登录多款棋牌类手游后发现,尽管大多数游戏在首页会有“登录提示”,但以游客身份仍能继续登录和充值。

数据公司Quest Mobile发布的《2019手机游戏行业半年报告》显示,未成年玩家的手机游戏APP人均安装数量达到了4.2个,而使用数量也有2.5个。

陈先生告诉10岁的儿子“游戏每天只能玩1.5个小时”后,儿子说,“那一款游戏玩了1.5个小时后,再换另外一个就是了。”

在另一款名为《迪士尼王国》的游戏里,记者进入时同样没有发现关于认证的提示,游戏页面里也没有看到进行实名制的选项。

当我觉得某人仿佛在「为达成某个数字而努力」的时候,我脑海里会浮现出赛马的景象。有一匹很漂亮、很强壮的马, 经过人们的训练它可以跑得很快。然后如果它在比赛里获得了好的名次,人们就会给它奖励胡萝卜吃(我不太确定马是不是特别爱吃胡萝卜,不过为了方便我讲故事,我们暂且认为马最爱吃的就是胡萝卜吧)。为了让马的注意力完全集中在目标上,人们给马眼睛上戴了眼罩,它会遮住马对左右两侧的视野,让它们只看得到前面。现在我们就是这些赛马,我们每个人都带着眼罩,让我们只能「盲目」地为了评价指标而努力。但是很多时候,如果我们左右看看的话,也许赛道边上就是一片无人照看的胡萝卜地。

此外,《通知》里要求游客模式游戏服务设置不超过1小时,对使用同一硬件设备的用户,网络游戏企业在15天内不得重复提供游客体验模式。而记者在该游戏中玩耍时间超过1小时后,能继续游戏。即使退出游戏后,仍能再次成功登录。

此外,不少未成年人使用的手机为父母的手机。部分游戏存在“系统自动默认为此前登录”的情况,而将使用者身份认证为成年人。这意味着,在没有家长有效监督的情况下,未成年人可以利用这些漏洞,进行长时间玩耍和充值。

某种程度上,用数字度量成功是一种很棒的方法,能帮你简化工作、帮你更高效地工作。不过这些数据也过于简化了「成功」这件事,怎么可能把所有条件用简单的几个数字就表示出来呢。

“我国未成年人沉迷游戏的情况比较严重,不但影响学生的健康成长,也给很多家庭带来焦虑和困惑,还可能滋生一些社会问题。”21世纪教育研究院副院长熊丙奇表示。

另一位家长面临同样的苦恼,“除了玩耍时间越来越久外,还不断往游戏里充值。现在每个月要花六七百元在游戏上。”

我举几个大公司用了机器学习然后搞砸了的例子:

新京报记者采访多位家长发现,他们对《通知》的出台大多持支持态度,但也有担忧。

12月5日,中国社会科学院青少年与社会问题研究室副主任田丰告诉记者,“从当前的政策落实和效果来看,能够对未成年人网络保护提供一定的法律和政策支持,但是还存在比较大的不足,尤其是在技术、法律、社会相关层面联动上存在明显不足。”

我自己的观点是,机器学习领域内的人们大多数都还只关心怎么优化模型,对我列举的这种模型实际应用中会遇到的问题知之甚少。但好消息是总的来说大家越来越意识到这些问题的存在,也投入更多精力考虑这些问题了。系统性思维、可解释性、公平性、社会影响、数据的角色等等问题都在得到越来越多的关注。

多位业内人士告诉记者,短视频因巨大的流量已成为游戏宣发的主要渠道。而未成年人很容易被其绚丽的战斗场景和CG动画吸引并下载玩耍。

「我得继续改进我的机器学习模型!」

11月27日至12月9日,新京报记者用苹果手机在APP Store下载了多款受市场欢迎的游戏进行测试,结果显示,游戏大厂对要求相对执行更严格,不少中小游戏公司仍出现不主动提示实名认证,未成年人在夜间10点后仍能登录游戏,甚至有游戏可让7岁儿童充值等情况。

为什么不对劲了?从一开始他们尝试把实际问题变成预测问题的时候就出错了。他们的模型预测了「客户 X 解约的可能性如何」,但他们实际上需要预测的是「当我们联系客户 X 的时候他解约的可能性如何」。这也可以看做是和应用场景相关的问题,他们没有仔细考虑联系已经有了解约心思的人之后的后果到底是什么。这个例子里,模型构建可以得 10 分,但问题的格式化和应用场景考虑只能得 1 分。

记者注意到,多个游戏存在超过规定时间后仍能以未成年人身份注册以及登录的情况。有的游戏甚至向未满8周岁的儿童提供充值。

“这意味着7岁的孩子仍能充值。”上述家长说,“显然违背了《通知》里‘网络游戏企业不得为未满8周岁的用户提供游戏付费服务’的规定。”

数据科学家们的毕生梦想:一个模型,解决一切(就像魔戒的「一枚戒指,统治一切」)

“很多游戏在进入页面后根本就没任何关于需要实名认证的提示。”12月2日,重庆的林静(化名)向记者表示,“孩子手机上装满了各种游戏,稍不注意就玩上几小时甚至一天时间。”

你完全有可能在拟合出了最好的模型之后在这几个方面犯错,然后你的模型就会变得没用,甚至变得有害。当你的训练数据和应用中的实际数据不匹配的时候,你的模型可能根本给不出正确的预测结果。当你的高管担心模型是个黑盒子所以拒绝使用它的时候,你得拿出白板想方设法给他们解释。假如你发现你的模型对不同肤色的人有偏倚,那你最好别使用这个模型。

国家新闻出版署11月发布了《关于防止未成年人沉迷网络游戏的通知》(下称《通知》),就账号实名制、游戏时长、付费等方面做出了详细规定。

只有经验是不够的。谷歌、亚马逊之类对机器学习有大规模长期投入的企业,是不是就掌握了模型优化之外的方方面面了呢?其实也没有。即便他们有那么多博士、有那么多资金、有那么多经验、有那么多数据、那么多技术特长,他们也还没能完全弄清楚。实际上他们也还在犯一些很蠢的错误,因为在真实世界任务中应用机器学习就是很难。

「今天我读了 5 篇论文。」 「这周我做完了一个 10 页的报告。」 「我的网站这个月有 10k 访问量。」 「今年我拿到了 20k 的奖金。」

近日,记者测试30款游戏,其中仅《王者荣耀》《阴阳师》等11款游戏会主动弹出涉及“实名制认证”的提醒,另外19款游戏均没有主动提示。这19款游戏中,有7款游戏记者未找到实名制选项。

有一种解决办法是用数据度量你的进展,这会给你提供一些反馈。可以算是通向成功的指标吧。

我刚开始做机器学习的那几年有一则趣事。我那时候刚加入一家创业公司,负责机器学习相关的几个应用。那时候我的编程水平不如团队里其它的成员,不过我问了很多问题,比如问他们训练用的数据和之后在应用里使用的数据是否类似。我的导师表扬我提了一些好问题,但我自己没明白他为什么要表扬我,显然我那时候心里更在乎的是「我怎么还没学会用 Scala 语言编程」;而且我还觉得,知道怎么构建更厉害的预测模型要比提出这些问题更重要。直到现在我才能完全理解我的导师为什么要表扬我。

“不是不相信防沉迷政策,只是觉得实施起来并不容易。”北京的陈先生表示,“之前也出了多次防沉迷的措施,但对孩子起到的监管效果并不是太好。”

狗展门口。 – 「我的狗训练得很好啊」-「不行!」

说了这么半天我想已经说明白了,只会赢 Kaggle 比赛是不足以称得上机器学习专家的。那欠缺的知识都是什么呢?以我的浅见,下面这些课题的重要性被完全忽视了,整个机器学习领域都需要开始注意这些问题。

作为机器学习这个领域内的成员,我们已经在错误的机器学习比赛里面比拼了太久了。我们得摘掉头上的眼罩。所以我写了这篇博客,希望能启发更多人摘掉自己的眼罩,以及希望这个领域的关注点能够不再局限于模型表现,而开始更多地关注数据、解释性、应用场景以及社会影响。

早在2007年,新闻出版总署等8部门就联合发布了《关于保护未成年人身心健康实施网络游戏防沉迷系统的通知》,要求各网络游戏运营企业必须严格按照《网络游戏防沉迷系统开发标准》在所有网络游戏中开发设置网络游戏防沉迷系统,并严格按照配套的《网络游戏防沉迷系统实名认证方案》加以实施。

测试30款游戏其中19款不主动提示实名认证

重庆的林虹(化名)担心,12岁的儿子现在每天只玩一款游戏,如果限制时间,孩子是否会多下载其他的游戏。林虹表示,“要想真正管控孩子的娱乐时间,不可能全部寄托于政策监管,更多的还是靠家长配合管理。”

先讲一个小故事。 德国某处,一个安静的夜里。大多数人都已经沉沉睡去,但我没有。我得把机器学习模型训练完。我在和全世界和我一样对模型着迷的人比拼,我们要看看到底谁的模型能得到最好的预测结果。我电脑的风扇在嗡嗡地响,键盘也被我敲得咯咯吱吱。我目前的模型没拿到什么好名次,在公开排行榜上排在中间而已。真让人来气。模型的准确率其实还过得去,但在这个比赛里,「还过得去」是远远不够的。比所有其他人的模型都好,才是我最终的目标。我还需要更好的特征工程、更好的学习算法。我已经有了一个建立新的特征的好点子,而且我还可以把随机森林换成增强树。训练这个模型应该只需要半个小时时间,然后我就必须去睡觉了。 好几个小时过去了,现在的时间是凌晨三点半。我终于得到了新模型的预测结果,可以冲击排行榜上的新位置了。我满怀希望地点了提交按钮。我已经很累了,「你的结果正在被评估」的提示看起来都那么模糊。我能到多少位呢,能到前 10% 吗?我开始甜蜜地遐想。但真正的结果很快打碎了我的幻象,这一刻我感觉到前所未有地疲惫。别说得到更好的名次了,这个新模型的表现还不如上一个模型。代码里有 bug?过拟合了?还是我上传错文件了?我脑中有一个又一个的问题冒出来,但是理智告诉我自己必须要躺下了。我在床上翻来覆去,然后梦见了一个不停增长、大到我永远没法理解的决策树。

同样在凌晨1点,记者用未成年人信息实名认证《迷你世界》后,游戏弹出会受到防沉迷系统限制的提示,但能继续进入游戏页面。

记者注意到,这款游戏中多款道具和虚拟货币需要充值购买,当记者尝试以游客模式进行充值后,系统很快弹出充值成功的提示。而《通知》中要求,在游客体验模式下,用户不能充值和付费消费。

机器学习模型完全可以有好的预测表现,但是带来的影响和人们预期的相反,我给大家讲个故事来说明一这点。我有个朋友在一家电信公司工作,这家公司的业务之一是销售移动通信套餐(通话+短信+流量)。他在公司的数据科学团队工作,然后公司想要预测哪些客户最有可能不继续使用套餐,他也是这个项目的成员;做这个预测的目标是给可能不再继续使用的客户提供性价比更高的套餐。那么,这个项目团队就着手构建了一个机器学习模型,这个模型分辨用户的能力也相当不错。然后他们把高概率的用户列出来,给到另一个团队,这个团队会和这些用户逐一联系,给他们提供更优惠的套餐。

—— 这就是数据科学家们把最新的模型整合到真实世界的时候的样子

除了短视频平台外,不少网页链接所夹带的涉嫌赌博性质的棋牌类游戏,也容易吸引青少年的下载。

新京报记者以未成年人身份登录并注册多款游戏的“实名制认证”后发现,尽管《通知》规定“每日22时至次日8时,不得以任何形式为未成年人提供游戏服务”,但实际上多款游戏仍能继续玩耍。

《通知》要求,每日22时至次日8时不得为未成年人提供游戏服务,法定节假日每天不超过3小时,其他时间不超过1.5小时。对8周岁以下用户,不允许提供游戏付费服务;在同一网络游戏企业,8-16周岁的未成年人,单次充值最多50元,每月充值累计不超过200元;16周岁以上的未成年人,单次充值最多100元,每月充值累计不超过400元。

《中国青少年互联网使用及网络安全情况调研报告》显示,有20%的青少年“几乎总是”在看短视频,“每天看几次”的也接近10%。

“现在不少游戏厂商正在对实名制进行整改和加严。”一位游戏业内人士表示,“《通知》中规定用2个月时间来完成对所有用户实名注册的规定,这意味着厂商如果在12月底时仍有未实名制的用户出现,那么很可能会承担责任。”

“保护未成年人措施的落地主要有两方面的难度,一个方面是在技术层面,比如通过科技手段识别未成年人,另一个方面则是社会层面的措施,如何让技术与社会联动,让家长加入到保护未成年人的具体行动当中。”田丰说。

可以说,在 Anna 的这一路上,她都时时刻刻在感受到这条最简单的信息:想要做好机器学习,你就需要深入研究建模算法(以及一些特征工程的技巧)。而除此之外的方面,几乎见不到人提起。

短视频成新游戏下载渠道,游客模式仍能充值

展开来说的话,让我们通过一个假想的机器学习新人感受一下吧。她的名字叫 Anna,她现在在读电子工程的硕士,有扎实的数学基础,也能够用 C 和 Python 语言写代码。她的机器学习入门第一课是吴恩达的机器学习在线课程,同时她还在看《统计学习基础(Elements of Statistical Learning)》这本书。和其它所有的教学材料一样,在线课程和书里都是一个接一个地列出各种模型,并且详细介绍模型背后的数学原理。它们几乎不会提到如何认识数据、如何考虑社会和道德影响、如何解释模型、模型的应用场景等等问题。她当然会看到一些应用案例,但这些案例都只不过是经过精心设计的简单理想问题而已。

谷歌照片(Google Photos)会把黑人分类为黑猩猩。然后他们的解决方案是不再让模型预测黑猩猩这个类别。这就好像你家的墙漏水了,你贴了张墙纸遮住了事,而不是找你楼上的邻居谈谈。 谷歌流感预测(Google Flu Trends)会高估流感的发生几率。他们已经下线了这个产品。它的工作方式是关注那些和流感发生有很高相关性的词语,然后似乎把「高中篮球」之类的完全没有因果关系的词也学进去了。 亚马逊建立的招聘工具有性别偏倚。亚马逊拿自己的招聘数据训练了模型,然后模型就简单直接地反映出了亚马逊在招聘时的性别偏倚(也就是说,更倾向于招男性)。所以他们一直都没有使用这个工具。但同时他们的潜台词是:我们不用这个工具就没事,当前确实存在的性别偏倚也就当作不知道了。和上面一样,贴墙纸遮住了事。

当我一开始接触机器学习的时候,我认为最重要的机器学习技能就是知道如何训练出表现最好的模型。为了达到这个目标,我把全部的精力都用来学习更多的算法、更多的特征工程技巧、更多的算法评估方法,一切都是为了让模型的误差立刻降下去。我如此地沉迷,以至于我当年甚至为随机森林写了一首诗。

在另一款《途游斗地主》的游戏里,记者同样以游客身份登录后发现,该款游戏主页上多处不断提示“充值”的选项。记者按照流程进行充值后,付费成功。《欢喜斗地主》《斗地主》游戏同样发现上述情况的存在。

为什么不用数据简化你的生活呢?为什么不?

所以 Anna 对机器学习的热情也跟着被点燃了,她想要在下一个比赛中拿到更好的名次!幸运的是,机器学习社区很棒、很开放,有很多讨论如何调试模型表现的技术博客可以供她学习,也有很多最新的机器学习库可以让她从 GitHub 上克隆使用。她终于明白:机器学习就是拟合出最好的模型。

“孩子了解新游戏的渠道更多是在短视频平台上。”12月2日,一位家长表示,“在刷视频的时候不断会弹出游戏广告以及下载链接,孩子很容易点击下载。”

别以为你的队友们就靠得住

“很多棋牌类游戏并不太在意是否有‘游客不能充值付费’的规定,更不会限制玩家游戏时间。”12月3日,一位手游从业者表示,“毕竟这意味着收入的减少。”

但多位家长反映称,这一通知并没有得到严格落实,他们认为原因在于,未成年人可以方便地获得成人注册的账号,从而绕开实名认证和防沉迷系统。

只要你把问题的格式化、数据、解释、场景和部署做好,你的项目就可以非常成功了,你的模型预测准确率很一般都没关系。其他方面如果做不好,那么即便是调试很久的、在测试数据上完美无缺的集成模型也只能被扔进垃圾桶。

12月4日凌晨1时,记者下载并登录游戏《宾果消消消》,点击“设置选项”并选择“实名认证”后,系统出现“实名认证和防沉迷”的提示,记者以一位7岁儿童的真实姓名和身份证号进行认证后,系统提示“认证成功”。但当返回游戏界面后,并没收到任何关于因为时间原因而禁止游戏的提示。随后退出游戏再次进入时,同样没有任何阻碍,此时系统状态显示“已认证”。

其实很难说什么时候要为了达成某个数字而努力,什么时候又不要。在我看来,如果要在「达成数字」和「难以测量的工作」(比如研究新的产品,而不是卖更多旧产品)做一个取舍的话,整个社会的口味都严重偏向于达成数字的那一边。机器学习领域也是一样。

家长支持上线防沉迷系统,期待各方联动

那么结果呢?取消这家公司套餐的人更多了,而不是更少了!

经过了五年时间我才终于明白了,「拟合出最佳的机器学习模型」这件事的影响有多小。可明白这个为什么要花五年呢?简单来说,所有的机器学习教学和科研都太过于关注「最好的模型」,因此也就忽视了数据、忽视了人的因素,也忽视了预测模型与所在环境的复杂相互作用。

“很多游戏并没有提示,”林静表示,“孩子下载这些没有认证的游戏玩,很难起到监管保护作用。”

问题的格式化:把一个实际问题转化为一个预测或者模式识别问题。 数据生成过程:理解数据,明白数据在解决问题中的限制和适用性。 模型解释:用交叉验证的性能估计方法之外的方式分析模型 应用场景:思考模型会如何和真实世界相互影响 模型部署:把模型集成到产品或者计算过程中

如果工作里没有什么反馈告诉你做的对不对、做的好不好,你可能会觉得很疲惫。尤其是做学术研究,或者你没有直接上级的时候,不确定自己现在做的事情有多大意义是挺常见的一件事。如果有个老板或者上级告诉你应该做什么,感觉上会轻松一点,但是我偷偷跟你讲个实话,没人能真的弄明白。不管你做了十几年还是几十年,不管你有多少社会阅历,你都不可能从某一天开始就对这个世界上的一切都一清二楚。

Author: gamingmole.com