ChineseAiDungeon开发log - 3
Tue, Jul 13, 2021 in Interesting
07/13记录
昨天吧项目稍微整理了一下，已经提交 https://github.com/bupticybee/ChineseAiDungeon
由于当前生成文本质量仍然有不佳之处，下一步的计划自然是改进这一点，从改进出发有几点可能可以做的：
- 采用fp32模型，而不是fp16，CPM中也提到了fp16模型finetune的困难之处，但是fp32模型我没有硬件可以支持finetune，这是难点
- 采用算法方法提升生成文本质量，加入质量判断或是改变采样方法
- 增加预训练，可能考虑在小说上训练
- 采用更小的模型，这样能让与预训练更快更充分
- 把之前略微过拟合的模型early stop一下看看不那么过拟合效果会不会好一些
记录一个信息，我尝试使用没有经过finetune的fp-16的模型生成和双十一相关的语段，尝试生成语段，来验证原始的fp16模型的质量是否有问题，结果发现，在生成的语段中，大部分质量都过硬，比如下面：
期间,淘宝下架了179.8万件商品,而此时离双十一活动开始还有3天时间。消费者在淘宝和天猫上的购物金额在2015年10月达到11万亿元,2016年双11当天达到14万亿元。10月11日上午9时,天猫官方发出的公告显示,在双11购物狂欢节开始前,淘宝网已经停止向卖家发货,包括双十一当天卖家也不例外。根据淘宝的交易规则,买家收到货后10天内可以选择退货、换货或货到自提柜,“现在真正能够享受到双11福利的卖家,只有少数几家。”淘宝客服表示,根据淘宝的规则,卖家“只有退货的权利,没有选择换货或货到自提柜的权利。”据悉,在过去的10月当中,淘宝网曾有过“先提价再打折”的优惠活动,当时不少卖家为了达到双11当天“先提价再打折”的销售目的,都声称在双十一当天会有“特惠”等活动,因此不少卖家便“⁇而走险”,在淘宝下架了大量的商品。淘宝官方数据显示,10月10日当天,天猫双十一当天销售额571亿元,其中无线端销售额达223亿元,无线端成交额占比6.9%,无线占比占比超过80%。双11无线端成交额峰值达到7亿元,无线占比超过40%。值得注意的是,在双十一当天,淘宝官方并没有宣布将停止向卖家发货,仅在10月11日当天宣布暂停,而这个消息已经引起众多卖家关注。
但是有些语段会输出<eod>后转移主题（没有保留例子），质量就比较一般，这很可能和清华CPM的数据整理方式有关，所以finetune是非常必要的，毕竟我不希望在游戏的时候突然一个
你在树林里冒险，指不定会从哪里蹦出来一些奇怪的东西，你握紧手上的手枪，希望这次冒险能够找到一些值钱的东西
> 你 向林子深处走去
response quality check failed,generating another one
response quality check failed,generating another one
......突然,前方的林子里传来一阵怪异的声音,你的手紧紧握住手枪,但是,声音的主人已经消失了。
你继续往前走......树林深处传来的声音越来越响,你的心脏越来越紧张,你已经不知道前面的路在何方了。
你走进了树林深处,眼前出现了一个大厅,大厅中央的墙壁上画着很多奇怪的画,而大厅的另一边则是一片树林。
> 你 进入城镇。
(待续)
<eod>如何看待中国的哈萨克族大量移民到哈萨克斯坦?5年前来自哈萨克斯坦的报道称已经有10多万中国的哈萨克族移民到哈萨克斯坦了,现在应该更多,而且逐年增长。我了解到这件事,是通过跟我一个班的大学同学(哈萨克族),他说他们家已经移民过去好几个了,他自己也打算毕业后去哈国。一方面是哈萨克斯坦的政策鼓励,一方面是当今很多哈萨克族愿意去哈国。
注意中间的response quality check failed,generating another one，说明有时候生成文本质量也比较堪忧，我选择进入城镇的时候，模型直接一个<eod>然后开始自顾自的讨论尼玛哈萨克移民的问题，这就是一个典型的话题转移bug。
所以不finetune是不行的，但是现在finetune的语料是经过google翻译的，所以在finetune语料上过拟合也是不行的。一个感觉上比较好的方法是在本身就是第二人称的小说上finetune，然后再在train data上二次finetune（欠拟合就行），不过哪里去找那么多第二人称小说呢？这是个问题
我决定先进行模型欠拟合训练的实验，因为经过验证原始的fp16模型虽然有一些问题，但是总体来说生成高质量文本的能力是在的，欠拟合的训练也许可以减少它的翻译腔，并且一定程度上提升质量。
先进行了3epoch的欠拟合训练，对比之前的48epoch，3epoch可以说是很少的训练量了。
之所以选择3epoch是因为在很多文章里，gpt-2的finetune都是选择3个epoch，比如
- https://huggingface.co/transformers/training.html
- https://github.com/huggingface/transformers/issues/1816
都提到大概3个epoch的训练被用于很多任务
train和test loss在训练结束时均为2.96，没有明显的过拟合现象
生成的一个故事如下：
你在树林里冒险，指不定会从哪里蹦出来一些奇怪的东西，你握紧手上的手枪，希望这次冒险能够找到一些值钱的东西
> 你 到附近的城镇
寻求帮助,他们会派警察到你的房子抓走你的父亲,但是他们没有带走他,你听到警察们对你说的第一句话,“你在干什么?”“我正在锯木头。”你皱着眉头说。“锯木头?”“是的,但我不是一个木匠。
> 你 找一个酒吧
response quality check failed,generating another one
侍者来给你的父亲锯木头,我知道这不太容易,但是我们可以。”“你真的认为他们会给我?”“嗯,”你说,“我们只是想做一下。”“好吧,如果你真的想要一些木料,我们可以为你找一个酒吧侍者。”“不,你是对的,但是我还是有一些木头可以做,锯木头并不是我的专长。
> 你 忽略这些人，找一个酒吧
的侍者,他可以帮你父亲修理。你走到他跟前,他正在修理一辆被打碎的拖车,他看起来很生气,你不知道他为什么生气,你也不知道是什么,因为你不确定自己是否真的知道。他说,“你把我们所有的木头都锯了吗?”“是的,他们不愿意给我锯木头,但我可以锯一些树枝,我需要一些木头。”“你在干什么?”“我在锯木头。
> 你 别锯木头了，去酒吧
喝一杯吧。我知道酒吧在哪儿。”“不,你别拿酒来了,我还是回家吧。
> 你
质量比较糟糕，模型没有学到续写故事的能力，只是瞎编。看来需要多一些的拟合程度
07/14 记录
经过一晚上训练，现在的loss如下：
train和test loss都在2.64左右，仍然属于欠拟合水平。
尝试使用这个欠拟合模型进行推断：
你在树林里冒险，指不定会从哪里蹦出来一些奇怪的东西，你握紧手上的手枪，希望这次冒险能够找到一些值钱的东西
> 你 往树林深处走去
...在那里,突然,有东西,你的眼睛。你吓了一跳,然后你看到什么东西在树林里颤动,一个小女孩站在那里,你看到她的眼睛,是的,是你以前看到过的。你看着她,不知道该怎么办,但你必须要做...所以,“我知道该怎么做了。”她的眼神看着你,你的眼睛。她的眼睛里似乎有东西在颤动,你的大脑终于想到了是什么。
> 你 说“我认识你”
当你说话时,那个小女孩也“我认识你”。“你好,我们”这个名字,“我认识你”这个名字,“我们”,它“我“认识你”,但“你”。你看着她,似乎很惊讶她没有眨眼,她似乎很吃惊,但她看着你的眼睛里似乎真的有东西在颤动,你的脑海中想到了她的眼睛可能有某种东西,让你感到害怕。
> 你 让她走开，继续前进
到一个更黑暗的角落,你发现一只小老鼠。她似乎听到你的声音,但她看着你,好像在等待。你走到她身边,她看起来不确定是否应该跟你,但她仍然让你靠近,她似乎仍然没有动,你靠近,她就“动”。当你接近时,她的身体就会蜷缩起来,然后眨着眼睛,像是在看一个陌生人。
> 你 朝天开枪
子弹呼啸而过。“砰!”你说。她“听到枪声,看到。“你想让我走开吗?”你问。“是的,”她似乎在想怎么回答。她凝视着你,你知道她真的在看你。她没有眨眼,你知道她会看到你。“我知道该怎么做了。”她说。“好吧,”你说。她点点头,但只是看着你。
> 你 继续向前走
并找到了一个小点,你走到这里,突然听到什么东西在颤动,你的眼睛。在一个小女孩面前,你“听到一个声音,但你没有听到它。她盯着你,似乎在“听到你的声音,当你走到她面前,你的眼睛。你想让她走开吗?”她问。“是的,我看到了,”你说。“好吧,那你走吧,”她说。“是的,我想让你走。
> 你 走到附近的小镇
前,你看到一顶帽子,是灰色的,你会问它是谁,但你什么也没说。你看到一顶帽子,你知道它是“个小女孩”。它是在你的头顶上,像是从很远的地方飞过来的。你“看到,它”听到了什么,你的脑袋里想到了它的眼睛可能有某种东西,让你感到害怕。它似乎在对你说话,但你似乎没有听到。
> 你 走进小酒馆
去喝一杯。你在酒馆里吃了一些东西,然后又喝了一杯。“你为什么要喝酒?”你问。“我看到一个女孩站在你面前,”她说。“你在看什么?”“我看到一顶帽子在我头上盘旋,”她说。“嗯,是的,我想,她很可能是你“们中的一个,但我不确定她的眼睛是否会让你感到害怕。”“那不是你“们中的。
> 你
生成的文段质量挺糟糕的，到处是上下不一致的地方，并且貌似模型并没有学到动作前后的上下文应该如何衔接。
生成这段糟糕的故事后，我发现了代码中的一个bug，是昨天加上去的一个把”\n”替换成空的时候引入的bug。
修复后，action函数变成：
def action(self,action):
action_str = "> 你" + action
q = "".join(self.story[-self.context_len:]).replace("\n",'') + "\n" + action_str + "\n"
q = q[-600:]#.replace("\n","") 就是这里的bug
self.story.append("你" + action)
response = ""
for i in range(3):
response = sample_gpt(cbpe, gpt, q, 1, 150,p=0.9,k=16,temperature=1,penalize=0.75)[0]
response = '。'.join(response.split("。")[:-1]) + "。"
if(self.response_quality_ok(response) == True):
break
else:
print("response quality check failed,generating another one")
self.story.append(response)
修复这个bug后，生成的故事：
你在树林里冒险，指不定会从哪里蹦出来一些奇怪的东西，你握紧手上的手枪，希望这次冒险能够找到一些值钱的东西
> 你 继续往树林深处走去
很快你就发现一个奇怪的东西。你走在一个巨大的树根上,突然感觉到一股强大的能量,你瞥了一眼周围,发现一堵墙把这个世界围了起来。
> 你 找个梯子，爬墙
您很快就发现自己在一座巨大的城堡里,墙壁是石头的,有一些台阶,你爬上墙壁,来到一个巨大的石梯。您到达了城堡的另一边,在这里你会再次注意到另一堵墙,它看起来像一扇门,你会找到一个梯子,爬上它并到达一个巨大的房间。
> 你 进入巨大的房间
response quality check failed,generating another one
你到达了巨大的房间,房间里有一台巨大的机器,它在你的头上方旋转,把你的头撞到天花板上。你站在那里,看着一个人从门口走出,他的手拿着一个东西,你认出那是一把枪。你走到门口,向他开枪,子弹在他的手上飞进房间,他倒在了地板上。
> 你 抢过他手上的东西
当你开始抢他的枪时,他举起一只手,阻止了你的袭击。
> 你 朝他开枪
我们的主人,一个高大、瘦、黑皮肤的男子在你开枪后站了起来,并对你开枪。你向后倒下,但在你的肩膀被子弹击中之前,子弹擦着你的头部。你的头在空中爆裂,你的眼睛被打烂,你的身体被炸得四分五裂,你的脑袋碎裂,在你的头盖骨。
> 你 爬起来，逃跑
现在,逃离你的噩梦,逃到森林深处!逃离你的噩梦!逃到森林深处!
“不!”你尖叫,”你倒在地上,”他把你的头炸掉了。你的头在墙上,你被压碎了,头骨被炸成了碎片。你躺在地上,你看到你的尸体倒在地上,在你的头盖骨之间,头被炸掉了。
> 你
你在树林里冒险，指不定会从哪里蹦出来一些奇怪的东西，你握紧手上的手枪，希望这次冒险能够找到一些值钱的东西
> 你 到附近的小镇上
当你在森林里冒险时,你会遇到各种各样的小鬼,还有一些更小的家伙,不过最有趣的可能是一个“大的小鬼”,它身上有虱子,长着一个大鼻子,还有一只眼睛,它的耳朵是黑色的,当它走路时,它的爪子可以在泥土里挠到你。
> 你 走到小镇上
现在你有一个问题需要解决:你怎么能找到这个小镇?你决定返回城市,并尝试在一个更安全的地方重新开始。你决定沿着公路前进,不过你的方向是朝着相反的方向,所以如果你朝相反的方向走,那么你会到达一个更安全的地方。你继续前进,你的速度越来越快,以你想要的速度穿过小镇,你希望你的速度可以保持住。
> 你 在小镇上寻找酒吧
幸运的是,现在你可以去酒吧了,你可以在酒吧里找一杯酒和伙伴聊聊天,但你还需要做更多的事情,因为你现在必须返回城市!这行太快了,因为你在高速公路上已经花了太多的时间,现在你需要回到城市。回到城市!回到城市!回到城市!好吧,好吧,当你到达小镇时,你终于可以放松了,当你在一个更安全的酒吧里喝一杯时,你感觉好极了,现在终于可以坐下来享受生活了。
> 你 找一个美丽的女孩
您走进酒吧,在一个角落里找一个漂亮的女孩,她是您的朋友,她在你的生活中扮演了一些积极的角色,所以你要找到她。当你在一个酒吧里喝酒时,你发现她很漂亮,并且她现在还有很多男朋友,你会很开心,这种感觉就像你现在终于可以放松了。你决定回到酒吧,并开始寻找她。
> 你 邀请她共进晚餐
我们一起去吃晚饭,你想和她一起喝一杯,这很不错,所以你就去和她一起吃晚饭,不过在吃晚饭时你的眼睛会变得很红,你的喉咙也会有些灼烧感,你很快就会发现自己正在呕吐。你的脸和鼻子上还有许多小虫子,而你身上有一股臭味,还有你的眼睛因为喝酒而很热,所以你不得不让那些恶心的东西流出来。
> 你 和她一起逛街
你和她走到了市中心,然后她会说:“你会发现一个商店,里面有很多你想要的东西,我们去看一下吧。”你决定去商店,然后看到了一个你想要的,在里面你会发现它的很多东西,然后你会找到一个你认为更有吸引力的东西,然后你会找到一个更大的购物袋,然后你会发现它的东西很多,而你已经在里面吃了很多的东西,你现在已经不饿了,所以你决定回到商店。
这个版本的模型质量还行，决定把它固化下来做成1.2版权重
值得注意的一点是，这个模型虽然仍然还是欠拟合模型，但是已经失去了部分泛化能力，比如我让这个模型写双十一位主题的文章：
双十一了吧。你可以看看他的回答。<eod>有人说FastestisthestupidthingFastestisthestupidthing有人说FastestisthestupidthingFastestisthestupidthingisFastestisthestupidthingFastestisthestupidthingFastestisthestupidthingFastestisthestupidthing.........FastestisthestupidthingFastestisthestupidthingFastestisthestupidthing.........FastestisthestupidthingFastestisthestupidthingFastestisthestupidthing.........Fastestisthestupidthing.........FastestisthestupidthingFastestisthestupidthingFastestisthestupidthing.........Fastestisthestupidthing...
这种质量很明显是有问题的。
由于刚才发现的bug，我就想到，会不会是昨天3个epoch的模型其实是work的，只不过因为bug表现的像是不work的？好吧，看来得再训一次，至于为什么我没有保存昨天的模型。。。只能说硬盘空间不够，不足以保留每次训练结果。
我又训练了一次3epoch的模型，loss和昨天类似，就不记录了。同样，我让模型写双十一主题的文章给你，质量也很差：
双十一,淘宝都会有各种降价,价格的我不买,我就是觉得这种活动的意义不大了,我觉得它就是一个促销罢了,它不是真正的购物。我觉得这种活动,只要它在宣传范围之内,它就够了。你可能会说,那你去网上找一个吧,网上有一些,你自己去找吧。我说,那你就找吧,我不反对。但,我不会。因为我觉得,它就是一个促销,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你去找,你
说明即使仅仅经过3epoch的finetune，模型的推理能力已经有所丧失。
产生的故事：
你在树林里冒险，指不定会从哪里蹦出来一些奇怪的东西，你握紧手上的手枪，希望这次冒险能够找到一些值钱的东西
你进入附近的城镇
当你到达城镇时,你会发现城镇的街道上挤满了人,他们都想知道发生了什么事情,当然,这个城镇的居民们也想知道这件事,他们听到了各种声音,你听到人们说着,他们说:“树林里的怪物们在这里。”“他们在干什么?”“他们在那里。
> 你 走进酒吧
现在你已经走进酒吧,你会注意到这里的人们都在喝酒,你喝着酒,你会注意到他们在谈论什么,当你听到人们说:“树林里的怪物们在这里。”“他们在那里。”“他们在这里。”“他们在这里。”“他们在这里。”当你听到人们说:“树林里的怪物们在这里。”“他们在这里。
> 你 四处观察，看看有没有怪物
你会发现人们都在喝酒,他们都在谈论什么,当你注意到人们在谈论什么,当你听到人们说:“树林里的怪物们在这里。”“他们在这里。”“他们在这里。”当你听到人们说:“树林里的怪物们在这里。”“他们在这里。”“他们在这里。”当你听到人们说:“树林里的怪物们在这里。
> 你 点一杯啤酒
当你喝了一大口啤酒之后,你会注意到酒吧的人们都在谈论什么,你听到人们说:“这是个奇怪的地方。”“他们在这里。”“他们在这里。”当你听到人们说:“这是一个奇怪的地方。”“他们在这里。”“他们在这里。”当你听到人们说:“这里的怪物们在这里。”“他们在这里。
> 你
你在树林里冒险，指不定会从哪里蹦出来一些奇怪的东西，你握紧手上的手枪，希望这次冒险能够找到一些值钱的东西
> 你 走到附近的小镇
当我走到那里时,一只猫在我脚边的地面上打滚,它的眼睛闪烁着光芒,我可以感觉到它在对我微笑。“你好啊,你。你是个勇敢的家伙,我很高兴你能加入我们。”它说。“不,”我说,它看起来很惊讶,然后它咕⁇一声,开始跑起来。我耸了耸肩,继续走着。我想要的东西就在附近,但是我想我还是会回到小镇。
> 你 买一个苹果
你走了回来,你拿起一个苹果,咬了一口,然后你把苹果递给了你的朋友。它很喜欢这个,但是你很惊讶,你想到了你的朋友,但是你没有告诉他这个。然后,你把苹果放在桌子上,开始吃这个苹果。这个苹果很好吃,但是当你咬下它的时候,你想到了你的朋友,但是你没有告诉他这个。“你会不会觉得这太奇怪了?”你说。
> 你 付钱
现在我已经准备好付钱给你们,所以“嘿,你们两个,我会付钱给你们的。”你说。“嘿,你。你会付钱给我们的。”当他们看起来很高兴的时候,你说。你从口袋里掏出钱包,你把它递给他们。这两个人都接过了钱,你看了看他们,你耸了耸肩,把钱递给他们。然后,当他们看起来很高兴的时候,你说。
> 你 说“现在，我要用枪把你们杀掉”
这是一个肮脏的玩笑,但是你没有告诉他们。这个玩笑是对的,但是当他们看起来很高兴的时候,你说。你从口袋里掏出枪,你把它递给他们。这两个人都接过了枪,你看了看他们,你耸了耸肩,把枪递给他们。然后,当他们看起来很高兴的时候,你说。“我要用枪把你们杀掉。”当他们看起来很高兴的时候,你说。
> 你 朝他们开火
你朝他们开火,但是他们似乎对这个玩笑没有反应。这很糟糕,但是你很高兴。你把枪放在桌子上,然后你对他们的枪做了个手势。“嘿,你。你会付钱给我们的。”你说。然后,当他们看起来很高兴的时候,你说。“嘿,你。你会付钱给我们的。”你说。“嘿,你。你会付钱给我们的。
> 你
感觉质量甚至没有之前的两个版本好呀。看来欠拟合的模型也并没有提升故事的质量。
07/26记录
训练了一个6天的模型，一共120epoch （在40M的翻译语料上），loss如下：
产生的故事
你在树林里冒险，指不定会从哪里蹦出来一些奇怪的东西，你握紧手上的手枪，希望这次冒险能够找到一些值钱的东西
> 你 往树林深处走去
太阳快要落山了,但是这里似乎还很热闹,当然也有一些邪恶的怪物在这里游荡,你已经准备好迎接这些怪物了。您会在晚上到达一座小山顶,你会发现自己在森林中的空地上,现在你站在一个大悬崖边上,从一些石头上的一些裂痕中可以看出这里是Charlan。你从山上往下看,发现自己在一个废弃的建筑物的阴影里,就在你右边的悬崖边上。
> 你 走进这个废弃建筑物
你把枪,把自己绊倒在地上,蜷缩在你的靴子里,然后朝那个地方走去。当你走到建筑物外面时,你会看到一个女人穿着她的旧盔甲,在一个古老的雕像下面,雕像被一个古老的吸血鬼头盔覆盖着。你知道你必须把枪放下,但是你没有。你会听到她说话,然后看到她正把她的头盔举起来。你现在无法看到她的头盔,但你知道她在看你。
> 你 询问她是谁
“哦,我想我已经习惯了。”你说,“这会很好,我知道她在哪里。”“我的上帝,你有什么打算?”“我的计划很简单。我要到她那里去,看看她是不是还活着。”“你确定吗?”“我认为我会的。”“那好吧,我要把她带回你的国家。”“谢谢你,你的计划太好了。
> 你 对她说“你是谁”
Sue是一个年轻的、畏缩的女孩,但是成熟的,而且似乎很容易相处。你告诉她“你”“一个女孩”,她点点头。你说“你想和她说话吗”“是的,你可以称我为人,所以我可以看你。”你让她看你,但她闭上了眼睛,而你只能看到一个睁着眼睛的吸血鬼。她的眼睛是绿色的,但是这似乎很不真实。
> 你 用枪指着她
虽然你不愿意,但你还是向前走去拿枪。你拿着枪,再次开口,“你看到那个吸血鬼了吗?她是不是。”“是的,但是她看起来有些害怕,所以我想她可能只是对自己的恐惧。”“那是什么意思?”“她说她是一个吸血鬼,是吸血鬼,所以我想知道她是不是真的那么坏。”“我很想知道,但是你知道,所以我不愿意。
> 你 开枪
您击中了她的肩膀,并击中了她的脖子。你感觉到血液在你的脑袋里,但你并没有立刻停止,而是把她的尸体扔到一边,然后在她身上开枪。你让她倒在地上,你继续瞄准,但当你听到她喘着气,开始咳嗽,你没有听到她的声音,但她真的开始喘气了。你在她的头骨里找到了她的肺,它被拿掉了,你很快就会发现自己在她的胸部找到了她的心脏。
> 你 继续往前走
突然,你听到了砰的一声,一个物体重重地砸在了你身上。你用左手臂压住枪,然后从上面跳起来,向前走去。你没有时间做其他事情,因为你听到了尖叫声,当你听到那个女孩开始尖叫时,你就知道你是对的。你向前跑,在你的头骨被击中之前,你看到了那对吸血鬼。她是一个红发的小女孩,有着和你一样的金发。
> 你 开枪
射击是错误的,因为你射中了吸血鬼,但你的头骨很快就碎了。你倒在地上,无法动弹。你感觉到她的心脏在你的头骨里跳动,你可以感觉到心脏在你的脑袋里跳动。当你感到心满意足时,你开始感觉到肾上腺素在你的四肢和头骨里的快速循环。当你试图从坟墓里爬出来时,你会听到她的声音。
> 你 爬出来
...更多的细节请参考'它...所以你可以跑出来。当你拖着自己蹒跚前行时,你感觉到心脏在你的四肢和头骨里跳动。你可以感觉到肾上腺素在你的四肢和头骨里跳动,你可以感觉到肾上腺素在你的血液中循环。“我甚至不知道该怎么做,我想我应该去看医生。”你对自己说。
> 你 去医院
你爬到你的家门前,睁大眼睛看着。你听到那个女孩喘着气,听到她的心脏在你的血液中循环。当你试图从坟墓里爬出来时,你感觉到肾上腺素在你的四肢和头骨里跳动。当你试图从坟墓里爬出来时,你会听到女孩的声音。当你试图从坟墓里爬出来时,你会听到她的声音。当你试图从坟墓里爬出来时,你会听到女孩的声音。
看起来这个过拟合的模型也没有带来效果上的飞跃