07/13记录

昨天吧项目稍微整理了一下，已经提交 https://github.com/bupticybee/ChineseAiDungeon 由于当前生成文本质量仍然有不佳之处，下一步的计划自然是改进这一点，从改进出发有几点可能可以做的：

• 采用fp32模型，而不是fp16，CPM中也提到了fp16模型finetune的困难之处，但是fp32模型我没有硬件可以支持finetune，这是难点

作者在一篇博客（ https://towardsdatascience.com/the-creator-of-ai-dungeon-2-shares-gpt-2-finetuning-advice-e5800df407c9 ）里提到了一种他用于处理重复content的方法：

``` Q: You also modified your model to cut down on repetition in GPT-2 output. Could you explain that? A: In the Salesforce CTRL model they add a penalty to the probabilities of generating a word that has already been generated dividing it’s log odds by something like 1.2.

ChineseAiDungeon

这个文章是一个中文版的ai dungeon的开发log。这里记录一些尝试和结果。

07/02记录

开发已经进行了一周，项目已经进行比我想象的久了很多，原本计划一周完成数据采集和模型训练但是现在来看，再来一个月都不一定足够，现在记录一下项目开始这一周以来遇到的问题以及尝试的解决方案

ps: 本草稿配合 https://github.com/bupticybee/icyChessZero 食用

我训练了两种policy network，一种如alpha-go-zero论文中一样，policy的目标是棋子（from-to）的笛卡尔积，另一种方法是我的一个idea，在这个idea中我把policy network分为两部分，select网络和move网络，一个负责选择要移动的棋子，另一个负责选择棋子移动的位置，但是从表现来看，我给予很大希望的select-move two-stage网络并没有比alpha-go zero的网络表现出色。

单纯policy网络在测试集上的表现：

icytranslate 是一个开源的英文到中文的翻译系统，你可以通过以下两个工程搭建自己的翻译api和翻译平台：

1. icytranslate_api
2. icytranslate_website

如果你不想搭建自己的翻译平台和api系统，又想要使用icytranslate的功能的话，我们提供以下api：

Icytranslate 是一个完全开源的英文－中文的神经机器翻译系统（NMT），现在这个系统仍有缺陷，为了把一个翻译系统部署到我内存和cpu都不是很好的服务器上我也是在模型上花了点功夫，做了一些妥协，现在这个翻译系统大概可以把高中英语作文水平的句子翻译得比较能看，在更高难度的文章上表现就开始不太好。这篇文章会描述翻译模型的构建和训练过程，并且公布icytranslate的github地址，一方面希望能给对这方面感兴趣的人一个完整的参考，另一方面希望有更厉害的人能够参与进来，提一些pull request,一起改进这个系统。

icyface 是一个开源的人脸识别系统，提供人脸检测和人脸对比服务，大家可以在github上找到两个工程：

1. icyface_offline
2. icyface_api

这两个工程分别是icyface的模型训练部分和restful api 部分，也可以在 icyface官网 先体验一下demo，如果实在没有条件搭建自己的模型，我们也提供restful api：

icyface是一个人脸识别平台，提供基础的人脸检测和人脸比较方案，icyface 目前在lfw数据集上达到95%的准确率，仍需要后续的迭代，同时icyface 完全开源，从网站，api，到训练模型的代码，一方面是希望作为一个baseline 可能会对真正研究这方面的同学有一些启发，其次是由于并没有很深入地研究人脸识别这块，很多可以做的事情也都暂时没做（下面会提到），所以也希望有更多地人可以参与进来，提出一些有用的意见，或在github者提交自己的pr，这样相信对大家都会很有收益。

icyface可以通过下面这个链接访问：http://face.icybee.cn/