如何用textgenrnn处理中文

1. 什么是textgenrnn?

textgenrnn是建立在Keras和TensorFlow之上的，可用于生成字级别和词级别文本。网络体系结构使用注意力加权来加速训练过程并提高质量，并允许调整大量超参数，如RNN模型大小、RNN层和双向RNN。对细节感兴趣的读者，可以在Github上或类似的介绍博客文章中阅读有关textgenrnn及其功能和体系结构的更多信息。

Github项目地址: https://github.com/minimaxir/textgenrnn

介绍博客(英文原版): Generating Text with RNNs in 4 Lines of Code

介绍博客(中文简译): 仅用四行代码实现RNN文本生成模型

该Github项目的README以及各介绍博客中，都是基于英文文本进行处理的，少有文章介绍如何将textgenrnn应用到中文文本，所以我fork了原项目并添加了中文数据的训练与测试Demo，详见: https://github.com/cheesezh/textgenrnn。

2. 如何用textgenrnn处理中文?

2.1. 准备中文数据

本文采用2600首与春相关的五言诗作为训练数据。部分数据示例：

春眠不觉晓，处处闻啼鸟。夜来风雨声，花落知多少。 慈母手中线，游子身上衣。谁言寸草心，报得三春晖。 好雨知时节，当春乃发生。晓看红湿处，花重锦官城。 红豆生南国，春来发几枝。愿君多采撷，此物最相思。 国破山河在，城春草木深。白头搔更短，浑欲不胜簪。

可以在我的Github上边下载本文实验数据：与“春”相关的五言诗，与“春”相关的七言诗

2.2. 训练模型

from textgenrnn import textgenrnn textgen = textgenrnn(name="my.poem") # 给模型起个名字，比如`my.poem`, 之后生成的模型文件都会以这个名字为前缀 textgen.reset() # 重置模型 textgen.train_from_file( # 从数据文件训练模型 file_path = '../datasets/cn/5_chars_poem_2600.txt', # 文件路径 new_model = True, # 训练新模型 num_epochs = 30, # 训练轮数 word_level = False, # True:词级别，False:字级别 rnn_bidirectional = True, # 是否使用Bi-LSTM max_length = 25, # 一条数据的最大长度 )

还有其他的模型参数可以配置，主要包括以下几项：

config = { 'rnn_layers': 2, 'rnn_size': 128, 'rnn_bidirectional': False, 'max_length': 15, 'max_words': 10000, 'dim_embeddings': 100, 'word_level': False, 'single_text': False }

2.3. 生成数据

from textgenrnn import textgenrnn textgen = textgenrnn( name="poem", weights_path='./poem_weights.hdf5', config_path='./poem_config.json', vocab_path='./poem_vocab.json' ) textgen.generate(20, temperature=1.0)

生成数据样例:

傍海皆荒服，分符重汉臣。连年不见雪，到处即行春。 上喜老闲身，春来不得迷。章闲闲异意，亦随到情诗。 湖上花开尽，初度莫愁春。俗书百胜境，无哲老离秋。 三月小春来，闲人惊物华。且问听下意，多事翦彩光。 居春心在别，多是梅庭空。水梅人一梦，愁。场言诚微。成手。 南国无多雪，江春别离肠。非离菘楼畔，不殊问来花。 田家春事起，丁壮就东坡。予意在耕稼，因君问土宜。 春偏当春日，当桥如草心。如如如青我，当人有思生。 早春遥闻好，风晚景和。放诗此东方来，惟是日有情。 閒花淡心事，不作柳春枝。幸见散花里，何声满尔闻。 傍海皆荒服，分符重汉臣。连年不见雪，到处即行春。 子知千里，何年草旧居。遥知春还后日，何处二三难。

从生成的五言诗数据来看，大部分诗看上去还是比较正常的，但是也有一些不合理的数据，比如：

居春心在别，多是梅庭空。水梅人一梦，愁。场言诚微。成手。 子知千里，何年草旧居。遥知春还后日，何处二三难。 春偏当春日，当桥如草心。如如如青我，当人有思生。

转载于:https://www.cnblogs.com/CheeseZH/p/9350987.html

相关资源：IE11-Windows6.1-LanguagePack-x64-zh-cn win7 中文语言包