BERT和ALBERT在下游任务中的应用

本项目提供了易用的训练模式和预测模式，可以直接部署。也容易扩展到任何下游任务中

albert_task和bert_task文件夹中的内容基本一致

• albert_task/albert是albert的源码
• albert_task/albert_model中包含了四种albert的模型：albert_tiny, albert_base, albert_large, albert_xlarge
• bert_task/bert是bert的源码
• bert_task/bert_model中包含了中文bert模型
• 需要下载albert的预训练模型放置在albert_task下，bert的预训练模型放置在bert_task下
• 预训练模型的路径可以在xxx_config.json文件中配置

目前提供了5大类的任务，classifier，sentence pair，ner，learning to rank(pair wise)，machine reading。基准数据集来自chineseGLUE

• classifier包括tnews，inews，thucnews
• sentence pair包括bq，lcqmc，xnli
• ner包括msraner
• learning to rank(pair wise)是biendata上 基于Adversarial Attack的问题等价性判别比赛
• machine reading包括cmrc2018

每个任务下的结构基本一致

• config：放置每个具体任务的配置文件，包括训练参数，数据路径，模型存储路径
• data_helper.py：数据预处理文件
• metrics.py：性能指标文件
• model.py：模型文件，可以很容易的实现bert和下游网络层的结合
• trainer.py：训练模型
• predict.py：预测代码，只需要实例化Predictor类，调用predict方法就可以预测

训练数据格式

文本分类数据格式

• title <SEP> content <SEP> label：有的数据中含有标题，有的只有正文，标题，正文，标签之间用<SEP>符号分隔。

句子对数据格式

• sentence A<SEP>sentence B<SEP>label：同样对于两个句子和标签采用<SEP>符号分隔。

ner数据格式

我们采用了BIO的格式标注，也可以采用BIOS, BIEO, BIEOS标注，将输入中的词和标注都用\t分隔。

• 慕 名 前 来 品 尝 玉 峰 茶 ， 领 略 茶 文 化 的 人 越 来 越 多 。<SEP>o o o o o o B-ns I-ns o o o o o o o o o o o o o o

阅读理解数据格式

• context：抽取式阅读理解的上下文
• question：问题
• answer：答案，从context中抽取一个片段
• start_position: answer的起始位置
• end_position: answer的终止位置

learning_to_rank

• point wise：随机采样正样本对和负样本对组成一个样本对的分类问题，和句子对数据格式一致。
• pair wise：给定一个query，抽取一个和query相似的正样本，抽取若干个和query不相似的负样本。

训练模型

• 执行每个任务下的sh脚本即可，sh run.sh。只需要更改配置文件就可以训练不同的模型

预测

• 执行albert_task中每个任务下的test.py文件就可以预测，bert_task同albert_task。