BERT 的训练包含 pre-train 预训练和 fine-tune 微调两个阶段。pre-train 阶段模型是在无标注的标签数据上进行训练， fine-tune 阶段，BERT 模型首先是被 pre-train 模型参数初始化，然后所有的参数会用下游的有标注的数据进行训练。