您好： 1、RoBERTa pair的预训数据的构造形式是什么样的？和普通的RoBERTa有什么差别？ 2、后续会开放在clue vocab上预训练的，base版的BERT及RoBERTa模型权重吗？ 谢谢！
您好：
1、RoBERTa pair的预训数据的构造形式是什么样的？和普通的RoBERTa有什么差别？
2、后续会开放在clue vocab上预训练的，base版的BERT及RoBERTa模型权重吗？
谢谢！