文章

超对称技术发布10亿参数BigBang Transformer[乾元]金融大规模预训练语言模型,让预训练语言模型读懂数字

超对称技术发布10亿参数BigBang Transformer[乾元]金融大规模预训练语言模型,让预训练语言模型读懂数字

**导读:线性被投企业超对称技术公司发布10亿参数金融预训练语言模型BigBang Transformer[乾元]。**BBT大模型基于时序-文本跨模态架构,融合训练文本和时序两种模态数据,下游任务准确率较T5同级别模型提升近10%,并大幅提高时序预测的R2 score。跨模态架构能让语言模型识别时