本书在全面概述预训练语言模型演进过程并对BERTology模型详尽综述的基础上，将深度学习预训练模型理论和金融行业实践相结合，介绍了深度学习预训练模型在人工智能产业、金融行业、金融科技领域的实战项目案例，专注于金融文本情绪分类典型应用场景，揭示出特定领域预训练模型潜在的一般规律。全书共分7章，分别为： 预训练模型与金融文本情绪分类任务、预训练语言模型关键技术、面向中文金融文本情绪分类的预训练模型对比、FinWoBERT： 中文金融领域增强预训练模型、GANFinWoBERT： 对抗训练的中文金融预训练模型、FinWoBERT+ConvLSTM： 基于投资者情绪权重的科创50指数预测、总结与展望，每章内容随项目实践的深入层层递进、逐步展开。 本书适合自然语言处理、金融科技领域的研究人员和技术人员，高等学校或培训机构教师和学生以及有意了解相关领域的学习者和爱好者阅读。

前言 本书以深度学习预训练模型为基础，详尽介绍了中文金融文本情绪分类任务的人工智能工程项目实战案例。首先，本书介绍了金融领域中文自然语言处理的前沿技术，全面概述了预训练语言模型的演进过程，并对BERTology模型进行了详尽的文献综述。其次，本书阐述了从如何在如此众多的已预训练模型中选择适合目标域数据的模型，到真实地训练一个金融领域知识增强模型，再到通过对抗训练提升模型，最终在金融科技中的实际应用。虽然全书专注于金融文本情绪分类任务和数据，但本书揭示出了所有特定领域预训练模型潜在的一般规律，也就是说，仔细阅读完本书，读者可以建立任何一个特定领域的预训练模型，如医学、法律，等等。书中介绍了当前最实用的预训练模型程序代码，读者将知道如何利用它们来创建、微调、提升、评测一个特定领域预训练模型，从而设计出有效的策略。在有关基于预训练模型情绪分类的证券市场价格预测研究中，深入分析了预训练模型在金融领域的实际应用，让理论和实践紧密结合。 本书主要内容 本书的主要内容和章节安排大致如下。 第1章为预训练模型与金融文本情绪分类任务，阐述金融文本情绪分类任务的挑战、预训练模型发展现状及金融文本情绪分类任务意义，并对情绪分类、预训练语言模型和基于预训练模型的金融文本情绪分类任务的前人研究分别进行了综述。 第2章为预训练语言模型关键技术，用简洁的文字和理性的数学公式，在深度学习技术核心思想层面和统计学计算层面对预训练语言模型进行解读，并讲述了BERT预训练语言模型原理。 第3章为面向中文金融文本情绪分类的预训练模型对比，采用已预训练的权重和已标注的自建真实中文金融文本情绪分类语料...