深度学习预训练语言模型(案例篇)
人工智能与金融科技前沿技术相结合,配有微课视频、源代码等。提供课件、咨询QQ:2301891038(仅限教师)。

作者:康明

丛书名:大数据与人工智能技术丛书

定价:69.9元

印次:1-2

ISBN:9787302607465

出版日期:2022.08.01

印刷日期:2023.10.08

图书责编:陈景辉

图书分类:教材

电子书
在线购买
分享
内容简介
作者简介
前言序言
资源下载
查看详情 查看详情 查看详情

本书在全面概述预训练语言模型演进过程并对BERTology模型详尽综述的基础上,将深度学习预训练模型理论和金融行业实践相结合,介绍了深度学习预训练模型在人工智能产业、金融行业、金融科技领域的实战项目案例,专注于金融文本情绪分类典型应用场景,揭示出特定领域预训练模型潜在的一般规律。全书共分7章,分别为: 预训练模型与金融文本情绪分类任务、预训练语言模型关键技术、面向中文金融文本情绪分类的预训练模型对比、FinWoBERT: 中文金融领域增强预训练模型、GANFinWoBERT: 对抗训练的中文金融预训练模型、FinWoBERT+ConvLSTM: 基于投资者情绪权重的科创50指数预测、总结与展望,每章内容随项目实践的深入层层递进、逐步展开。 本书适合自然语言处理、金融科技领域的研究人员和技术人员,高等学校或培训机构教师和学生以及有意了解相关领域的学习者和爱好者阅读。

前言 本书以深度学习预训练模型为基础,详尽介绍了中文金融文本情绪分类任务的人工智能工程项目实战案例。首先,本书介绍了金融领域中文自然语言处理的前沿技术,全面概述了预训练语言模型的演进过程,并对BERTology模型进行了详尽的文献综述。其次,本书阐述了从如何在如此众多的已预训练模型中选择适合目标域数据的模型,到真实地训练一个金融领域知识增强模型,再到通过对抗训练提升模型,最终在金融科技中的实际应用。虽然全书专注于金融文本情绪分类任务和数据,但本书揭示出了所有特定领域预训练模型潜在的一般规律,也就是说,仔细阅读完本书,读者可以建立任何一个特定领域的预训练模型,如医学、法律,等等。书中介绍了当前最实用的预训练模型程序代码,读者将知道如何利用它们来创建、微调、提升、评测一个特定领域预训练模型,从而设计出有效的策略。在有关基于预训练模型情绪分类的证券市场价格预测研究中,深入分析了预训练模型在金融领域的实际应用,让理论和实践紧密结合。 本书主要内容 本书的主要内容和章节安排大致如下。 第1章为预训练模型与金融文本情绪分类任务,阐述金融文本情绪分类任务的挑战、预训练模型发展现状及金融文本情绪分类任务意义,并对情绪分类、预训练语言模型和基于预训练模型的金融文本情绪分类任务的前人研究分别进行了综述。 第2章为预训练语言模型关键技术,用简洁的文字和理性的数学公式,在深度学习技术核心思想层面和统计学计算层面对预训练语言模型进行解读,并讲述了BERT预训练语言模型原理。 第3章为面向中文金融文本情绪分类的预训练模型对比,采用已预训练的权重和已标注的自建真实中文金融文本情绪分类语料...

目录
荐语
查看详情 查看详情

目录

第1章预训练模型与金融文本情绪分类任务

1.1金融文本情绪分类任务的挑战

1.2发展现状与任务意义

1.2.1预训练模型发展现状

1.2.2金融文本情绪分类任务意义

1.3情绪分类

1.3.1文本情绪分类

1.3.2金融文本情绪分类

1.3.3基于非预训练模型情绪分类的证券市场分析

1.4预训练语言模型

1.4.1预训练语言模型的演进

1.4.2基于BERTology扩展的预训练模型

1.5基于预训练模型的金融文本情绪分类任务

1.5.1金融文本情绪分类预训练模型

1.5.2基于预训练模型情绪分类的证券市场分析

第2章预训练语言模型关键技术

2.1预训练方法

2.2上下文感知的语言表征学习

2.3高效的特征提取器

2.3.1神经注意力机制

2.3.2序列到序列的注意力模型

2.3.3变换器模型

2.3.4“Xformer”改进模型

2.4自监督学习

2.5迁移学习技巧方法

2.6BERT预训练语言模型

小结

第3章面向中文金融文本情绪分类的预训练模型对比

3.1模型对比目的

3.2项目技术原理

3.3对比实现方法

3.4标准流程步骤

3.5自建(评测)标注语料库

3.6数据集划分

3.7描述统计分析

3.7.1语料库统计量描述

3.7.2训练集和测试集统计量描述

3.7.3统计分析

3.8对比模型

3.9模型实... 查看详情

通过18个视角的预训练语言模型演进过程的思维导图展示和1000多个预训练语言模型的全方位归纳总结,带领读者深入了解金融领域知识增强大模型的应用实战全过程,助力金融科技新基建产业化落地,帮助金融从业者加快推进金融行业数字化转型。 查看详情