作者:车万翔,郭江,崔一鸣著;刘挺主审

出版社:电子工业出版社

书号:ISBN 978-7-121-41512-8

出版时间:2021.7

自然语言处理技术经历了从早期的理性主义到后来的经验主义的转变。近十年来,深度学习技术快速发展,引发了自然语言处理领域一系列的变革。但是基于深度学习的算法有一个严重的缺点,就是过度依赖于大规模的有标注数据。2018年以来,以BERT、GPT 为代表的超大规模预训练语言模型恰好弥补了自然语言处理标注数据不足的这一缺点,帮助自然语言处理取得了一系列的突破,使得包括阅读理解在内的众多自然语言处理任务的性能都得到了大幅提高,在有些数据集上甚至达到或超过了人类水平。那么,预训练模型是如何获得如此强大的威力甚至“魔力”的呢? 希望本书能够为各位读者揭开预训练模型的神秘面纱。

本书在介绍自然语言处理、深度学习等基本概念的基础上,重点介绍新的基于预训练模型的自然语言处理技术。主要包括基础知识、预训练词向量和预训练模型三大部分:基础知识部分介绍自然语言处理和深度学习的基础知识和基本工具;预训练词向量部分介绍静态词向量和动态词向量的预训练方法及应用;预训练模型部分介绍几种典型的预训练语言模型及应用,以及预训练模型的最新进展。除了理论知识,本书还有针对性地结合具体案例提供相应的Py Torch代码实现,不仅能让读者对理论有更深刻的理解,还能快速地实现自然语言处理模型,达到理论和实践的统一。……