第4章-矩阵运算与计算机体系结构
简介
计算体系结构的发展往往和上层应用的演变相辅相成，一方面计算任务的特点决定了体系结构的设计和优化方向，另一方面体系结构的迭代推动了应用超着更加适合体系结构的方向演进。类似的，深度学习的出现和发展不仅深受GPU这样的体系结构所影响，而且还推动了一系列新型计算机体系结构的出现与演进。理解体系结构变迁的前提是要理解上层应用的计算模式的本质特点，从而才能理解体系结构为了适配计算模式而做出的种种取舍。 因此，本章将针对深度学习计算任务，首先对近年来流行的深度学习模型中的核心计算模式进行分析和梳理，然后按照时间顺序依次介绍不同的计算机体系结构在支持深度学习计算中所扮演的角色，包括以CPU为主的传统计算体系结构、以GPU为主的通用图形处理器和一些具有代表性的专有硬件加速器（如TPU）等。由于计算机体系结构和深度学习应用的相关内容跨度较大，涉及的知识体系较有深度，因此本书不会详细介绍每一种体系结构的设计细节，而是尽量讨论和深度学习计算相关的部分，并且着重从他们的变化差异部分来揭示体系结构的变化趋势，从而能够帮助读者更好的理解深度学习计算如何更好利用硬件资源，并进一步引导读者思考和分析未来深度学习模型以及体系结构的变化趋势。
内容概览
本章包含以下内容：