多变量函数的构造,可能是不同函数的复合,如j(a,b,c)=3(a+bc),因此求偏导数需要用到链式法则。我们一般情况只能观察到各个变量的微小变化对其他变量的影响。从而能够根据这些数据来反过来推断变量的组织形式即函数的具体结构。以模块化的思想来解耦,将复杂函数分解为一定的模块函数,这是计算机科学的分而治之的思想。只要变量足够多,理论上可以构造出任意连续函数,只是我们需要考虑计算的代价,只能找到一个局部最优解。。最优化的思路,理论上存在着一组参数,能够使得算法有最好的性能,我们就是不断地逼近其,所以有各种调参和模型的组合等等操作。如从简单的神经网络的隐藏层不断增加,也有卷积神经网络等等的改进。
以线性代数的思想来定义各种数据,如以一维数组代表一个向量,从而能够将特定的信息映射到一个高维的空间,然后在这个基础上探索各种关系。我们需要以表现定理来理解。如线性方程组的求解对应于现实的规划问题。在具体的编程中,由于计算机的离散特性,往往使用这些线性代数的对象如向量,矩阵来构建这些函数的映射关系。如梯度下降的学习率就是需要我们定义的一些常数。。
把现实的对象抽象到矩阵的形式,进行各种变换,可以找到不同矩阵的相似性,从而认为其对应的现实对象是相似的。有矩阵的各种运算如加减,矩阵的点积和叉积,求逆,转置等等,还有矩阵对角化可以求解特征值。典型的例子是图像是以像素矩阵来存储的。
向量化,利用numpy库进行计算可以减少计算时间,因为矩阵运算有一定的优化。vectorization,使得计算加速。毕竟很多情况下我们需要处理稀疏矩阵的情况,运算量大,耗时长,只能采取某些快速的近似算法来计算一个可以接受的结果。
可视化是我们理解数据的一个方法,pytlib库提供很多工具。
浅层神经网络:最简单的模型f(x)=∑wixi+b。xi是输入,经过这个中间的隐藏层的函数映射f,能够产生一定的输出f(x),可以继续经过一定激活函数的处理如ax函数来得到特定的分类。隐藏层的嵌套和复合函数的构造是一致的。理论上,通过对参数的调整,我们可以构造出任意满足我们需求的函数,如把图像输入映射到具体的文本输出,即图像识别。当然,浅层的神经网络没有这么好的性能,需要更加复杂的神经网络结构才能构造出来,但深度学习的性能其实也是基于浅层神经网络的简单性能不断升维实现的,可以视为微积分的原函数。而神经网络的隐藏层就对应于不同对象的特征,最后能够通过参数的调整实现高维层次的识别,对应于线性代数的基底的线性组合(特征=基底)。于是就可以抽象为大规模的矩阵运算z【i】【i】=w【i】【i】x【i】【i】+b【i】.使用向量矩阵的形式来表示数据是有理由的,一方面是计算机存储和运算的需求,同时各种矩阵计算的优化使得大规模的运算量减少,能够以能够承受的时间和空间开销得到比较满意的结果。
激活函数是非线性的,可以实现我们需要的功能,毕竟世界本来就是复杂的,只能以线性来逼近。而非线性函数的使用,能够更好地逼近现实情况。有oid函数1/(1+e,^-1),relu函数anh函数(e^z-e^-z)/(e^z+e^-z),leakingrelu函数max(0.001z,z)
激活函数同样可以求导,可以利用梯度下降法找到使得损失函数最小的值。
反向传播算法backpropagationintuition,根据损失函数的求导来反过来对隐藏层的参数进行修改,如同一个反馈环的形成,初始输入产生损失函数的一定的值,而通过损失函数的梯度下降,对前面隐藏层的参数进行调整,最后循环反复使得损失函数的值最小,同时各个参数也收敛于特定的值。
批处理batc处理来更改参数的值,从初始化到参数更新,如w=w-adw,w的初始值可以是随机的,而且学习率a也是可以变化的。
足够多的矩阵运算能够使得模型的参数收敛,即训练出可以使用的算法。因此gpu的使用带来的计算能力的提升是算法发挥出重要作用的基础,而大规模的数据使得运算具有更大的意义。
如果我们突然患上重病,我们如何能够利用技术来改变自己的命运?我们可以对疾病进行建模,通过各种特征如各种指标,血常规,尿常规,粪常规等等,其他实验室检查,医学影像,病理检查等等,构造复杂的神经网络模型,通过已经整理好的结构化数据即确诊疾病和对应的指标矩阵,来对这个模型进行训练,从而能够对疾病做出诊断。然后在这个基础上,一方面可以继续学习成熟的疗法与疾病的对应,另一方面可以构造出新的疗法,如确定特定疾病需要改变的指标,以及各种已知的能够对这些指标产生影响的处理,经过训练,能够得到每个人不同情况的不同疗法,可能这就能够在绝望中挽救生命。
深层神经网络:基于浅层神经网络的叠加形成的更加复杂的模型,能够以更高的准确度来处理更加复杂的情况。本质上也是构造输入和期望输出之间的函数。其中的多隐藏层对应于不同的特征,能够构建更加复杂的函数,即特征的选择性组合对
喜欢学医路漫漫请大家收藏:(m.dmbook6.com),腐文网更新速度最快。