第3章 内积空间和Hilbert空间
内积空间是一类特殊的赋范空间，在历史上它比一般的赋范空间出现得还早，其理论十分丰富，并且保存了欧氏空间的很多特征，其最中心的概念是正交性.读者将会注意到，在这个领域里，很多概念和证明都是十分简捷和漂亮的.内积空间的理论起源于著名数学家Hilbert关于函数积分方程的研究.现代所采用的内积空间的记号和术语都和欧氏空间几何很类似.内积空间至今仍是泛函分析在实际应用方面最有用的空间结构.
3.1 内 积 空 间
在本节里，将Kn中的点积和正交性扩展到一般的线性空间，这就是线性空间中内积的概念.内积空间首先是线性空间，其上赋予一个内积运算.由此内积可以自然地诱导出该空间上的一个范数，因此内积空间是一类特殊的赋范空间.由于在内积空间中可以定义向量的正交性，所以内积空间是欧氏空间最自然的推广.本节主要研究内积空间的正交性、正交分解、标准正交集及Hilbert空间上有界线性泛函的Riesz表示定理.下面先给出线性空间中内积的定义.定义3.1.1 设X为数域K上的线性空间，二元函数〈·,·〉:X2→K
(x,y)〈x,y〉称为X上的内积, 如果任给x, y, z∈X, α∈K，满足： 
(1) 〈x+y, z〉=〈x, z〉+〈y, z〉; 
(2) 〈αx, z〉=α〈x, z〉;
(3)  〈x,y〉=〈y, x〉;
(4) 〈x, x〉≥0;
(5) 〈x, x〉=0当且仅当x=0.
此时称序对(X, 〈·, ·〉)为内积空间, 〈x,y〉称为x与y的内积.注3.1.1 (1) 由定义知内积关于第一个变量为线性的.
(2) 若(X, 〈·, ·〉)为复内积空间，x, y, z∈X, α,β∈K，则〈z, αx+βy〉=α-〈z, x〉+β-〈z, y〉,即内积关于第二个变量是共轭线性的.
(3) 若(X, 〈·, ·〉)为实内积空间，则〈x,y〉=〈y,x〉，即有对称性.
(4) 设(X, 〈·, ·〉)为内积空间，x∈X，令‖x‖=〈x,x〉1/2.(3.1)则‖·‖为X上的范数. 事实上，显然有‖x‖≥0.又由定义‖x‖=0 〈x,x〉=0 x=0.若x∈X, α∈K,有‖αx‖=〈αx,αx〉1/2=αα- 〈x,x〉1/2=|α|‖x‖,即‖·‖满足齐次性.关于‖·‖的三角不等式包含在下述定理.定理3.1.1 设(X, 〈·, ·〉)为内积空间.则
(1) 任给x, y∈X, Schwarz 不等式|〈x,y〉|≤‖x‖‖y‖(3.2)成立.Schwarz不等式中等号成立当且仅当x, y线性相关.
(2) 任给x, y∈X, 三角不等式‖x+y‖≤‖x‖+‖y‖成立.三角不等式中等号成立当且仅当y=0或x=cy(c≥0) .
证明
(1)  若y=0，则Schwarz不等式显然成立.不妨设y≠0.若a∈K，有0≤〈x-ay, x-ay〉
=〈x,x-ay〉-〈ay,x-ay〉 
=〈x,x〉-a-〈x,y〉-a〈y,x〉+|a|2〈y,y〉
=‖x‖2 -a-〈x,y〉-a〈y,x〉+|a|2‖y‖2.(3.3)取a=〈y, x〉‖y‖2，有0 ≤‖x‖2-|〈y, x〉|2‖y‖2.即|〈x,y〉|≤‖x‖‖y‖. 所以Schwarz不等式成立.
若Schwarz不等式中等号成立，则不等式(3.3)也必然是等式，因此〈x-ay, x-ay〉=0, 从而x-ay=0，即x=ay. 因此x, y线性相关.当y=0时，Schwarz不等式中等号也成立，此时显然x, y线性相关.
反之，若x, y线性相关，则或者y=0，或者存在a∈K使得x=ay.若y=0，则Schwarz不等式中等号显然成立.若存在a∈K使得x=ay，则|〈x,y〉|=|〈ay,y〉|=|a|‖y‖2,
‖x‖‖y‖=〈ay, ay〉1/2〈y, y〉1/2=|a|‖y‖2.因此Schwarz不等式中等号成立.
(2) 若x, y∈X，利用Schwarz不等式(3.2)，有‖x+y‖2 =〈x+y, x+y〉
=〈x, x〉+〈x,y〉+〈y,x〉+〈y,y〉
=‖x‖2+‖y‖2+2Re 〈x,y〉
≤‖x‖2+‖y‖2+2|〈x,y〉|
≤‖x‖2+‖y‖2+2‖x‖‖y‖
=(‖x‖+‖y‖)2.(3.4)从而‖x+y‖≤‖x‖+‖y‖.
若三角不等式‖x+y‖≤‖x‖+‖y‖等号成立,则式(3.4)中每个不等号都必须是等号，特别地Schwarz不等式也为等号，由已经证明的第一个结论,x, y线性相关.若y≠0，则存在a∈K使得x=ay. 由于式(3.4)中每个不等号都是等号，因此Re 〈x,y〉=|〈x,y〉|.所以〈x,y〉∈R且〈x,y〉≥0.将x=ay代入上式有〈x,y〉=a‖y‖2.所以a≥0.
反之，若y=0，则三角不等式显然为等号.若存在a≥0, x=ay,则‖x+y‖=‖(a+1)y‖=(a+1)‖y‖=a‖y‖+‖y‖
=‖x‖+‖y‖.因此三角不等式为等号.□设(X, 〈·, ·〉)为内积空间，由式(3.1)中定义的‖·‖为X上的范数.称此范数为由内积〈·, ·〉诱导出来的范数.若(X, ‖·‖)为Banach空间,则称内积空间(X, 〈·, ·〉)为Hilbert空间.
若‖·‖为式(3.1)中定义的范数，对于x, y∈X，有‖x+y‖2+‖x-y‖2=〈x+y,x+y〉+〈x-y,x-y〉
=2(‖x‖2+‖y‖2),(3.5)上式称为内积空间中的平行四边形等式. 我们知道平面上平行四边形的对角线长度的平方和等于四个边长度的平方和，上式因此而得名.
若(X, ‖·‖)为赋范空间，则范数‖·‖是由X上某个内积诱导出来的当且仅当对于任意的x,y∈X，上述平行四边形等式成立.事实上，若‖·‖满足平行四边形等式(3.5), 且K=R，可令〈x,y〉=14‖x+y‖2-‖x-y‖2.(3.6)而当K=C时，可令〈x,y〉=14‖x+y‖2-‖x-y‖2+i4‖x+iy‖2-‖x-iy‖2,(3.7)可证上面定义的〈·, ·〉为X上的内积，其诱导出来的范数就是‖·‖.这个结果的证明过程较复杂，我们不给出详细证明. 式(3.6)和式(3.7)称为极化恒等式.例3.1.1 考虑连续函数空间C\，其上赋予范数‖·‖∞. 取x(t)=1+t, y(t)=1-t,则(x+y)(t)=2, (x-y)(t)=2t.因此‖x‖∞=‖x+y‖∞=‖x-y‖∞=2, ‖y‖∞=1.由于‖x+y‖2∞+‖x-y‖2∞≠2(‖x‖2∞+‖y‖2∞),所以‖·‖∞不是由C\上的某个内积诱导出来的.例3.1.2 设1≤p<∞，考虑p，其上赋予范数‖·‖p. 取x=(1, 1, 0, 0,…), y=(1, -1, 0, 0,…),则x+y=(2, 0, 0, …), x-y=(0, 2, 0, 0, …).因此‖x‖p=‖y‖p=21/p,  ‖x+y‖p=‖x-y‖p=2.假设平行四边形等式对‖·‖p成立，则22+22=2 ( 22/p+22/p).所以p=2. 这说明当p≠2时，‖·‖p不能由p上某个内积诱导出来.在下面的例子里，我们将发现(2, ‖·‖2)为内积空间. 类似方法可以证明(∞, ‖·‖∞)中的范数‖·‖∞也不能由∞上的某个内积诱导出来.例3.1.3 考虑空间Kn，其中n≥1. 若x, y∈Kn，有x=(x1, x2, …, xn),  y=(y1, y2, …, yn),定义〈x,y〉=∑ni=1xiy-i.容易验证〈·, ·〉为Kn上的内积，其在Kn上诱导出来的范数为‖·‖2. 由于Kn为完备的，因此Kn为Hilbert空间.例3.1.4 考虑平方可和的数列空间2. 若x, y∈2，有x=(x1, x2, …),  y=(y1, y2, …),定义〈x,y〉=∑∞i=1xiy-i.由Cauchy-Schwarz不等式(1.3)，上式右侧的级数收敛.容易验证〈·, ·〉为2上的内积，其在2上诱导出来的范数为‖·‖2. 由于2为完备的，因此2为Hilbert空间.例3.1.5 考虑连续函数空间C\. 若x, y∈C\,定义〈x,y〉=∫bax(t)y(t)dt.利用关于函数的Cauchy-Schwarz不等式，可以证明〈·, ·〉为C\上的内积，其在C\上诱导出来的范数为‖·‖2. 因此C\不是Hilbert空间.定理3.1.2(内积的连续性) 设(X, 〈·, ·〉)为内积空间，xn, yn, x, y∈X. 若xn→x,  yn →y,则〈xn,yn〉 →〈x,y〉.
证明 由内积的定义及Schwarz不等式(3.2)，有|〈xn,yn〉-〈x,y〉   |=|(〈xn,yn〉-〈xn,y〉)+(〈xn,y〉- 〈x,y〉)|
≤|〈xn,yn-y〉 |+ |〈xn-x,y〉|
≤‖xn‖‖yn-y‖+‖xn-x‖‖y‖.由于{xn}为收敛列，因此存在C>0，使得任给n≥1, ‖xn‖≤C.因此,
〈xn,yn〉 →〈x,y〉.□定义3.1.2 设(X, 〈·, ·〉X)及(Y, 〈·, ·〉Y)为内积空间，映射T: X→Y为线性算子且为一一映射.如果 〈Tx1,Tx2〉Y=〈x1,x2〉X,  x1, x2∈X.(3.8)则称T为从X到Y(内积空间意义下)的等距同构.此时称X与Y(在内积空间意义下)等距同构.由极化恒等式(3.6)和式(3.7)，等式(3.8)成立当且仅当‖Tx‖Y=‖x‖X,  x∈X,其中‖·‖X及‖·‖Y分别是由内积〈·, ·〉X和〈·, ·〉Y诱导出来的范数.
如果两个内积空间等距同构，则其在内积空间意义下的结构和性质完全是一致的.所以我们视两个等距同构的内积空间为同一个内积空间.对于内积空间我们有下述完备化定理.定理3.1.3 设X为内积空间，则存在Hilbert空间X^及其线性子空间Y，使得Y与X等距同构，Y在X^中稠密.X^在等距同构意义下还是唯一的,即若X^1为Hilbert空间，Y1为X^1的稠密线性子空间且Y1与X等距同构,则X^与X^1等距同构.满足这个定理的Hilbert空间X^称为X的完备化.当X为内积空间时，其上内积在X上自然地诱导出一个范数‖·‖，由定理2.2.1, (X, ‖·‖)总有赋范空间意义下的完备化.上一定理表明这个赋范空间意义下的完备化对应的范数可以由X上的某个内积诱导出来. 上述定理证明较复杂，我们不给出其证明过程.3.2 正交补及正交投影3.2 正交补及正交投影
内积空间较一般赋范空间最大的优势是关于向量或集合的正交性，因此可以自然地导出Hilbert空间闭子空间的正交分解定理.因此内积空间中的结果也较一般赋范空间更加完美和实用.定义3.2.1 设X为内积空间，x, y∈X.若〈x,y〉=0，则称x, y正交，记为x⊥y.若M, N为X的非空子集，任给x∈M, y∈N, x⊥y，则称M, N正交，记为M⊥N.若N={x}为单点集，则记为x⊥M. 令M⊥={x∈X: x⊥M}.称M⊥为M的正交补.由内积的定义，0与所有元素正交，与X正交的元素必为0. 另外，M⊥总是X的闭线性子空间.事实上，若x, y∈M⊥, a, b∈K, z∈M,则〈ax+by, z〉=a〈x,z〉+b〈y,z〉=0,从而ax+by∈M⊥.即M⊥为X的线性子空间.为证M⊥为闭集，设xn∈M⊥, xn →x∈X.任取y∈M, 〈xn,y〉=0.利用定理3.1.2，令n→∞，有〈x,y〉=0. 这就证明了x∈M⊥. 由定理1.3.2, M⊥为闭集.
设X为线性空间，C为X的非空子集.称C为凸集，如果任给x, y∈C, 0≤λ≤1,都有λx+(1-λ)y∈C.
在度量空间(X, d)中，固定点x0∈X在非空子集MX中的最佳逼近元不一定总存在，即可能不存在y0∈M，使得ρ(x0, M)=‖x0-y0‖.但在内积空间中，如果M满足一定条件，则这样的y0总是存在且是唯一的.定理3.2.1 设X为内积空间，M为X的非空凸集，且X在M上诱导的度量使M成为完备度量空间.则任给x0∈X，存在唯一的y0∈M，使得ρ(x0, M)=‖x0-y0‖.  证明 记δ=ρ(x0, M). 由ρ(x0, M)的定义，任取n≥1，存在yn∈M，使得δn=‖x0-yn‖→δ.(3.9)若m, n≥1，由于M为凸集，所以ym+yn2∈M. 因此有‖(x0-ym)+(x0-yn)‖=‖ 2x0-(ym+yn)‖=2x0-ym+yn2≥2δ.利用平行四边形等式(3.5)及ym+yn2∈M,有‖ym-yn‖2=‖(x0-yn)-(x0-ym)‖2
=2‖x0-yn‖2+‖x0-ym‖2
-‖(x0-yn)+(x0-ym)‖2
=2δn2+2δm2-4x0-ym+yn22
≤2δn2+2δm2-4δ2.因此{yn}为M中的柯西列.由假设M为完备度量空间，因此存在y0∈M, yn→y0.利用取范数是连续的这个事实，在式(3.9)中令n→∞，有‖x0-y0‖=ρ(x0, M).这就证明了y0的存在性.
为证y0的唯一性，假设y′0∈M，使得‖x0-y′0‖=ρ(x0, M).则由平行四边形等式，有‖y0-y′0 ‖2 =‖(x0-y′0)-(x0-y0)‖2
=2‖ x0-y′0‖2+‖ x0-y0‖2  
-‖(x0-y′0)+(x0-y0) ‖2
=4δ2-4x0-y0+y′022 ≤4δ2-4δ2=0在上式中我们用到了y0+y′02∈M这个事实.因此y0=y′0.这就证明了y0的唯一性.□定理3.2.2 设X为Hilbert空间，M为X的闭线性子空间.则任给x0∈X，存在唯一的y0∈M,使ρ(x0, M)=‖x0-y0‖.进一步地，我们有x0-y0⊥M.
证明 设δ=ρ(x0, M). 由于X为Hilbert空间，M为X的闭线性子空间，所以M为完备度量空间. 由于0∈M，所以M为非空凸集.任给x0∈X，由定理3.2.1，存在唯一的y0∈M,使ρ(x0, M)=‖x0-y0‖.下证x0-y0⊥M. 若不然，令z0=x0-y0，存在y1∈M，使〈z0,y1〉≠0. 特别地，y1≠0. 任给λ∈K，有‖z0-λy1‖2=〈z0-λy1,z0-λy1〉
=〈z0,z0〉-λ〈y1,z0〉-λ-〈z0,y1〉+λλ-〈y1,y1〉 .在上式中取λ=〈z0,y1〉〈y1,y1〉，有‖z0-λy1‖2=‖z0‖2-〈z0,y1 〉〈y1,z0〉〈y1,y1〉=δ2-|〈z0,y1 〉|2〈y1,y1〉<δ2.从而‖z0-λy1‖<δ.但z0-λy1=x0-(y0+λy1),y0+λy1∈M，矛盾！因此必有x0-y0⊥M.□定义3.2.2 设X为线性空间，M, N为X的线性子空间.若任取x∈X，存在唯一的y∈M, z∈N,使得x=y+z，则称X为M和N的直和，记为X=MN.
容易验证X=MN当且仅当X=span (M∪N)且M∩N={0}. 在R2中考虑M=R×{0}, N={0}×R，则R2=MN.
设H为Hilbert空间，M为H的闭子空间.任给x∈H，由定理3.2.2,存在唯一的y∈M, 使得x-y∈M⊥. 令z=x-y，则x=y+z,(3.10)其中y∈M, z∈M⊥. 若存在y1∈M, z1∈M⊥，使x=y1+z1,则y-y1=z1-z∈M∩M⊥.因此y=y1, z=z1. 这说明H为M和M⊥的直和.即得到如下定理.定理3.2.3(正交分解定理) 设H为Hilbert空间，M为H的闭子空间. 则H=MM⊥.设H为Hilbert空间，M为H的闭子空间. 对于x∈H，存在唯一的y∈M,z∈M⊥,使得x=y+z.令PMx=y，则PM为从H到M上的映射，称PM为从H到M的正交投影.在下个定理里我们给出PM的一些基本性质.定理3.2.4 设H为Hilbert空间，M为H的闭子空间. 则
(1) PM为有界线性算子，‖PM‖≤1; 
(2) PM2=PM; 
(3) R(PM)=M, N(PM)=M⊥.
证明
(1) 若x1, x2∈X, a, b∈K，则存在y1, y2∈M, z1, z2∈M⊥，使x1=y1+z1, x2=y2+z2.此时有PM x1=y1, PMx2=y2. 另外ax1+bx2=(ay1+by2)+(az1+bz2),且ay1+by2∈M, az1+bz2∈M⊥. 因此,PM(ax1+bx2)=ay1+by2=aPMx1+bPMx2.即PM为线性算子.若x=y+z, y∈M, z∈M⊥,则‖x‖2=〈y+z,y+z〉=‖y‖2+‖z‖2.所以‖PMx‖=‖y‖≤‖x‖. 这说明PM为有界线性算子，‖PM‖≤1.
(2)  若y∈M，则y=y+0, y∈M, 0∈M⊥，因此PMy=y. 任取x∈H, PMx∈M，所以PM(PMx)=PMx，即PM2=PM.
(3) R(PM)M显然成立.又若y∈M，则有PM y=y，故y∈R(PM).这样证明了R(PM)=M. 类似可证N(PM)=M⊥.□定理3.2.5 设H为Hilbert空间，M为H的闭子空间. 则 (M⊥)⊥=M.
证明 若y∈M，则任给x∈M⊥，有x⊥y. 因此y∈(M⊥)⊥，从而M(M⊥)⊥.  任取x∈(M⊥)⊥，由定理3.2.3，存在唯一的y∈M, z∈M⊥,使得x=y+z. 于是有x-y=z. (M⊥)⊥为线性子空间，注意到y∈M (M⊥)⊥, x∈(M⊥)⊥，因此x-y∈(M⊥)⊥.所以z∈M⊥∩(M⊥)⊥. 所以z=0，从而x=y∈M. 即(M⊥)⊥M. 因此有M=(M⊥)⊥.□为了进一步地研究集合正交补的性质，我们需要建立下述引理.引理3.2.1 设X为内积空间，M为X的非空子集，则(span(M))⊥=M⊥, ( )⊥=M⊥.  证明 由于Mspan(M)，所以显然有(span(M))⊥M⊥.若x∈M⊥，任取y∈span(M)，存在y1, y2, …, yn∈M, a1, a2, …, an∈K,使得y=a1y1+a2y2+…+an yn.因此〈x,y〉=a-1〈x,y1〉+a-2〈x,y2〉+…+a-n〈x,yn〉=0.所以x∈(span(M))⊥. 从而M⊥(span(M))⊥. 于是证明了(span(M))⊥=M⊥.  由于M，所以显然有( )⊥M⊥.设x∈M⊥, y∈. 存在yn∈M, yn →y. 由定理3.1.2，有〈x,yn〉 →〈x, y〉.但〈x,yn〉=0，所以〈x, y〉=0. 这就证明了x∈( )⊥，从而M⊥( )⊥. 因此M⊥=( )⊥.□设X为赋范空间，MX称为完全集，如果span(M)在X中稠密.应用定理3.2.3，可以利用正交补来刻画Hilbert空间中的完全集.定理3.2.6 设H为Hilbert空间，M为H的非空子集.则M在H中为完全集当且仅当M⊥={0}.
证明 由引理3.2.1,有M⊥=(span(M))⊥=(span(M))⊥.  设M在X中为完全集，即span(M)=H. 则M⊥=(span(M))⊥=H⊥={0}.  反之，假设M⊥={0}. 则有(span(M))⊥={0}.因此若N=span(M)，则N为H的闭子空间,且N⊥={0}. 由定理3.2.3知H=NN⊥,故H=N=span(M)，即M为完全集.□3.3 标准正交集与标准正交基
在上一节里，我们已经看到内积空间中向量或集合正交性的重要作用.在本节中，将进一步来研究内积空间中标准正交集的性质.标准正交集是内积空间特有的性质，从某种意义上来讲在Hilbert空间中完全标准正交基起到了基底的作用.事实上，我们将看到Hilbert空间中任意元素可以由该空间的标准正交基通过取可数和来唯一表示.从而Hilbert空间的性质可以由其标准正交基来决定.而我们将证明在Hilbert空间中标准正交基总是存在的.
3.3 标准正交集与标准正交基
定义3.3.1 设X为内积空间，M为X的非空子集.如果M中的元两两正交，则称M为正交集.若M为X的正交集，且任给x∈M有‖x‖=1，则称M为标准正交集.若标准正交集M为可数集，即M={en: n≥1}，则称M为标准正交序列.若标准正交集M为有限集，即M={e1, e2, …, en}，则称M为标准正交组.定理3.3.1 设X为内积空间，M为X的标准正交集.则
(1) 任取e1, e2, …, en为M中n个不同元，a1, a2, …, an∈K，有∑ni=1 aiei2=∑ni=1|ai|2, (勾股定理);  
(2) M线性无关.
证明
(1) 由于{ei}两两正交且‖ei‖=1，所以∑ni=1 aiei2=〈∑ni=1 aiei, ∑nj=1 ajej〉=∑ni=1∑nj=1 aia-j 〈ei,ej〉=∑ni=1|ai|2.  
(2) 设e1, e2, …, en为M中n个不同元，a1, a2, …, an∈K，使得