In der Linearen Algebra und der Funktionalanalysis, Teilgebieten der Mathematik, ist ein Orthogonalsystem eine Menge von Vektoren eines Vektorraums mit Skalarprodukt (Prähilbertraum), die paarweise aufeinander senkrecht stehen. Sind die Vektoren zusätzlich noch normiert (d. h., sie haben die Norm 1), so spricht man von einem Orthonormalsystem.

Eine Teilmenge ${\displaystyle M}$ eines Prähilbertraums ${\displaystyle V}$ heißt Orthogonalsystem, wenn gilt:

1. Je zwei verschiedene Vektoren aus ${\displaystyle M}$ sind zueinander orthogonal: ${\displaystyle \forall v,w\in M:v\neq w\Rightarrow \langle v,w\rangle =0}$
2. Der Nullvektor ist nicht in der Menge enthalten.

Hier bezeichnet ${\displaystyle \langle v,w\rangle }$ das Skalarprodukt des Raums ${\displaystyle V}$, im euklidischen Raum also das Standardskalarprodukt.

Gilt zusätzlich

Jeder Vektor aus ${\displaystyle M}$ ist normiert, d. h. ${\displaystyle \forall v\in M:\langle v,v\rangle =1}$,

so nennt man ${\displaystyle M}$ ein Orthonormalsystem.

• Orthogonalsysteme sind linear unabhängig.
• In separablen Hilberträumen (insbesondere in allen endlichdimensionalen Hilberträumen) lässt sich mit dem Gram-Schmidtschen Orthogonalisierungsverfahren aus jedem linear unabhängigen System ein Orthogonalsystem (bzw. Orthonormalsystem) bzw. aus jeder (Schauder-)Basis eine orthogonale (bzw. orthonormale) Basis konstruieren.
• Für ein Orthonormalsystem ${\displaystyle M}$ gilt die Besselsche Ungleichung

  ${\displaystyle \sum _{e\in M}|\langle x,\,e\rangle |^{2}\leq \|x\|^{2}\quad \forall ~x\in V.}$

• Für jeden Vektor ${\displaystyle x\in V}$ ist die Menge der ${\displaystyle e\in M}$, für die ${\displaystyle \langle x,e\rangle \neq 0}$ gilt, höchstens abzählbar.

• Im ${\displaystyle \mathbb {R} ^{n))$ mit dem Standardskalarprodukt ist die Standardbasis ein Orthogonalsystem
• In ${\displaystyle L^{2}([0,2\pi ])}$ bilden die Funktionen ${\displaystyle \cos(kx)}$ ein Orthogonalsystem (Siehe auch trigonometrisches Polynom)
• In ${\displaystyle \ell ^{2))$ mit dem Skalarprodukt ${\displaystyle (a,b)\mapsto \sum a_{n}b_{n))$ bilden die Folgen ${\displaystyle (0,\cdots ,0,1,0,\cdots )}$ ein Orthogonalsystem
• In dem Prähilbertraum der Polynome mit Grad kleiner gleich 5, ${\displaystyle {\mathcal {P))^{5}([0,1])}$, versehen mit dem ${\displaystyle L^{2))$-Skalarprodukt ${\displaystyle (a,b)\mapsto \int _{0}^{1}ab}$, bilden die Funktionen

${\displaystyle x\mapsto 1}$ und ${\displaystyle x\mapsto x-{\frac {1}{2))}$

ein Orthogonalsystem.

• Vollständiges Orthonormalsystem

• Dirk Werner: Funktionalanalysis. 6., korrigierte Auflage. Springer, Berlin 2007, ISBN 978-3-540-72533-6.  Kapitel V.3 (Für den unendlichdimensionalen Fall, dort finden sich auch Beweise für die Beispiele)
• Gerd Fischer: Lineare Algebra: Eine Einführung für Studienanfänger. 13. Auflage. Vieweg, 2002, ISBN 3-528-97217-3.  (Für den endlichdimensionalen Fall, dort unter „Erzeugendensystem“)