Pivotverfahren

Pivotverfahren (auch Basisaustauschverfahren) sind Algorithmen der mathematischen Optimierung, insbesondere der linearen Optimierung. Für ein vorgegebenes System linearer Gleichungen in nichtnegativen Variablen (im Wesentlichen dasselbe wie ein System linearer Ungleichungen) wird nach der bestmöglichen von vielen Alternativlösungen (einer sogenannten Optimallösung) gesucht und auf dieser Suche das Gleichungssystem Schritt für Schritt umgewandelt, ohne dabei die Lösungsmenge zu verändern. Wichtige Pivotverfahren sind die Simplex-Verfahren und die Criss-Cross-Verfahren.

Pivotverfahren spielen für die Behandlung von linearen Ungleichungen eine analoge und ähnlich wichtige Rolle wie das gaußsche Eliminationsverfahren für die Lösung linearer Gleichungssysteme in unbeschränkten Variablen. Hauptanwendungsgebiet der Pivotverfahren ist die lineare Optimierung: sie gehören zu den meistverwendeten Lösungsmethoden in der Unternehmensforschung, der Wirtschaftswissenschaft, dem Gütertransport und sie werden auch in vielen anderen Gebieten wie im Ingenieurbau (Strukturoptimierung), in der Statistik (Regressionsanalyse) und in der Spieltheorie zunehmend eingesetzt.^[1] Aufgaben mit zehntausenden Variablen und Ungleichungen sind an der Tagesordnung.^[2]

Ein Pivotverfahren geht immer von einem besonders gearteten linearen Gleichungssystem aus, in dem alle Variablen, außer vielleicht einer, nichtnegative Werte annehmen sollen. Jedes System linearer Ungleichungen oder Gleichungen, und auch jede lineare Optimierungsaufgabe, lässt sich nämlich in folgende (englisch dictionary genannte^[3]) Buchform bringen:

${\displaystyle {\begin{matrix}z&=&f&+&~~~~~d_{1}\,x_{1}&+&\cdots &+&~~~~~d_{n}\,x_{n}\\[3pt]x_{n+1}&=&b_{n+1}&+&G_{n+1,1}\,x_{1}&+&\cdots &+&G_{n+1,n}\,x_{n}\\\vdots &&\vdots &&\vdots &&&&\vdots \\x_{n+m}&=&b_{n+m}&+&G_{n+m,1}\,x_{1}&+&\cdots &+&G_{n+m,n}\,x_{n}\end{matrix}}}$

${\displaystyle {\begin{matrix}\max ~z\,,\quad x_{1}\geq 0,\;\ldots ,\;x_{n+m}\geq 0\end{matrix}}}$

Hier sind ${\displaystyle f,\;d_{j},\;b_{i},\;G_{i,j}}$ reelle Zahlen (in der Praxis meist Bruchzahlen). Die obige Notation soll aussagen, dass eine Lösung in den Unbekannten ${\displaystyle x_{1},\;\ldots ,\;x_{n+m},\;z}$ gesucht wird, welche die entsprechenden Gleichungen und Ungleichungen erfüllt und dabei die sogenannte Zielvariable ${\displaystyle z}$ so groß wie möglich wählt.

( Bei der Verwandlung der Aufgabe in die obige Form werden die Ungleichungen des Systems keinesfalls weniger: sie bleiben in mindestens gleicher Anzahl weiter vorhanden und treten nun als nichtnegative Variablen auf. Eine übliche lineare Ungleichung wie beispielsweise

${\displaystyle 3x_{1}~+~4x_{2}~-~x_{3}~\leq ~5x_{1}~+~8}$

wird umgeformt in

${\displaystyle x_{4}~=~8~+~2x_{1}~-~4x_{2}~+~x_{3}}$

mit ${\displaystyle x_{4}\geq 0}$ )

Mit Hilfe der Indexmengen

${\displaystyle D=\{1,\ldots ,n\},\quad B=\{n+1,\ldots ,n+m\}}$

lässt sich diese Aufgabe auch wie folgt in kompakter Form ausdrücken:

${\displaystyle {\begin{matrix}&&z&=&f&+&\sum _{j\in D}\,d_{j}\,x_{j}\\[6pt]\forall ~i\in B&&x_{i}&=&b_{i}&+&\sum _{j\in D}\,G_{i,j}\,x_{j}\end{matrix}}}$

${\displaystyle {\begin{matrix}\max ~z\,,\quad \forall ~k\in D\cup B\quad x_{k}\geq 0\end{matrix}}}$

In jedem Schritt eines Pivotverfahrens ist wie oben eine Teilmenge der Variablen als unabhängig hervorgehoben, während die restlichen Variablen, Basisvariablen genannt, als linear-affine Funktionen der unabhängigen Variablen ausgedrückt werden. In aufeinanderfolgenden Schritten wechselt immer eine der Variablen von unabhängig auf Basisvariable und eine zweite in die umgekehrte Richtung; solche Variablenpaare werden Pivots genannt.

Falls im oben aufgestellten linearen Gleichungssystem die beiden folgenden Optimumbedingungen erfüllt sind,

• ${\displaystyle b_{i}\geq 0}$   für alle  ${\displaystyle i\in B}$    (Zulässigkeit)   und
• ${\displaystyle d_{j}\leq 0}$   für alle  ${\displaystyle j\in D}$    (Zielbeschränkung),

dann kann man eine Lösung für die obige Aufgabe erhalten, indem man die unabhängigen Variablen auf die Werte ${\displaystyle x_{1}=0,\ldots ,x_{n}=0}$ setzt. Zum einen sind die Werte der freigelegten Variablen ${\displaystyle x_{n+1}=b_{n+1},\ldots ,x_{n+m}=b_{n+m}}$ dann nichtnegativ, wie gefordert. Zum anderen dürfen sonstige mögliche Lösungen nur unabhängige Variable mit ebenfalls nichtnegativen Werten enthalten, so dass für jede dieser Lösungen die Ungleichung ${\displaystyle z\leq f}$ gilt.

( Im folgenden Beispielsystem,

${\displaystyle {\begin{matrix}z&=&~~~0&-~3x_{1}&+~~\mathbf {x_{2}} \\[2pt]x_{3}&=&~~~3&-~~x_{1}&-~~x_{2}\\[2pt]x_{4}&=&~~~8&+~2x_{1}&-~4x_{2}\\[2pt]x_{5}&=&-~\mathbf {1} &+~3x_{1}&+~~x_{2}\,,\end{matrix}}}$

werden die Optimumbedingungen an zwei Stellen verletzt, da ${\displaystyle b_{5}=-1<0}$ und ${\displaystyle d_{2}=+1>0}$ ist. Zum ersten würde die Versuchslösung ${\displaystyle x_{1}=x_{2}=0}$ den negativen Wert ${\displaystyle x_{5}=-1}$ enthalten, und zum zweiten könnte dessen Zielvariablenwert ${\displaystyle z=-3x_{1}+x_{2}}$ bei Lösungen mit ${\displaystyle x_{2}>0}$ unter Umständen erhöht werden. )

Falls die Optimumbedingungen nicht erfüllt sind, was in der Regel der Fall sein wird, lässt sich das obige lineare Gleichungssystem aber auch andersartig ausdrücken, indem man an Stelle von ${\displaystyle \{x_{n+1},\ldots ,x_{n+m}\}}$ eine andere, gleich große Teilmenge der ${\displaystyle n+m}$ Unbekannten auswählt und diese freilegt. Es sei   ${\displaystyle \pi (1),\ldots ,\pi (n+m)}$   eine Umstellung der Indizes. Anhand folgender Aufteilung der Variablen,

${\displaystyle D(\pi )=\{\pi (1),\ldots ,\pi (n)\},\quad B(\pi )=\{\pi (n+1),\ldots ,\pi (n+m)\},}$

in neue unabhängige Variablen ${\displaystyle x_{j}}$ mit ${\displaystyle j\in D(\pi )}$ und neue Basisvariablen ${\displaystyle x_{i}}$ mit ${\displaystyle i\in B(\pi )}$, wird das Gleichungssystem nun umgewandelt zu

${\displaystyle {\begin{matrix}&&z&=&f^{\pi }&+&\sum _{j\in D(\pi )}\,d_{j}^{\pi }\,x_{j}\\[6pt]\forall ~i\in B(\pi )&&x_{i}&=&b_{i}^{\pi }&+&\sum _{j\in D(\pi )}\,G_{i,j}^{\pi }\,x_{j}\end{matrix}}}$

${\displaystyle {\begin{matrix}\max ~z\,,\quad \forall ~k\in D\cup B\quad x_{k}\geq 0\,,\end{matrix}}}$

wobei zu beachten ist, dass Einträge wie ${\displaystyle G_{i,j}^{\pi }}$ nur für Indexpaare mit ${\displaystyle i\in B(\pi )}$ und ${\displaystyle j\in D(\pi )}$ definiert sind. Die Einträge des so umgewandelten Gleichungssystems lassen sich nun erneut auf die Optimumbedingungen überprüfen,

• ${\displaystyle b_{i}^{\pi }\geq 0}$   für alle   ${\displaystyle i\in B(\pi )}$    (Zulässigkeit)   und
• ${\displaystyle d_{j}^{\pi }\leq 0}$   für alle   ${\displaystyle j\in D(\pi )}$    (Zielbeschränkung),

was wiederum unter Umständen zu einer Lösung der Aufgabe führt.

Ein Standardergebnis der linearen Optimierung sagt aus^[3][1], dass für jede lösbare Aufgabe ein Satz Basisvariablen existiert, der zu einer Lösung führt. Bei erfüllten Optimumbedingungen bilden die Basisvariablen eine sogenannte Optimalbasis des Systems.

Jedes nichtverschwindende ${\displaystyle G_{r,s}^{\pi }\neq 0}$ des obigen Gleichungssystems, dem Pivotsystem, nennt sich Pivotelement und erlaubt es, die unabhängige Variable ${\displaystyle x_{s}}$ an Stelle der Basisvariablen ${\displaystyle x_{r}}$ freizulegen, um so weiter nach einer Lösung zu suchen. Das ist die Vorgehensweise eines allgemeinen Pivotverfahrens, wobei aber nicht irgendwelche Pivotelemente gewählt werden, sondern nur erlaubte (admissible) Pivots ${\displaystyle (x_{r},\,x_{s})}$, die Folgendes erfüllen müssen:

• Entweder gilt gleichzeitig ${\displaystyle b_{r}^{\pi }<0}$ und ${\displaystyle G_{r,s}^{\pi }>0}$    (Zulässigkeitspivot),
• oder es gilt gleichzeitig ${\displaystyle d_{s}^{\pi }>0}$ und ${\displaystyle G_{r,s}^{\pi }<0}$    (Zielfortschrittspivot).

( Im obigen Beispielsystem,

${\displaystyle {\begin{matrix}z&=&~~~0&-~3x_{1}&+~~~\mathbf {x_{2}} \\[2pt]x_{3}&=&~~~3&-~~x_{1}&-~~~{\underline {\mathbf {x_{2}} }}\\[2pt]x_{4}&=&~~~8&+~2x_{1}&-~{\underline {\mathbf {4x_{2}} }}\\[2pt]x_{5}&=&-~\mathbf {1} &+~{\underline {\mathbf {3x_{1}} }}&+~~~{\underline {\mathbf {x_{2}} }}\,,\end{matrix}}}$

sind wegen der Optimalitätsverletzung ${\displaystyle b_{5}<0}$ Pivotelement ${\displaystyle G_{5,1}=+3>0}$ mit Pivot ${\displaystyle (x_{5},\,x_{1}),}$ und Pivotelement ${\displaystyle G_{5,2}=+1>0}$ mit Pivot ${\displaystyle (x_{5},\,x_{2})}$ erlaubt. Wegen der Optimalitätsverletzung ${\displaystyle d_{2}>0}$ sind aber ebenfalls Pivotelement ${\displaystyle G_{3,2}=-1<0}$ mit Pivot ${\displaystyle (x_{3},\,x_{2})}$, und Pivotelement ${\displaystyle G_{4,2}=-4<0}$ mit Pivot ${\displaystyle (x_{4},\,x_{2})}$ erlaubt. )

Die Beschränkung auf erlaubte Pivots verhindert, dass derselbe Pivot zweimal hintereinander ausgewählt wird. Die Regeln, nach denen in jedem Schritt eines dieser erlaubten Pivotelemente ausgewählt wird, hängen vom jeweiligen Verfahren ab; ein Mindestanspruch ist dabei natürlich, dass das Verfahren nach endlich vielen Schritten anhält, was bei ungeeigneter Auswahl von erlaubten Pivots nicht der Fall ist. Fukuda & Terlaky haben 1999 bewiesen, dass für jede lösbare Aufgabe und für jede Ausgangsbasis eine Folge von maximal ${\displaystyle n+m}$ erlaubten Pivots existiert, die zu einer Optimalbasis führt.^[4] Leider liefert ihr Beweis keine Vorgehensweise, um diese Pivots in jedem Optimierungsschritt auch zu finden.

Wie aus der Definition zu ersehen ist, haben Optimalbasen keine erlaubten Pivots, das Verfahren kann in so einem Fall gar nicht fortgeführt werden. Anderseits kann anhand von Argumenten wie im obigen Abschnitt leicht gezeigt werden, dass eine nichtoptimale Basis ohne erlaubte Pivots immer zu einer Aufgabe gehört, die gar keine Lösung hat; entweder, weil das System der Gleichungen und Ungleichungen überhaupt keine Lösung hat (unzulässige Aufgabe), oder, weil sich Lösungen mit beliebig großem ${\displaystyle z}$ finden lassen (unbeschränkte Aufgabe).

Um Rundungsfehler zu vermeiden, kann mit Bruchzahlen und gemeinsamen Nenner für sämtliche Einträge gearbeitet werden. Um in jedem Schritt einen gemeinsamen Nenner für das Gesamtsystem zu finden, müssen wir die Einträge nicht zusätzlich untersuchen. Falls das Startsystem ganzzahlig ist (was sich normalerweise durch Erweiterung erreichen lässt), gilt die Regel:

• Der Zähler des gewählten Pivotelements ist ein gemeinsamer Nenner für das darauffolgende System.

Wenn die Einträge des Folgesystems mit diesem gemeinsamen Nenner multipliziert werden, erhält man ganzzahlige Werte. Bei der Aufstellung des Folgesystems veraltet der gemeinsame Nenner des Vorgängersystems, weshalb sämtliche Einträge des Folgesystems ungeprüft durch diesen veralteten Nenner gekürzt werden können.

Eine Tabelle mit den Einträgen eines Pivotsystems wird oftmals Tableau genannt. Das folgende Schema zeigt an, wie sich die Einträge der Pivotsysteme von einem Schritt auf den nächsten verändern:

${\displaystyle {\begin{matrix}\delta \,x_{i}&\!=\!&(~~\alpha )&\!\!\!x_{j}&\!+\!&(~~\sigma )&\!\!\!x_{s}\\[6pt]\delta \,x_{r}&\!=\!&(~~\zeta )&\!\!\!x_{j}&\!+\!&(~~p)&\!\!\!x_{s}\end{matrix}}}$

${\displaystyle {x_{r}\leftrightarrow x_{s}}}$

${\displaystyle {\begin{matrix}p\,x_{i}&\!=\!&(\textstyle {\frac {\alpha p\,-\,\zeta \sigma }{\delta }})&\!\!\!x_{j}&\!+\!\!&(~\sigma )&\!\!\!x_{r}\\[6pt]p\,x_{s}&\!=\!&(~-\zeta ~)&\!\!\!x_{j}&\!+\!\!&(~\delta )&\!\!\!x_{r}\\\end{matrix}}}$

Das Zeichen ${\displaystyle \delta \,}$ steht hier für den gemeinsamen Nenner des Gleichungssystems, das Zeichen ${\displaystyle p\,}$ für den Zähler des Pivotelements, ${\displaystyle \zeta \,}$ für einen sonstigen Eintrag der Pivotzeile, ${\displaystyle \sigma \,}$ für einen sonstigen Eintrag der Pivotspalte, und ${\displaystyle \alpha \,}$ für einen beliebigen Eintrag abseits von Pivotzeile und Pivotspalte. Einträge der Zielbeitragszeile (${\displaystyle x_{i}\!=\!z\,}$) und der Basiswertspalte (${\displaystyle x_{j}\!=\!1\,}$) werden nach denselben Regeln umgewandelt.

Die Bilder zu den Schritten in den folgenden Beispielen zeigen alle dasselbe Gleichungssystem in verschiedenen orthogonalen Koordinaten; dabei gilt:

• Die grün umrandete Fläche ist der zulässige Bereich, in dem alle Variablen nichtnegative Werte haben.
• Koordinatenachsen entsprechen den Gleichungen ${\displaystyle x_{k}=0}$ von unabhängigen Variablen; sonstige Geraden beschreiben freigelegte Variablen.
• Schnittpunkte erlaubter Pivots sind rot markiert; der schwarzumrandete Schnittpunkt zeigt den ausgewählten Pivot.
• Die gelbe Fläche wird im nächsten Schritt zum nichtnegativen Quadranten.

Wir wählen vorerst ein Beispiel ohne Zielvariable, das heißt, mit ${\displaystyle z=0+0\,x_{1}+0\,x_{2}}$. In so einem Fall wird keine der Variablen maximiert; es werden nur beliebige (nichtnegative) Werte für die Unbekannten ${\displaystyle x_{1}\geq 0,\ldots ,x_{n+m}\geq 0}$ gesucht, die ein vorgegebenes Gleichungssystem erfüllen. In jedem Schritt wollen wir dann den erlaubten Pivot ${\displaystyle (x_{r},\,x_{s})}$ nach folgender Regel wählen:

1. Wähle ${\displaystyle r=\min\{i\in B(\pi )~|~b_{i}^{\pi }<0\}}$,
2. danach wähle ${\displaystyle s=\min\{j\in D(\pi )~|~G_{r,j}^{\pi }>0\}}$.

Diese (nicht besonders effiziente) Auswahlregel fällt wegen ${\displaystyle z=0}$ mit der weiter unten angegebenen Kleinster-Index-Pivotauswahl zusammen; es lässt sich beweisen, dass diese Auswahl bei jeder lösbaren Aufgabe mit ${\displaystyle z=0}$ zu einer Optimalbasis führt.^[5]

Wir suchen nun Werte für die Unbekannten ${\displaystyle x_{1}\geq 0,\ldots ,x_{5}\geq 0}$, die das Gleichungssystem

${\displaystyle {\begin{matrix}x_{3}&=&(&-~\mathbf {2} &-~7x_{1}&+~{\underline {\mathbf {2x_{2}} }}&)~/~1\\[2pt]x_{4}&=&(&-~4&-~5x_{1}&+~2x_{2}&)~/~1\\[2pt]x_{5}&=&(&~~~9&+~2x_{1}&-~3x_{2}&)~/~1\end{matrix}}}$

erfüllen. Die erlaubten Pivots im obigen Gleichungssystem sind ${\displaystyle (x_{3},\,x_{2})}$ und ${\displaystyle (x_{4},\,x_{2})}$; aufgrund der obigen Auswahlregel legen wir die unabhängige Variable ${\displaystyle x_{2}}$ an Stelle der Basisvariablen ${\displaystyle x_{3}}$ frei:

Wir erhalten nun das folgende, umgewandelte Gleichungssystem:

${\displaystyle {\begin{matrix}x_{2}&=&(&~~~2&+~~7x_{1}&+~~~~x_{3}&)~/~2\\[2pt]x_{4}&=&(&-~\mathbf {4} &+~~{\underline {\mathbf {4x_{1}} }}&+~~~2x_{3}&)~/~2\\[2pt]x_{5}&=&(&~~12&-~17x_{1}&-~~~3x_{3}&)~/~2\end{matrix}}}$

Im neuen System sind die erlaubten Pivots ${\displaystyle (x_{4},\,x_{1})}$ und ${\displaystyle (x_{4},\,x_{3})}$; dieses Mal legen wir legen wir ${\displaystyle x_{1}}$ an Stelle von ${\displaystyle x_{4}}$ frei:

Wir erhalten nun das folgende System:

${\displaystyle {\begin{matrix}x_{2}&=&(&~~18&+~~7x_{4}&-~~5x_{3}&)~/~4\\[2pt]x_{1}&=&(&~~~4&+~~2x_{4}&-~~2x_{3}&)~/~4\\[2pt]x_{5}&=&(&-\mathbf {10} &-~17x_{4}&+~{\underline {\mathbf {11x_{3}} }}&)~/~4\end{matrix}}}$

Der einzige erlaubte Pivot hier ist ${\displaystyle (x_{5},\,x_{3})}$; deshalb können wir nur ${\displaystyle x_{3}}$ an Stelle von ${\displaystyle x_{5}}$ freilegen:

Nun erhalten wir

${\displaystyle {\begin{matrix}x_{2}&=&(&~~37&-~~2x_{4}&-~~~5x_{5}&)~/~11\\[2pt]x_{1}&=&(&~~~6&-~~3x_{4}&-~~~2x_{5}&)~/~11\\[2pt]x_{3}&=&(&~~10&+~17x_{4}&+~~~4x_{5}&)~/~11\end{matrix}}}$

Dieses System erfüllt die Optimalitätsbedingungen und hat dementsprechend auch keine erlaubten Pivots. Indem wir sämtliche unabhängige Variablen auf Null setzen, erhalten wir die folgende Lösung:

${\displaystyle x_{1}=6/11=0.55,x_{2}=37/11=3.36,x_{3}=10/11=0.91,x_{4}=0,x_{5}=0\,.}$

Es folgt nun ein Beispiel einer ungeeigneten Pivotauswahl; bei ungeeigneter Pivotwahl kann ein Pivotverfahren nämlich in einen unendlichen Kreislauf (eine Endlosschleife) geraten. Es sei wieder ${\displaystyle \,z=0+0\,x_{1}+0\,x_{2}\,.}$ Wie bei folgender Regel vorgeschlagen, könnten wir beispielsweise der Versuchung erliegen, die Pivotzeile nur unter den "meistverletzten" Nebenbedingungen auszuwählen, und dabei "meistverletzt" als diejenigen mit den am weitesten negativen Konstanten verstehen:

1. Wähle ${\displaystyle r=\min {\big \{}i\in B(\pi )~|~~b_{i}^{\pi }\!=\!\min\{b_{k}^{\pi }\,|\,k\in B(\pi ),~b_{k}^{\pi }\!<\!0\}~{\big \}}}$,
2. danach wähle ${\displaystyle s=\min\{j\in D(\pi )~|~G_{r,j}^{\pi }>0\}}$.

Um zu zeigen, dass so etwas falsch gehen kann, starten wir mit dem System:

${\displaystyle {\begin{matrix}x_{3}&=&(&-~\mathbf {2} &+~~{\underline {\mathbf {x_{1}} }}&+~~x_{2}&)~/~2\\[2pt]x_{4}&=&(&~~~6&-~7x_{1}&-~3x_{2}&)~/~2\\[2pt]x_{5}&=&(&~~~0&-~3x_{1}&-~~x_{2}&)~/~2\\[2pt]x_{6}&=&(&~~~4&+~7x_{1}&+~~x_{2}&)~/~2\end{matrix}}}$

Wir wählen hier ${\displaystyle \,x_{3}\,}$ und legen an Stelle dessen ${\displaystyle \,x_{1}\,}$ frei. Dadurch erhalten wir das System:

${\displaystyle {\begin{matrix}x_{1}&=&(&~~~2&+~2x_{3}&-~~x_{2}&)~/~1\\[2pt]x_{4}&=&(&-~\mathbf {4} &-~7x_{3}&+~{\underline {\mathbf {2x_{2}} }}&)~/~1\\[2pt]x_{5}&=&(&-~~3&-~3x_{3}&+~~x_{2}&)~/~1\\[2pt]x_{6}&=&(&~~~9&+~7x_{3}&-~3x_{2}&)~/~1\end{matrix}}}$

Wir wählen Basisvariable ${\displaystyle \,x_{4}\,}$, legen an deren Stelle ${\displaystyle \,x_{2}\,}$ frei, und erhalten:

${\displaystyle {\begin{matrix}x_{1}&=&(&~~~0&-~3x_{3}&-~~x_{4}&)~/~2\\[2pt]x_{2}&=&(&~~~4&+~7x_{3}&+~~x_{4}&)~/~2\\[2pt]x_{5}&=&(&-~\mathbf {2} &+~~{\underline {\mathbf {x_{3}} }}&+~~x_{4}&)~/~2\\[2pt]x_{6}&=&(&~~~6&-~7x_{3}&-~3x_{4}&)~/~2\end{matrix}}}$

Die Einträge in diesem Gleichungssystem sind dieselben wie im Startsystem, weshalb sich bei ähnlicher Pivotfolge auch die Einträge der folgenden Systeme alle zwei Schritte wiederholen werden. Nach Auswahl der Basisvariablen ${\displaystyle \,x_{5}\,}$ um an deren Stelle ${\displaystyle \,x_{3}\,}$ freizulegen erhalten wir:

${\displaystyle {\begin{matrix}x_{1}&=&(&-~~3&-~3x_{5}&+~~x_{4}&)~/~1\\[2pt]x_{2}&=&(&~~~9&+~7x_{5}&-~3x_{4}&)~/~1\\[2pt]x_{3}&=&(&~~~2&+~2x_{5}&-~~x_{4}&)~/~1\\[2pt]x_{6}&=&(&-~\mathbf {4} &-~7x_{5}&+~{\underline {\mathbf {2x_{4}} }}&)~/~1\end{matrix}}}$

Nach der kreislauffreien Regel im vorherigen Beispiel müssten wir nun ${\displaystyle \,x_{1}\,}$ wählen um ${\displaystyle \,x_{4}\,}$ freizulegen. Anstelle dessen folgen wir der abgewandelten Regel und wählen dafür die Basisvariable ${\displaystyle \,x_{6}\,}$, was zu folgendem System führt:

${\displaystyle {\begin{matrix}x_{1}&=&(&-~\mathbf {2} &+~~{\underline {\mathbf {x_{5}} }}&+~~x_{6}&)~/~2\\[2pt]x_{2}&=&(&~~~6&-~7x_{5}&-~3x_{6}&)~/~2\\[2pt]x_{3}&=&(&~~~0&-~3x_{5}&-~~x_{6}&)~/~2\\[2pt]x_{4}&=&(&~~~4&+~7x_{5}&+~~x_{6}&)~/~2\end{matrix}}}$

Dieses Gleichungssystem hat dieselben Einträge wie das Startsystem. Weil diese nun anderen Variablen zugeordnet sind, ist die Endlosschleife nach diesen 4 Schritten freilich noch nicht beendet, aber die Umformung der Einträge ist hier unabhängig von deren Zuordnung zu Variablen, und nach endlich vielen Schritten (in diesem Falle 12) wird wieder das Startsystem erreicht. Das Gesamtsystem von Gleichungen und Ungleichungen hat in Wirklichkeit gar keine Lösung, doch kann das Pivotverfahren das mit der oberen Pivotwahl nicht herausfinden.

Die Reihenfolge, in der Variable und Gleichungen eines Pivotsystems aufgelistet werden, ist grundsätzlich willkürlich. Dennoch wurden die ersten Pivotauswahl-Strategien, die Variablen und Gleichungen unabhängig von deren Darstellung im Pivotsystem behandeln (und dazu noch leicht umsetzbar waren), erst 1977 von Bland ^[6] vorgestellt. In der Anfangszeit der Pivotverfahren (1950–1970), als noch nicht streng zwischen Algorithmen und Datenstrukturen unterschieden wurde, hat man Pivotauswahl-Strategien eher anhand von Datenstrukturen (der sogenannten Tableaus) beschrieben, und bei dieser Art Strategien konnte die Endlichkeit des Verfahrens ohne Zusatzberechnungen meist nicht gewährleistet werden.

Jeder linearen Optimierungsaufgabe, welche in diesem Zusammenhang auch Primalaufgabe genannt wird, lässt sich von der obigen Buchform abhängig eine zweite Optimierungsaufgabe zuordnen; die Koeffizientenmatrix dieser sogenannten dualen Aufgabe ist die negative Transponierte der Koeffizientenmatrix der ursprünglichen Aufgabe:

${\displaystyle {\begin{matrix}w&=&-\;f&-&b_{1}\,y_{n+1}&-&\cdots &-&b_{m}\,y_{n+m}\\[3pt]y_{1}&=&-\;d_{1}&-&G_{n+1,1}\,y_{n+1}&-&\cdots &-&G_{n+m,1}\,y_{n+m}\\\vdots &&\vdots &&\vdots &&&&\vdots \\y_{n}&=&-\;d_{n}&-&G_{n+1,n}\,y_{n+1}&-&\cdots &-&G_{n+m,n}\,y_{n+m}\end{matrix}}}$

${\displaystyle {\begin{matrix}\max ~w\,,\quad y_{1}\geq 0,\;\ldots ,\;y_{m+n}\geq 0\end{matrix}}}$

In gedrungener Form wird das zu:

${\displaystyle {\begin{matrix}&&w&=&(-f)&+&\sum _{i\in B}\,(-b_{i})\,y_{i}\\[6pt]\forall ~j\in D&&y_{j}&=&(-d_{j})&+&\sum _{i\in B}\,(-G_{i,j})\,y_{i}\end{matrix}}}$

${\displaystyle {\begin{matrix}\max ~w\,,\quad \forall ~k\in D\cup B\quad y_{k}\geq 0\end{matrix}}}$

Wie gleich gezeigt wird, ist das Maximum der Dualaufgabe (soweit vorhanden) genau das negative Maximum der Primalaufgabe.

(Vorsicht: Bei der Herleitung über diese Formulierung dürfen ${\displaystyle \max \,z,\;\max \,w}$ nicht durch ${\displaystyle \min \,z,\;\min \,w}$ ersetzt werden. Grund für diese scheinbare Asymmetrie ist, dass ${\displaystyle x_{k}\geq 0,~y_{k}\geq 0}$ und nicht ${\displaystyle x_{k}\leq 0,~y_{k}\leq 0}$ eingefordert wird. Oftmals wird die duale Aufgabe auch mit der Zielfunktion ${\displaystyle \min \,(-w)}$ anstelle von ${\displaystyle \max \,w}$ definiert, was zwar machbar, aber auch unübersichtlicher ist. )

Die obige Beziehung der Koeffizienten zwischen Primalaufgabe und Dualaufgabe gilt nicht etwa nur für die Ausgangsbasis, sondern bleibt erhalten, solange die Basisvariablen nach denselben Pivots umgewandelt werden. Es gilt

${\displaystyle {\begin{matrix}&&w&=&(-f^{\pi })&+&\sum _{i\in B(\pi )}\,(-b_{i}^{\pi })\,y_{i}\\[6pt]\forall ~j\in D(\pi )&&y_{j}&=&(-d_{j}^{\pi })&+&\sum _{i\in B(\pi )}\,(-G_{i,j}^{\pi })\,y_{i}\end{matrix}}}$

${\displaystyle {\begin{matrix}\max ~w\,,\quad \forall ~k\in D\cup B\quad y_{k}\geq 0\,.\end{matrix}}}$

Diese Dualitätsbeziehung lässt sich am leichtesten an einem Pivotsystem betrachten, das ausschließlich zwei unabhängige Unbekannte und zwei freigelegte Unbekannte enthält. Wir erhalten dasselbe System, wenn wir zuerst zwei der Unbekannten austauschen und danach die duale Aufgabe herleiten, oder wenn wir diese Schritte in umgekehrter Reihenfolge tun; das folgende kommutative Diagramm stellt diesen Zusammenhang dar:

${\displaystyle {\begin{matrix}\delta \,x_{i}&\!=\!&(~~\alpha )&\!\!\!x_{j}&\!+\!&(~~\sigma )&\!\!\!x_{s}\\[6pt]\delta \,x_{r}&\!=\!&(~~\zeta )&\!\!\!x_{j}&\!+\!&(~~p)&\!\!\!x_{s}\end{matrix}}}$	${\displaystyle {x_{r}\leftrightarrow x_{s}}}$	${\displaystyle {\begin{matrix}p\,x_{i}&\!=\!&(\textstyle {\frac {\alpha p\,-\,\zeta \sigma }{\delta }})&\!\!\!x_{j}&\!+\!\!&(~\sigma )&\!\!\!x_{r}\\[6pt]p\,x_{s}&\!=\!&(~-\zeta ~)&\!\!\!x_{j}&\!+\!\!&(~\delta )&\!\!\!x_{r}\\\end{matrix}}}$
${\displaystyle -\,[\cdots ]^{\,T}}$		${\displaystyle -\,[\cdots ]^{\,T}}$
${\displaystyle {\begin{matrix}\delta \,y_{j}&\!=\!&(-\alpha )&\!\!\!y_{i}&\!+\!&(-\zeta )&\!\!\!y_{r}\\[6pt]\delta \,y_{s}&\!=\!&(-\sigma )&\!\!\!y_{i}&\!+\!&(-p)&\!\!\!y_{r}\\\end{matrix}}}$	${\displaystyle {y_{s}\leftrightarrow y_{r}}}$	${\displaystyle {\begin{matrix}p\,y_{j}&\!=\!&(\textstyle {\frac {\zeta \sigma \,-\,\alpha p}{\delta }})&\!\!\!y_{i}&\!+\!\!&(~~\zeta )&\!\!\!y_{s}\\[6pt]p\,y_{r}&\!=\!&(~-\sigma ~)&\!\!\!y_{i}&\!+\!\!&(-\delta )&\!\!\!y_{s}\\\end{matrix}}}$

Aus der Dualbeziehung folgt, dass ein Optimalsystem für die Primalaufgabe auch ein Optimalsystem für die duale Aufgabe liefert.

Zur Aufgabe im ersten Rechenbeispiel gehört folgende duale Aufgabe (die Nullen stammen von ${\displaystyle z=0+0x_{1}+0x_{2}\,}$):

${\displaystyle {\begin{matrix}~w~&=&(&0&+~~2y_{3}&+~~4y_{4}&-~~9y_{5}&)~/~1\\[2pt]y_{1}&=&(&0&+~~7y_{3}&+~~5y_{4}&-~~2y_{5}&)~/~1\\[2pt]y_{2}&=&(&0&-~~2y_{3}&-~~2y_{4}&+~~3y_{5}&)~/~1\end{matrix}}}$

${\displaystyle {\begin{matrix}\max ~w,\quad y_{1}\geq 0,\ y_{2}\geq 0,\ y_{3}\geq 0,\ y_{4}\geq 0,\ y_{5}\geq 0\end{matrix}}}$

Der obige Algorithmus führt dann zum Optimalsystem

${\displaystyle {\begin{matrix}~w~&=&(&0&-~37y_{2}&-~~6y_{1}&-~10y_{3}&)~/~11\\[2pt]y_{4}&=&(&0&+~~2y_{2}&+~~3y_{1}&-~17y_{3}&)~/~11\\[2pt]y_{5}&=&(&0&+~~5y_{2}&+~~2y_{1}&-~~4y_{3}&)~/~11\end{matrix}}}$

und die optimale Lösung dazu ist natürlich ${\displaystyle x_{k}=0}$ für alle ${\displaystyle k\in D\cup B}$. Die Primalaufgabe hatte eine implizite Zielfunktion ${\displaystyle z=0}$; sämtliche Optimallösungen der primalen und auch der dualen Aufgabe hätten deshalb, soweit vorhanden, einen Zielwert ${\displaystyle w=-z=0}$. Das ist derselbe Wert, den auch schon die Anfangslösung der dualen Aufgabe hatte, doch ist die Existenz einer Optimallösung aus dem ersten Gleichungssystem allein nicht ersichtlich: es hätte grundsätzlich auch Lösungen mit unendlich großem ${\displaystyle w}$ und somit gar keine Optimallösung geben können.

Eine theoretisch bedeutsame Folge der Dualitätstheorie ist: Wir brauchen nicht unbedingt einen Maximierungs-Algorithmus, um lineare Optimierungsprobleme zu lösen; es genügt dazu jeder Algorithmus, der Systeme linearer Ungleichungen löst. Aus der Dualitätsbeziehung folgt nämlich, dass jede Optimalbasis der ursprünglichen Aufgabe auch unmittelbar eine Optimalbasis für die duale Aufgabe liefert; der optimale Wert der Zielvariable ${\displaystyle w}$ ist dann das Negative des Optimalwerts von ${\displaystyle z.}$. Für zulässige Lösungspaare der beiden Aufgaben gilt demzufolge

${\displaystyle z+w~\leq ~(\max z)\!+\!(\max w)~=~(\max z)\!+\!(-\max z)~=~0\,,}$

und für optimale Lösungspaare gilt

${\displaystyle (\max z)\!+\!(\max w)~=~(\max z)\!+\!(-\max z)~=~0\,.}$

Daraus folgt, dass die optimalen Lösungen beider Aufgaben genau die Lösungen der obigen Gleichungssysteme mit folgenden Ungleichungen sind:

${\displaystyle z\,+\,w\,\geq \,0,\qquad \forall ~k\in D\cup B\qquad x_{k}\geq 0,\quad y_{k}\geq 0.}$

Ausgeschrieben ist das

${\displaystyle {\begin{matrix}\sum _{j\in D}\,d_{j}\,x_{j}~~+~~\sum _{i\in B}\,(-b_{i})\,y_{i}~~\geq ~~0\\[6pt]\forall ~j\in D\quad y_{j}~=~(-d_{j})~+~\sum _{i\in B}\,(-G_{i,j})\,y_{i}\\[6pt]\forall ~i\in B\quad x_{i}~=~b_{i}~+~\sum _{j\in D}\,G_{i,j}\,x_{j}\\[6pt]\forall ~k\in D\cup B\qquad x_{k}\geq 0,\quad y_{k}\geq 0\end{matrix}}}$

In der Praxis ist so ein Vorgehen freilich nur dann konkurrenzfähig, wenn die gemeinsame Datenstruktur beider Aufgaben auch ausgenützt wird.

Die einfachsten aller Pivotverfahren gehören zu den Criss-Cross-Verfahren^[5], die in den 80er Jahren für Aufgabenstellungen im Kontext orientierter Matroide entwickelt wurden. Die wesentlich komplexeren Simplexverfahren^[3][1] wurden aber bereits 1947 von George Dantzig für die Lösung linearer Optimierungsprobleme veröffentlicht und haben danach dank ihrer weiten Verbreitung die Suche nach Criss-Cross-Verfahren maßgeblich motiviert. Weitere Pivotverfahren wurden für das lineare Komplementaritätsproblem mit suffizienten Matrizen (einschließlich quadratischer Programmierung) und für linear-fraktionale Optimierungsprobleme entwickelt.

Bei der Ausarbeitung verschiedener Pivotverfahren geht es in der Hauptsache darum, die Anzahl der Pivotschritte und damit auch die Laufzeit des Verfahrens gering zu halten. Während die derzeit bekannten Simplexverfahren alle eine überpolynomial beschränkte Laufzeit beanspruchen – das ist eine Laufzeit, die sich nicht durch ein Polynom in der Datenspeichergröße beschränken lässt – sind Laufzeitschranken für die Criss-Cross-Verfahren ein (bis 2010) noch offenes Forschungsthema.^[7] Zusammenfassend lässt sich darüber sagen, dass Criss-Cross-Verfahren mehr Freiheitsgrade aufweisen als Simplexverfahren, und dass ein Criss-Cross-Verfahren genau aus diesem Grund bei einer guten Pivotauswahl schneller^[4] und bei einer schlechten Pivotauswahl langsamer^[8] als Simplexverfahren sein kann.

Primale Simplexverfahren (meist nur Simplexverfahren genannt) gehen von einer sogenannten zulässigen Basis mit ${\displaystyle b_{i}^{\pi }\geq 0}$ für alle ${\displaystyle i\in B(\pi )}$ aus und untersuchen ausschließlich zulässige Basen, bis eine Optimalbasis gefunden wird. Eine wichtige Eigenschaft der primalen Simplexverfahren ist, dass der Wert der Zielvariablen, also ${\displaystyle f^{\pi }}$, mit jedem Schritt monoton anwächst; würde er streng monoton anwachsen, wäre die Endlichkeit des Verfahrens gesichert.

Ein primales Simplexverfahren muss seine Pivots wie folgt wählen:

1. Wähle ein beliebiges ${\displaystyle s\in D(\pi )}$, das ${\displaystyle d_{s}^{\pi }>0}$ erfüllt. Zum Beispiel, suche das kleinste ${\displaystyle s\in D(\pi )}$ mit dieser Eigenschaft (Bland-Regel^[6]).
2. Wähle ein beliebiges ${\displaystyle r\in B(\pi )}$, das ${\displaystyle b_{r}^{\pi }/(-G_{r,s}^{\pi })=\min {}_{i\in B(\pi )}\{b_{i}^{\pi }/(-G_{i,s}^{\pi })~|~G_{i,s}^{\pi }<0\}}$ erfüllt. Zum Beispiel, suche das kleinste ${\displaystyle r\in B(\pi )}$ mit dieser Eigenschaft (Bland-Regel).

Um eine zulässige Ausgangsbasis zu erhalten, muss in einer sogenannten Phase 1 eine Hilfsaufgabe gelöst werden. Dies kann geschehen, indem man eine neue Zielfunktion mit beliebigen nichtpositiven Einträgen einfügt und die duale Aufgabe, bei der die Startlösung nun zulässig ist, maximiert. Statistisch gesehen ist es von Vorteil, die Einträge der neuen Zielfunktion zufallsverteilt negativ auszuwählen.^[1]

Ein Standardergebnis der linearen Optimierung besagt^[3][1], dass für jede lösbare Aufgabe und für jede zulässige Basis eine Folge erlaubter Pivots existiert, die über ausschließlich zulässige Basen zu einer Optimalbasis führt; unbekannt ist dagegen, ob es eine Folge dieser Art gibt, deren Länge sich polynomial in der Speichergröße der Daten beschränken lässt.

Duale Simplexverfahren sind Pivotverfahren, die von einer sogenannten dual-zulässigen Basis mit ${\displaystyle d_{j}^{\pi }\leq 0}$ für alle ${\displaystyle j\in D(\pi )}$ ausgehen und in ihrer Suche nach einer Optimalbasis ausschließlich dual-zulässige Basen untersuchen; der Wert der Zielvariablen nimmt dabei monoton ab.

Ein duales Simplexverfahren wählt seine Pivots ${\displaystyle (x_{r},\,x_{s})}$ wie folgt:

1. Wähle ein beliebiges ${\displaystyle r\in B(\pi )}$, das ${\displaystyle b_{r}^{\pi }<0}$ erfüllt. Zum Beispiel, suche das kleinste ${\displaystyle r\in B(\pi )}$ mit dieser Eigenschaft (Bland-Regel ^[6]).
2. Wähle ein beliebiges ${\displaystyle s\in D(\pi )}$, das ${\displaystyle (-d_{s}^{\pi })/G_{r,s}^{\pi }=\min {}_{j\in D(\pi )}\{(-d_{j}^{\pi })/G_{r,j}^{\pi }~|~G_{r,j}^{\pi }>0\}}$ erfüllt. Zum Beispiel, suche das kleinste ${\displaystyle s\in D(\pi )}$ mit dieser Eigenschaft (Bland-Regel).

Duale Simplexverfahren erzeugen die gleichen Pivotfolgen wie die auf die duale Aufgabe angewandten primalen Simplexverfahren und haben deshalb auch grundsätzlich die gleichen Eigenschaften wie die primalen Verfahren. Dass sie für die Lösung vieler angewandter Aufgaben trotzdem den Primalverfahren vorgezogen werden, liegt daran, dass es für viele angewandte Aufgaben leichter ist, eine dual-zulässige Ausgangsbasis zu finden.

Criss-Cross-Verfahren (englisch: kreuz und quer) sind allgemeine Pivotverfahren, die von einer beliebigen Basis ausgehen^[5]; in der Regel wird dieser Name für kombinatorische Pivotverfahren verwendet, das heißt, für Pivotverfahren, welche nur die Vorzeichen der Systemkoeffizienten und nicht die Koeffizienten selbst für die Pivotauswahl in Betracht ziehen.

Das bekannteste aller Criss-Cross-Verfahren erweitert die Kleinster-Index-Pivotauswahl aus dem ersten Beispiel.^[5] Dafür werden die Unbekannten in einer mehr oder weniger festen Reihenfolge angeordnet und die Pivots wie folgt ausgewählt (wie üblich sei das Minimum der leeren Menge unendlich groß):

1. Suche die Indices ${\displaystyle r=\min\{i\in B(\pi )~|~b_{i}^{\pi }<0\}}$ und ${\displaystyle s=\min\{j\in D(\pi )~|~d_{j}^{\pi }>0\}}$.
2. Falls ${\displaystyle r<s}$, ist, wähle Pivot ${\displaystyle (x_{r},\,x_{l})}$ mit ${\displaystyle l=\min\{j\in D(\pi )~|~G_{r,j}^{\pi }>0\}}$.
3. Falls ${\displaystyle s<r}$, ist, wähle Pivot ${\displaystyle (x_{k},\,x_{s})}$ mit ${\displaystyle k=\min\{i\in B(\pi )~|~G_{i,s}^{\pi }<0\}}$.

Das lässt natürlich die Frage offen, wie die Variablen angeordnet werden sollen.

Im folgenden Beispiel benutzen wir die obige Kleinster-Index-Pivotauswahl. Es sollen Werte für die Variablen ${\displaystyle x_{1}\geq 0,\ldots ,x_{5}\geq 0}$ gefunden werden, die das Gleichungssystem

${\displaystyle {\begin{matrix}z&=&(&~~~0&+~\mathbf {3x_{1}} &+~2x_{2}&)~/~1\\[2pt]x_{3}&=&(&~~~3&-~{\underline {\mathbf {2x_{1}} }}&-~~x_{2}&)~/~1\\[2pt]x_{4}&=&(&~~~7&-~2x_{1}&-~3x_{2}&)~/~1\\[2pt]x_{5}&=&(&~~~4&-~3x_{1}&-~~x_{2}&)~/~1\end{matrix}}}$

erfüllen und dabei die zusätzliche Zielvariable ${\displaystyle z}$ auf ein Maximum bringen. Wir benutzen dazu die oben angeführte Pivotauswahl des kleinsten Index.

In unserem Ausgangssystem sind sämtliche Pivots erlaubt; die Auswahlregel schreibt aber vor, dass wir ${\displaystyle x_{1}}$ freilegen und gegen ${\displaystyle x_{3}}$ austauschen:

Das führt zum neuen Gleichungssystem:

${\displaystyle {\begin{matrix}z&=&(&~~~9&-~3x_{3}&+~~\mathbf {x_{2}} &)~/~2\\[2pt]x_{1}&=&(&~~~3&-~~x_{3}&-~~{\underline {\mathbf {x_{2}} }}&)~/~2\\[2pt]x_{4}&=&(&~~~8&+~2x_{3}&-~4x_{2}&)~/~2\\[2pt]x_{5}&=&(&-~1&+~3x_{3}&+~~x_{2}&)~/~2\end{matrix}}}$

Hier sind die Pivots ${\displaystyle (x_{2},\,x_{1})}$, ${\displaystyle (x_{2},\,x_{4})}$ und ${\displaystyle (x_{5},\,x_{2})}$, ${\displaystyle (x_{5},\,x_{3})}$ erlaubt; anhand der Auswahlregel legen wir ${\displaystyle x_{2}}$ an Stelle von ${\displaystyle x_{1}}$ frei:

Wir erhalten das System:

${\displaystyle {\begin{matrix}z&=&(&~~~6&-~2x_{3}&-~~x_{1}&)~/~1\\[2pt]x_{2}&=&(&~~~3&-~~x_{3}&-~2x_{1}&)~/~1\\[2pt]x_{4}&=&(&-~\mathbf {2} &+~3x_{3}&+~{\underline {\mathbf {4x_{1}} }}&)~/~1\\[2pt]x_{5}&=&(&~~~1&+~~x_{3}&-~~x_{1}&)~/~1\end{matrix}}}$

Die erlaubten Pivots dieses Gleichungssystems sind ${\displaystyle (x_{4},\,x_{1})}$ und ${\displaystyle (x_{4},\,x_{3})}$; wir legen darum ${\displaystyle x_{1}}$ an Stelle von ${\displaystyle x_{4}}$ frei:

Nun erhalten wir das System:

${\displaystyle {\begin{matrix}z&=&(&~~22&-~5x_{3}&-~~x_{4}&)~/~4\\[2pt]x_{2}&=&(&~~~8&+~2x_{3}&-~2x_{4}&)~/~4\\[2pt]x_{1}&=&(&~~~2&-~3x_{3}&+~~x_{4}&)~/~4\\[2pt]x_{5}&=&(&~~~2&+~7x_{3}&-~~x_{4}&)~/~4\end{matrix}}}$

Dieses Gleichungssystem ist optimal; die Werte der Unbekannten für die dazugehörige Lösung sind

${\displaystyle z=22/4=5.5,x_{1}=2/4=0.5,x_{2}=8/4=2.0,x_{3}=0,x_{4}=0,x_{5}=2/4=0.5\,.}$