Элементарные преобразования матрицы можно выполнить, умножая её слева или справа на элементарные матрицы (элементарную матрицу перестановок, элементарную матрицу масштабирования и неунитарную элементарную матрицу).
Элементарная матрица перестановок Pij— квадратная матрица, которая получается перестановкой i-й и j-й строк единичной матрицы.
Перестановку i-й и j-й строк матрицы можно выполнить, умножая её слева на матрицу перестановок Pij. Перестановку i-го и j-го столбцов матрицы можно выполнить, умножая её справа на матрицу перестановок Pij.
Элементарная матрица масштабирования Ri (α) — квадратная матрица, которая отличается от единичной матрицы тем, что элемент, расположенный в i-й строке и i-м столбце равен α.
Умножение i-й строки матрицы на число α можно выполнить, умножая её слева на элементарную матрицу масштабирования Ri (α). Умножение i-го столбца матрицы на число α можно выполнить, умножая её справа на элементарную матрица масштабирования Ri (α).
Элементарная неунитарная матрица Nij(α) — квадратная матрица, которая отличается от единичной матрицы только элементом, расположенным в i-й строке и в j-м столбце; этот элемент матрицы Nij(α) равен числу α.
Сложение i-й строки матрицы с j-й строкой , умноженной на число α, можно выполнить, умножая ее слева на элементарную неунитарную матрицу Nij(α). Сложение j-го столбца матрицы с i-м столбцом , умноженным на число α, можно выполнить, умножая ее справа на элементарную неунитарную матрицу Nij(α) .