Метод Нелдера — Мида
, также известный как метод деформируемого многогранника и симплекс-метод, — метод безусловной оптимизации
функции от нескольких переменных, не использующий производной (точнее — градиентов) функции, а поэтому легко
применим к негладким и/или зашумлённым функциям.
Суть метода заключается в последовательном перемещении и деформировании симплекса вокруг точки экстремума.
Метод сопряженных градиентов (Метод Пауэлла) — метод нахождения локального
минимума функции на
основе информации о её значениях и её градиенте. В случае квадратичной функции в
минимум находится за n шагов.
Метод Хука — Дживса
(англ. Hooke — Jeeves), также как и алгоритм Нелдера-Мида,
служит для поиска безусловного локального экстремума функции и относится к прямым методам,
то есть опирается непосредственно на значения функции. Алгоритм делится на две фазы:
исследующий поиск и поиск по образцу.
При решении задачи методом Розенброка (методом вращающихся координат)
используется преобразование на каждой итерации системы координат таким образом, чтобы в
новой системе координат одна из осей совпадала с направлением предыдущего шага. Остальные
оси новой системы координат обычно находят с помощью процедуры ортогонализации Грамма-Шмидта.