O método dos mínimos quadrados ordinários é, provavelmente, uma das técnicas mais populares em estatística. Por conta da sua aplicação em modelos de regressão, através dele consegue-se obter uma série de estatísticas entre variáveis, como, por exemplo, a correlação, ou o quanto uma variável influencia a outra e como é essa influência.

O método foi proposto por Gauss em 1809 e foi usado para estimar a órbita de um asteróide que iria passar pela Terra. A execução da técnica demorou mais de 100 horas de cálculo para Gauss e o objetivo do método era minimizar os erros inevitáveis das observações. Por fim, Gauss provou que dentre todas as técnicas de estimação que existiam na época, o mínimos quadrados ordinários foi a que teve melhores resultados. E essa técnica é fundamental para calcular os parâmetros de um modelo estatístico.

Essa técnica é aplicada principalmente na análise de regressão com o intuito de minimizar os erros das observações com o modelo estimado. E por isso as estatísticas, e principalmente os mínimos quadrados, são muito usados em estudos astronômicos, econométricos, psicométricos, em engenharia, controle de qualidade, modelagem, delineamento, inteligência artificial, além de diversas outras áreas.