Você pode fazer um cálculo perfeito e ainda assim tomar uma decisão de negócio ruim.

 

Você pode fazer um cálculo perfeito e ainda assim tomar uma decisão de negócio ruim.

Alguém diferencia y = π⁴ e obtém y′ = 4π³.

O detalhe importante é a variável. Em matemática, π geralmente representa uma constante. Se derivarmos y = π⁴ em relação a x, a derivada é 0.

O resultado y′ = 4π³ só faria sentido se estivéssemos tratando π como a variável de diferenciação.

O erro parece pequeno, mas muda toda a resposta.

Algo parecido acontece na ciência de dados aplicada.

Um modelo pode mostrar uma métrica tecnicamente alta e ainda assim apoiar uma decisão ruim sobre as pessoas.

Por exemplo, em um modelo de rotatividade de funcionários, 90% de precisão pode parecer excelente em uma apresentação. Mas se 90% dos funcionários não pedirem demissão durante o período analisado, um modelo que sempre prevê a ausência de demissão também pode alcançar 90% de precisão e falhar exatamente onde o RH precisa agir: identificar casos com maior risco de saída.

A métrica é calculada corretamente.

A interpretação pode levar a uma decisão ruim.

Outro caso é o recrutamento. Um painel pode mostrar que o tempo médio para contratação caiu de 35 para 20 dias. À primeira vista, isso parece uma clara melhora. Mas se a rotatividade inicial aumentar nos primeiros 90 dias, a métrica de velocidade está escondendo um problema de qualidade no processo de seleção.

Também pode acontecer com o treinamento. Uma equipe pode relatar 95% de conclusão dos cursos obrigatórios. O número parece forte, mas se avaliações subsequentes mostrarem que erros operacionais continuam ocorrendo, a frequência ao curso não está capturando aprendizado real.

É aí que a precisão matemática precisa estar conectada à decisão que está sendo tomada.

Antes de otimizar um modelo ou apresentar uma métrica, vale a pena revisar qual decisão dependerá do resultado, de quão custosos são os erros e qual indicador representa melhor esse custo.

Porque na ciência de dados, uma métrica alta não garante uma boa decisão.
A verdadeira precisão aparece quando o cálculo responde à pergunta de negócios correta.

Que exemplo você já viu em que uma boa métrica acabou escondendo um resultado ruim?