Como avaliar score de crédito: 6 perguntas antes de confiar no número do fornecedor

Todo fornecedor de score de crédito diz que o seu modelo é preciso. Poucos mostram como mediram essa precisão, em qual amostra e com qual definição de inadimplência. Para quem aprova limites e prazos para empresas, saber como avaliar score de crédito é o que separa uma decisão sustentada por evidência de uma aposta no material comercial.

Avaliar um score de crédito significa testar duas coisas. A primeira é se ele ordena bem as empresas, colocando nas faixas de maior risco as que de fato vão atrasar: é o poder de discriminação, medido por KS, Gini e AUC. A segunda é se a probabilidade que ele promete bate com a inadimplência observada: é a calibração, verificada por backtesting. O estudo do Comitê de Basileia sobre validação de sistemas de rating separa essas duas dimensões (BCBS, Working Paper nº 14, 2005).

Neste guia, a CIAL Dun & Bradstreet explica as métricas em linguagem de negócio, mostra como validar um score com a sua própria carteira e lista as 6 perguntas que seu time deve fazer a qualquer fornecedor, inclusive a nós.

Por que medir a precisão de um score antes de usá-lo

Um score de crédito erra de dois jeitos, e os dois custam dinheiro. Quando aprova uma empresa que vai atrasar, vira perda e esforço de cobrança. Quando recusa ou restringe uma empresa que pagaria em dia, vira receita que foi para o concorrente. Medir a precisão é a forma de saber quanto de cada erro você está comprando.

O problema é que o número apresentado no material comercial raramente foi medido na sua realidade. Um modelo pode ter sido avaliado em outro segmento, outro porte de empresa ou outro período econômico. Um estudo de pesquisadores publicado na série de Working Papers do Banco Central, com operações de micro e pequenas empresas de São Paulo, encontrou que juntar empréstimos de bancos diferentes para ganhar volume de dados não reduziu o risco de modelo na amostra analisada, contrariando a ideia de que mais dados sempre geram previsões melhores (Yoshida Jr. et al., BCB Working Paper nº 582, 2023). Na prática: o desempenho de um score depende da população em que ele é aplicado.

Para bancos e demais instituições dos segmentos S1 a S4, essa checagem já é exigência. A Resolução CMN nº 4.557/2017, no art. 9º, determina que modelos relevantes passem por avaliação periódica do seu desempenho, incluindo a comparação entre perdas estimadas e observadas (backtesting), feita por uma unidade diferente da que desenvolveu o modelo. A mesma norma atribui ao CRO a responsabilidade pela adequação dos modelos usados na gestão de riscos e pela capacitação da equipe sobre eles, mesmo quando desenvolvidos por terceiros (art. 44, § 1º, incisos II e III). Para empresas não financeiras, a resolução não se aplica, mas a lógica serve de referência: se o score decide limite e prazo, ele precisa ser validado como qualquer outro modelo de risco.

Vale também separar o tipo de informação que o score usa. Um score construído só sobre restrições e histórico negativo reage depois que o problema aparece; indicadores preditivos tentam capturar a deterioração antes. A diferença está detalhada em score histórico vs indicadores preditivos de crédito.

KS, Gini e AUC em linguagem simples

As três métricas respondem à mesma pergunta de negócio: o score consegue separar quem vai pagar de quem vai atrasar? Elas olham essa separação de ângulos diferentes.

KS (Kolmogorov-Smirnov) é a maior distância entre a distribuição acumulada de notas dos bons pagadores e a dos maus pagadores (Hand e Krzanowski, Credit Scoring and Credit Control, 2011). Vai de 0 a 1 e também pode ser expresso em percentual. Quanto maior, mais o score afasta os dois grupos naquele ponto da régua.

AUC (área sob a curva ROC) é a probabilidade de que, sorteando uma empresa que vai entrar em default e outra que vai pagar, o score dê a nota pior para a que vai dar default. Um modelo aleatório tem AUC de 0,5; um modelo perfeito, de 1 (Engelmann, Hayden e Tasche, Deutsche Bundesbank, 2003).

Gini é a AUC reescalada: Gini = 2 × AUC − 1 (Hand, Imperial College London, 2009). Com isso, 0 passa a representar um modelo aleatório e 1, um modelo perfeito. Na literatura de rating, a mesma medida aparece como Accuracy Ratio (AR).

Resumo: o que cada métrica responde

• KS: em que ponto da régua o score mais separa bons e maus? Escala de 0 a 1. Ajuda a discutir o ponto de corte de aprovação. Cuidado: resume um único ponto e é mais sensível no centro da distribuição do que nas caudas (BCB Working Paper nº 582).
• AUC: com que frequência o score ordena certo um par de empresas? Escala de 0,5 (aleatório) a 1. Ajuda a comparar modelos na mesma base. Cuidado: não diz se a probabilidade prevista está no nível certo.
• Gini: a mesma pergunta da AUC, em escala de 0 (aleatório) a 1. É a linguagem comum em comitês e com fornecedores. Cuidado: traz a mesma informação da AUC, então não some os dois como evidências independentes.

O que nenhuma das três mede é a calibração. Um score pode ordenar muito bem as empresas e, ainda assim, prever, por exemplo, 2% de inadimplência numa faixa em que a sua carteira registra 4%. Para limite e prazo, os dois aspectos contam.

Comparação só vale na mesma base. KS, Gini e AUC podem variar bastante conforme a amostra, o período e a definição de inadimplência. Comparar o Gini de um fornecedor medido numa base com o de outro medido em outra base não informa qual modelo é melhor para você. Mesmo na mesma base, o estudo do Bundesbank alerta que comparar apenas os números isolados de dois modelos é insuficiente sem um teste estatístico da diferença (Engelmann, Hayden e Tasche, 2003).

Backtesting: como validar o score com a sua própria carteira

Backtesting é aplicar o modelo a um período passado e comparar o que ele previa com o que de fato aconteceu. A Resolução CMN nº 4.557/2017 descreve o backtesting justamente como a comparação entre perdas estimadas e observadas. Para um gerente de crédito, é a forma mais direta de responder se aquele score funciona para os clientes da sua empresa, e não apenas para a base do fornecedor.

Um backtesting bem feito segue esta sequência:

1. Defina o evento e a janela. Diga o que é um mau pagador para você (por exemplo, atraso acima de 60 ou de 90 dias) e em quanto tempo o evento deve acontecer após a decisão (por exemplo, 12 meses). Se a definição do fornecedor for outra, o resultado não será comparável.
2. Monte uma amostra retroativa com a nota da época. Para cada CNPJ, o score precisa ser o que o modelo teria calculado na data da decisão, com os dados disponíveis naquele momento. Usar a nota de hoje mistura informação do futuro e infla o resultado.
3. Cruze com o desempenho real. Traga o histórico de contas a receber da sua carteira e marque quem pagou em dia e quem entrou no evento definido no passo 1.
4. Meça discriminação e calibração. Calcule KS, Gini e AUC e, faixa por faixa de score, compare a taxa de inadimplência prevista com a observada.
5. Compare com o que você usa hoje. Rode o mesmo teste com o seu critério atual e simule o ponto de corte: quantas empresas seriam aprovadas, quantas recusadas e quanto da inadimplência observada estaria nas faixas recusadas.

O teste não termina na contratação. A população de clientes muda, e o score pode perder aderência sem que ninguém perceba. Um indicador comum para monitorar isso é o PSI (Population Stability Index), que compara a distribuição de notas atual com a da época em que o modelo foi validado. O mercado costuma usar faixas de bolso para lê-lo (abaixo de 0,10, sem mudança relevante; acima de 0,25, mudança significativa), mas são regras práticas sem fundamentação estatística fixa (du Pisanie et al., 2023). Um trabalho mais recente da série de Working Papers do Banco Central recomenda acompanhar o PSI junto com o desempenho fora da amostra, porque modelos que se saíram melhor no desenvolvimento nem sempre mantiveram a vantagem em períodos posteriores (Yoshida Jr. et al., BCB Working Paper nº 645, 2026).

Se o score alimenta regras automáticas de aprovação, o backtesting deve olhar também a política: um score bem calibrado com um corte mal posicionado continua gerando perda. Veja como estruturar essa camada em motor de crédito.

6 perguntas para fazer ao fornecedor de score de crédito

As perguntas abaixo servem para qualquer score preditivo, em qualquer etapa da negociação. Uma boa resposta vem com números, documentação e disposição para testar. Uma resposta vaga é, por si só, uma informação.

1. Qual evento o score prevê, e em qual horizonte?

Atraso acima de 60 dias, acima de 90 dias, recuperação judicial? Nos próximos 3 meses ou em 12? Sem essa definição, nenhuma métrica de precisão pode ser interpretada. Sinal de alerta: o fornecedor fala em "risco" de forma genérica, sem nomear o evento.

2. KS, Gini e AUC foram medidos fora da amostra e em empresas parecidas com as minhas?

Peça os números medidos em dados que o modelo não viu no desenvolvimento, de preferência em um período posterior (validação out-of-time), e abertos por porte e setor. Sinal de alerta: um único Gini para toda a base, sem data, amostra ou recorte.

3. A probabilidade prevista bate com a inadimplência observada?

Peça uma tabela por faixa de score com a taxa prevista e a taxa realizada. É o que mostra se o score está calibrado, e não só se ele ordena bem. Sinal de alerta: o fornecedor apresenta apenas métricas de ordenação.

4. Como o modelo é monitorado depois que entra em produção?

Pergunte com que frequência o desempenho é reavaliado, quais indicadores de estabilidade são acompanhados (como o PSI) e o que dispara uma recalibração. Sinal de alerta: o último relatório de validação é de antes de uma mudança relevante no ciclo de crédito.

5. Dá para entender por que uma empresa recebeu aquela nota?

O comitê de crédito precisa justificar aprovações, recusas e exceções. Pergunte quais fatores explicam a nota de cada empresa e como o score se comporta com empresas novas ou com pouca informação disponível. Sinal de alerta: a nota chega sem nenhum fator explicativo.

6. Posso testar o score com a minha carteira antes de contratar?

É a pergunta que resume as outras. Um fornecedor confiante no modelo aceita rodar o score sobre uma amostra histórica dos seus clientes, com a nota calculada na data da decisão, para você aplicar o backtesting descrito acima. Sinal de alerta: o teste é recusado ou só pode ser feito com dados selecionados pelo fornecedor.

Onde a CIAL entra nessa avaliação

O relatório CKR Pro é a solução de análise preditiva de risco de crédito B2B da CIAL Dun & Bradstreet. Ele estima a probabilidade de uma empresa pagar em dia nos próximos 90 dias e acrescenta sinais de risco de curto e longo prazo, de dependência de clientes e fornecedores e de comportamento de liquidez. Esses indicadores ajudam a responder a pergunta 5 na prática, porque mostram de onde vem o risco de cada empresa. Se ele estiver na sua lista de opções, leve estas 6 perguntas para a conversa com o nosso time.

Perguntas frequentes sobre como avaliar score de crédito

O que é KS em crédito?

KS (Kolmogorov-Smirnov) é uma métrica que mede quanto um score de crédito separa bons e maus pagadores. Ela corresponde à maior distância entre a distribuição acumulada de notas dos clientes que pagaram e a dos que entraram em inadimplência. Vai de 0 a 1: quanto maior, maior a separação. Como resume um único ponto da régua, o KS é útil para discutir o ponto de corte de aprovação, mas deve ser lido junto com Gini, AUC e um teste de calibração.

Qual valor de Gini é bom?

Não existe um valor de Gini bom em termos absolutos. O número depende do evento previsto, do horizonte, do segmento e da amostra em que foi medido, então só faz sentido comparar modelos na mesma base. O critério mais sólido é partir da decisão: qual taxa de aprovação e qual nível de inadimplência sua política precisa atingir. David Hand, do Imperial College London, defende que a avaliação de um scorecard reflita os custos reais do negócio, em vez de critérios escolhidos por conveniência matemática (Hand, 2009). Um working paper submetido em 2026 à conferência Credit Scoring and Credit Control, da Universidade de Edimburgo, propõe derivar o Gini mínimo de metas como taxa de aprovação e teto de inadimplência (Tran e Nguyen, 2026).

O que é backtesting de modelo de risco?

Backtesting de modelo de risco é a comparação entre o que o modelo previu e o que de fato aconteceu em um período passado. Em crédito, significa aplicar o score a clientes antigos, com a nota que ele teria dado na data da decisão, e verificar se a inadimplência observada confirma o ordenamento e as probabilidades previstas. Para instituições financeiras dos segmentos S1 a S4, a Resolução CMN nº 4.557/2017 exige avaliação periódica de desempenho dos modelos relevantes, incluindo backtesting.

Qual a diferença entre Gini e AUC?

Gini e AUC carregam a mesma informação em escalas diferentes. A AUC é a probabilidade de o score dar nota pior a uma empresa que vai entrar em default do que a uma que vai pagar, e vai de 0,5 (aleatório) a 1 (perfeito). O Gini é calculado como 2 × AUC − 1 e vai de 0 a 1. Uma AUC de 0,80, por exemplo, equivale a um Gini de 0,60.

Qual a diferença entre discriminação e calibração de um score?

Discriminação é a capacidade de ordenar as empresas do menor para o maior risco, medida por KS, Gini e AUC. Calibração é a aderência entre a probabilidade de inadimplência prevista e a observada em cada faixa de score, verificada por backtesting. Um score pode ordenar bem e estar mal calibrado, subestimando ou superestimando o risco. Para definir limites e prazos, as duas precisam ser testadas.

Quer ver como um score preditivo se comporta com os clientes da sua empresa? Converse com o time da CIAL Dun & Bradstreet e conheça o CKR Pro.

Fontes: Basel Committee on Banking Supervision, Working Paper nº 14 (2005); Resolução CMN nº 4.557/2017, texto consolidado (arts. 9º e 44); Banco Central do Brasil, Working Paper nº 582 (2023); Banco Central do Brasil, Working Paper nº 645 (2026); Engelmann, Hayden e Tasche, Deutsche Bundesbank Discussion Paper (2003); Hand, How to evaluate credit scorecards (2009); Hand e Krzanowski, A Test to Compare KS Statistics (2011); du Pisanie et al., preprint arXiv 2303.01227 (2023); Tran e Nguyen, working paper (2026).