Média

A média de uma variável, comumente designada por $\overline{X}$, é obtida somando todas as observações desta e dividindo o resultado pelo número total de observações. Este procedimento é sintetizado da seguinte forma:

$$\overline{X}=\frac{\sum _{i=1}^n{X}_i}{n}=\frac{X_1+\dots +X_n}{n}$$ Nesta expressão, o termo $\sum _{i=1}^n{X}_i$ é traduzido como “em $X_i$ substituta $i$ por todos os números entre $1$ e $n$ e some os valores encontrados”. Em particular, o símbolo “$\sum$” é chamado de somatória.

No R, a média pode ser calculada usando o comando mean(). Por exemplo, a média do dos valores de causa pode ser calculada da seguinte forma:

mean(data$valor_numerico, na.rm = TRUE)

## [1] 315132.3

Mediana

A mediana de uma variável é um número tal que há a mesma quantia de observações acima e abaixo dele. No R, a mediana é calculada pela função median().

median(data$valor_numerico, na.rm = TRUE)

## [1] 16149.46

A mediana é menos afetada por valores extremos do que a média. Por isso, é comum dizer que a mediana é uma medida robusta. Este conceito é ilustrado a seguir.

 dados = c(0, 0.1, 0.1, 0.2, 0.25, 0.5, 0.7, 0.9, 1.1, 10000)
 c(mean(dados), median(dados))

## [1] 1000.385    0.375

Observamos que, dos 10 dados, 9 estão concentrados próximo a 0 e 1 tem o valor 10.000. Enquanto que a média de aproximadamente 1.000 é afetada pelo valor extremo, a mediana de 0.375 não o é. É comum chamarmos observações atípicas, como o valor 10.000 neste caso, de outliers. Para o valor da causa em ações cíveis, observamos que a média é muito maior do que a mediana. Isto indica que existe um conjunto de outliers em que o valor da causa é muito maior do que no restante das ações.

Moda

A moda é o valor mais frequente observado nos dados. Como em variáveis contínuas tipicamente não observamos valores repetidos, a moda não é usado nestes casos. Por outro lado, dentre média, mediana e moda, a moda é a única medida resumo que pode ser aplicada a variáveis nominais.

No R, a função table() cria uma tabela de frequências observadas para cada valor. Aplicando esta função para a classe processual em ações cíveis, obtemos:

table(data$classe_info)

## 
##                 Carta Precatória Cível               Procedimento Comum Cível 
##                                      1                                   6873 
## Procedimento do Juizado Especial Cível           Produção Antecipada da Prova 
##                                      9                                      5

Assim, “Procedimento Comum Cível” é a moda da variável classe processual, sendo a categoria mais frequente neste banco de dados.

Amplitude

A amplitude é a diferença entre o maior e o menor valor observados. Esta medida de variabilidade é fortemente influenciada por valores extremos nas observações, como outliers. O exemplo a seguir calcula a amplitude do valor da causa em ações cíveis:

 max(data$valor_numerico, na.rm = TRUE) - min(data$valor_numerico, na.rm = TRUE)

## [1] 681545490

c(min(data$valor_numerico, na.rm = TRUE), max(data$valor_numerico, na.rm = TRUE))

## [1]        10 681545500

Observamos uma amplitude de quase 700 milhões. Esta amplitude pode ser causada por um único caso com valor da causa próximo a 700 milhões. De fato, apenas 3 casos tem valor superior a 100 milhões, 9 acima de 10 milhões, e 122 acima de 1 milhão:

sum(data$valor_numerico > 10^8, na.rm = TRUE)

## [1] 3

sum(data$valor_numerico > 10^7, na.rm = TRUE)

## [1] 9

sum(data$valor_numerico > 10^6, na.rm = TRUE)

## [1] 122

Variância e desvio padrão

Intuitivamente, podemos imaginar uma medida de variabilidade que calcule a média do quanto os dados desviam do centro. Se tomarmos como centro das observações a média, então podemos pensar no desvio da i-ésima observação como $D_i=X_i-\overline{X}$. Contudo, esta medida de desvio apresenta um problema. Por exemplo, considere os dados: 0, 10, 20. A média das observações é 10 e os desvios são: -10, 0, 10. Assim, se tomarmos a média dos desvios obteremos o valor 0. O problema é que, ainda que o desvio de 0 e 20 sejam -10 e 10, estas observações estão igualmente distantes da média. Para corrigir este problema, podemos tomar a média dos desvios ao quadrado, isto é, a média de $D_i^2=(X_i-\overline{X}{)}^2$. No exemplo apresentado, os desvios ao quadrado são 100, 0 e 100 e a média destes valores é $67$. Neste caso, as observações -10 e 10 contribuem igualmente para a variabilidade dos dados em relação à média. Formalmente a variância, $S^2$, é definida como:

$$S^2=\frac{\sum _{i=1}^n(X_i-\overline{X}{)}^2}{n}$$

Note que a variância não está na mesma escala das observações. Quando os desvios são elevados ao quadrado, a unidade de medida é alterada para o quadrado da unidade de medida original. Assim, para obter uma medida mais interpretável de varibilidade, é comum tomar a raiz quadrada da variância. Esta medida é chamada de desvio padrão, $S$, e é definida como:

$$S=\sqrt{S^2}$$

No R a variância e o desvio padrão são calculados usando, respectivamente, as funções var() e sd(). Para o valor da causa em ações cíveis, obtemos

c(var(data$valor_numerico, na.rm = TRUE), sd(data$valor_numerico, na.rm = TRUE))

## [1] 1.330321e+14 1.153395e+07

Similarmente à média, a variância e o desvio padrão também são fortemente impactados por outliers. Isto explica o desvio padrão de 100 milhões encontrado no valor da causa.

Para algumas variáveis, é comum que as observações se concentrem num intervalo de 2 desvios padrão para cada lado da média. Em outras palavras, é comum que a maior parte das observações esteja no intervalo $[\overline{X}-2S,\overline{X}+2S]$. Neste sentido, este intervalo indica a faixa de observações tipicamente observadas. A formalização deste raciocínio será estudada em aulas futuras.

Amplitude interquartílica

O percentil de ordem $p$ de uma variável é um número tal que a quantidade de observações menores e maiores do que este número segue a proporção $p$ e $1-p$. Por exemplo, a mediana é o percentil de ordem $0.5$. Dada a sua importância, os percentis de ordem 0.25, 0.5 e 0.75 também são chamados de $1^o$, $2^o$ e $3^o$ quartis.

No R, é possível obter o percentil de ordem $p$ usando o comando quantile(dados, p). Para obter os quartis do valor da causa, obtemos:

aux = quantile(data$valor_numerico, c(0.25, 0.5, 0.75), na.rm = TRUE)
aux

##      25%      50%      75% 
##  9000.00 16149.46 41239.91

Por construção, metade dos dados estão entre o $1^o$ e o $3^o$ quartil. Isto é, este também pode ser interpretado como um intervalo de valores tipicamente assumidos pelas observações. Por exemplo, para o valor da causa, este intervalo é [9000, 16149].

O tamanho da região em que as observações tipicamente caem é uma medida alternativa de variabilidade. Especificamente, a subtraindo o $1^o$ quartil do $3^o$ quartil obtém-se a medida chamada de amplitude interquartílica. No caso do comprimento das sépalas, a amplitude interquartílica é 32240.

Alternativamente, podemos construir um intervalo mais conservador exigindo que 95% das observações estejam dentro dele. Este intervalo é obtido tomando os valores entre o percentil $0.025$ e $0.975$. Para o valor da causa, obtemos o intervalo:

quantile(data$valor_numerico, c(0.025, 0.975), na.rm = TRUE)

##       2.5%      97.5% 
##    787.675 694093.688

mean(data$valor_numerico < 5*10^5, na.rm = TRUE)

## [1] 0.9663085

Strip chart

O strip chart é um gráfico para uma variável que é representado em um único eixo e é tal que, cada ponto corresponde ao valor de uma observação. Ainda que para poucas observações este gráfico possa ser informativo, quando há muitas observações ele é de difícil interpretação.

No R, o strip chart pode ser obtido pelo comando stripchart(). Para as primeiras $20$ observações de valor da causa, obtemos:

stripchart(data$valor_numerico[1:10], xlab="valor da causa")

Observamos que 5 das ações tem valor da causa abaixo de 100 mil, 2 tem valor próximo a 200 mil, 1 a 300 mil, e 1 a 500 mil. O gráfico levanta uma pergunta: quais fatores diferenciam as ações com valor da causa abaixo de 100 mil daquelas com valor da causa mais alto?

A utilidade do strip chart diminui muito à medida que o tamanho da amostra aumenta. Neste caso, fica mais difícil extrair informação devido ao agrupamento dos pontos. Note como é difícil interpretar o strip chart obtido da totalidade das observações:

stripchart(data$valor_numerico, xlab="valor da causa")

Enxergamos apenas os 3 casos em que o valor da causa é acima de 100 milhões e que há muitos casos em que o valor da causa não atinge este valor. Nestes casos, é necessário resumir as observações para obter mais informação.

Bar plot e histograma

O bar plot e o histograma são gráficos que resumem uma variável mais do que o strip chart. Ao invés de apresentarem um ponto para cada observação, estes gráficos indicam a frequência com que cada valor ocorre para uma variável.

O bar plot é usado para variáveis qualitativas e de contagem. Ele indica a contagem com que cada valor ocorre para esta variável. Para criar um barplot no R, utilizamos primeiramente o comando table(), que conta o número de ocorrências para cada observação. A seguir, a saída do comando table é usada no comando barplot(), que exibe o gráfico. Esta sequência é ilustrada para os principais $10$ assuntos processuais, a seguir:

# Colocar categorias outros
contagens = sort(table(data$assunto_info), decreasing = TRUE)[1:10]
tibble(assunto = names(contagens), contagens) %>%
  ggplot(aes(x = reorder(assunto, contagens, decreasing = TRUE), y = contagens)) +
  geom_bar(stat = "identity", fill = "skyblue") +
  labs(title = "Gráfico de barras", x = "Assunto", y = "Contagem") +
  theme(axis.text.x = element_text(angle = 20, hjust = 1))

Por sua vez, o histograma é usado para variáveis quantitativas contínuas. Nestas variáveis, não esperamos encontrar duas observações que assumem o mesmo valor. Assim, o bar plot é pouco informativo. Uma alternativa é dividir os possíveis valores em faixas e contar a quantidade de observações em cada uma destas faixas. O gráfico que indica estas faixas se chama histograma. Este gráfico pode ser obtido no R pelo comando hist(). O gráfico abaixo é um histograma para o valor da causa em ações em que este valor é abaixo de 100 mil:

data %>% 
  filter(valor_numerico < 5*10^5) %>% 
  select(valor_numerico) %>% 
  unlist() %>% 
  hist(xlab="valores", ylab="contagem", main = "")

Ao contrário do strip chart, o histograma evidencia um decaimento rápido do número de casos em função do valor da causa.

Às vezes o formato de “degraus” presente no histograma pode ser indesejável. Neste caso, podemos exibir um gráfico de densidade, que cria uma curva continua em que os degraus estão ausentes. Uma das vantagens desta curva é eliminar do histograma os vãos que são gerados por faixas sem observações. A curva de densidade para o valor da causa é apresentada em vermelha e sobreposta ao histograma para estas observações na figura a seguir:

data %>% 
  filter(valor_numerico < 10^5) %>% 
  ggplot(aes(x = valor_numerico)) + 
  geom_histogram(aes(y=..density..)) +
  geom_density(color="red") +
  xlab("valor da causa") + 
  ylab("densidade")

Às vezes desejamos um gráfico que resume os dados ainda mais do que um histograma. Este é o objetivo do box plot, que veremos a seguir:

Box plot

Um box plot (Tukey 1977) é um gráfico para visualizar uma única variável que consiste em apresentar visualmente 5 medidas resumo. Antes de descrever estas medidas, é útil visualizar um boxplot. No R, o box plot pode ser obtido pelo comando boxplot(). Para o valor da ação quando esta é inferior a 100 mil, obtemos:

data %>% 
  filter(valor_numerico < 10^5) %>%
  ggplot(aes(x = valor_numerico)) +
  geom_boxplot() +
  xlab("Valor da causa")

O box plot contém 5 traços principais. O traço em negrito dentro do retângulo indica a mediana (Q2) das observações. Os traços nos limites do retângulo indicam o primeiro (Q1) e o terceiro (Q3) quartis. Assim, observamos que cerca de 50% das observações estão dentro do retângulo e que um valor típico para as observações é representado pelo traço em negrito. A seguir, lembre que a amplitude interquartílica (IQR) é definida como $IQR=Q3-Q1$. Definimos o limite superior (LS) e inferior (LI) como, respectivamente, $LS=Q3+1.5\ast IQR$ e $LI=Q1-1.5\ast IQR$. Os limites das linhas superior e inferior no boxplot são, respectivamente, a maior observação menor que LS e a menor observação maior que LI. Esta é uma faixa de valores tal que seria improvável obter uma observação fora dela. Observações fora destes limites são representadas no boxplot por asteriscos e são comumente chamadas de outliers.

Boxplot por categoria

Muitas vezes, é útil separar as observações em grupos e construir boxplots para cada um destes. O exemplo a seguir, constrói boxplots para o valor da causa quando separamos as observações por assunto.

assuntos_freq = names(sort(table(data$assunto_info), decreasing = TRUE)[1:10])
data %>% 
  filter(valor_numerico < 10^5) %>% 
  mutate(
    assunto_novo = ifelse(assunto_info %in% assuntos_freq,
                          assunto_info,
                          "outros")
  ) %>% 
  ggplot(aes(y = valor_numerico, x = assunto_novo, color = assunto_novo)) +
  geom_boxplot() +
  theme(axis.text.x = element_blank()) +
  ylab("Valor da causa")

Observamos que assuntos como “inclusão indevida em cadastro de inadimplentes” e “rescisão do contrato e devolução do dinheiro” apresentam alta variabilidade, sendo que em 50% das observações o valor da causa varia de 12.500 a 50.000. Por outro lado, assuntos como “responsabilidade do fornecedor” tem variabilidade menor, com 50% das vezes o valor da causa variando entre 10.000 e 15.000.

Scatter plot

Por vezes, estamos interessados em visualizar a relação entre duas variáveis contínuas. Neste caso, podemos designar um eixo para cada variável e desenhar um ponto para cada observação. Este tipo de gráfico é chamado de scatter plot.

No R é possível obter o scatter plot usando o comando plot().

data %>% 
  filter(valor_numerico < 10^5) %>% 
  ggplot(aes(x = valor_numerico, y = Time)) +
  geom_point(color='blue') +
  geom_smooth(method='lm', color = "red") +
  xlab("Valor da causa") +
  ylab("Tempo até sentença")