How do you clean and preprocess data?

When working with data building models, if the data is dirty it makes us very inefficient and brings a lot of frustration. Hence, cleaning and preprocess is not just good for the model, it also improves productivity of engineers down the line and help minimize frustration working with data.

Firstly, data is inspected to detect anomalies, outliers, and duplicated records. These anomalies can be corrected or removed based on domain knowledge or statistical methods. Missing values are addressed through imputation techniques, such as mean, median, or predictive modeling. Next, data normalization is applied to bring features to a common scale, preventing the dominance of certain variables over others during analysis. Categorical variables are encoded into numerical formats using techniques like one-hot encoding or label encoding. Dimensionality reduction aids in improving model performance and interpretability. Finally, a comprehensive exploratory data analysis (EDA) can identify patterns, relationships, and insights.

Pensando no ciclo do CRISP-DM, a etapa de pré-processamento dos dados antecede a etapa de modelagem. No entanto, é importante que no pré-processamento já se tenha em mente qual abordagem irá utilizar na modelagem. Por exemplo, uma variável categoria com n níveis deve ser transformada em n-1 dummies, caso a abordagem seja baseada em um modelo de regressão linear. No entanto, se a abordagem for baseada no LightGBM já não há esta necessidade.

A fase de mineração de dados é fundamental para o bom desempenho de algoritmos de aprendizado de máquina, bem como para obtenção de informação confiável e relevante. Essa fase do processo de KDD (Descoberta de Conhecimento em Bases de Dados) inclui: - Identificação e exclusão de dados irrelevantes, além de otimização de atributos redundantes, para redução do esforço de processamento. - Transformação e padronização de dados escritos de formas diferentes, mas que representam a mesma coisa. - Identificação e tratamento de símbolos, unidades, falta de exatidão e dados incompletos. - Avaliação e tratamento de dados ausentes e de outliers, para evitar distorções nas estatísticas. - União dos registros duplicados, podendo ser complementares.

In my experience, data visualization gives an immediate understanding of data distribution and patterns, assisting in the efficient identification of errors. Boxplots are especially effective for finding outliers and comprehending numerical data dispersion and distribution. Similarly, heatmaps are an easy approach to depict a matrix of missing values. We can immediately identify areas of concern and assess the data's completeness by using colors to represent the number of missing values in each column. This allows for more educated decisions on how to handle missing or incorrect data.

Sometimes outliers are not erroneous and are a very important part of the data, in such case we might need to include the outlier in the data, in such cases we might use a different algorithm that are not sensitive to outliers or use some form of transformations such log transforms can be used to minimize the variations caused by the outliers.

When there are outliers in the data, employing the mean or average might be misleading due to their sensitivity to extreme numbers. Instead, the median is a better indication of central tendency because it isn't influenced by outliers. It provides a more solid representation of the typical value, making it preferred in such instances for correct analysis.

Most of the dimensionality reduction technique converts one set of dimensions to another set of dimensions, in doing so we loose interpretability of the model, since we aren't using the original features but using the new set of dimensions. Hence, sometimes using basic feature selection techniques can be very helpful in reducing dimensions while still maintaining the interpretability of model.

É importante que na etapa do pré-processamento o cientista de dados, após a realização de cada operação, valide se o resultado é exatamente conforme o esperado. Pequenos equívocos nesta etapa podem gerar um problema maior que se não for detectado, impactará os resultados do modelo.