Come risolvere i bug della data science: 5 lezioni di basso livello dal CS50 di Harvard

Questo articolo traduce i concetti fondamentali dell'informatica tratti dal CS50 di Harvard in modelli mentali pratici che consentono ai professionisti dei dati di creare pipeline di dati più solide e performanti.

Introduzione

Ci siamo passati tutti: uno script di dati che viene eseguito inspiegabilmente lentamente, un bug che scompare quando si aggiunge un print() statement, or a piece of code that’s impossible to automate. These common frustrations for data practitioners often have roots in fundamental computer science concepts that are easy to overlook when working with high-level tools like Python or RComprendendo cosa succede "sotto il cofano", possiamo costruire modelli mentali migliori per diagnosticare i problemi, ottimizzare le prestazioni e costruire pipeline di dati robuste. Questo post è una sintesi basata su CS50x 2025 (Harvard) su YouTube. Esplora i punti chiave della lezione su array, memoria e debugging, collegandoli direttamente alle sfide quotidiane del lavoro sui dati.

---

Takeaway 1: la compilazione non è magia, è una pipeline

Il semplice make command in C, much like running a Python script, hides a multi-step process. Just as high-level data tools abstract away underlying complexity, compilation is not a single action but a four-stage pipeline that transforms human-readable source code into machine-readable instructions.

Le quattro fasi distinte della compilazione sono:

• Pre-elaborazione: Questo è un passaggio automatico di copia e incolla. Quando il compilatore vede una direttiva come #include, it finds the specified library file and pastes its contents into your code.
• Compilazione: Questa fase traduce il codice C leggibile dall'uomo in un linguaggio di livello inferiore chiamato codice assembly, che consiste in istruzioni specifiche per il processore del computer.
• Montaggio: Questo passaggio converte il codice assembly nel binario grezzo del codice macchina, ovvero gli zeri e gli uni che la CPU del computer può eseguire direttamente.
• Collegamento: La fase finale combina il codice macchina del tuo programma con il codice macchina di tutte le librerie che hai utilizzato (ad esempio, cs50.c, stdio.c) into a single, complete, executable file.

Questo processo è gestito da un programma compilatore come clang, which uses flags like -o to define the output file and -l to link necessary libraries—a process that make conveniently automates for us.

Collegamento della scienza dei dati: Questa pipeline è un potente modello mentale per il debug degli ambienti dati. Proprio come il linker C richiede che tutti i file dei componenti siano presenti, un ambiente dati moderno (come un contenitore Docker) richiede che tutte le dipendenze in requirements.txt to be correctly installed. A linking error is directly analogous to a ModuleNotFoundError that breaks an entire Airflow DAG. This understanding helps a data scientist debug environmental issues systemically, recognizing them as dependency failures rather than random errors.

Conclusione 2: la memoria è una griglia e i tuoi dati hanno un indirizzo

È utile visualizzare la memoria di un computer come un'enorme griglia di singoli contenitori, o byte, ognuno con un indirizzo numerico univoco. Quando si dichiara una variabile, si chiede al sistema di riservare uno o più di questi contenitori per memorizzare i dati.

Diversi tipi di dati occupano diverse quantità di spazio: a char is 1 byte, a float is 4 bytes, an int is 4 bytes, and a long is 8 bytes. Until a variable is explicitly initialized, its reserved memory can hold random, leftover data. In the lecture’s debug50 demonstration, an uninitialized variable H was shown to hold a bizarre garbage value like 32766 before it was assigned a value by the program.

Collegamento della scienza dei dati: Questo modello di memoria è fondamentale per le prestazioni in analisi dei dati. scelta float64 (a double in C, 8 bytes) when float32 (a float in C, 4 bytes) would suffice can literally double your memory usage for that column. For large datasets, this choice is the difference between a job that runs smoothly and one that crashes. Likewise, “garbage values” explain the unpredictable bugs that can arise from uninitialized variables or unhandled NULL values in a data transformation script.

Conclusione 3: una stringa è un array con un pericolo nascosto

In un linguaggio di basso livello come il C, una stringa è semplicemente un array di caratteri. La stringa "Ciao!" non è un'entità singola, ma è memorizzata in memoria come tre caratteri consecutivi. char variables: ‘H’, ‘i’, and ‘!’.

Il "pericolo nascosto", o colpo di scena, è come il computer sa dove finisce la stringa. C aggiunge automaticamente un carattere speciale, il terminatore nullo (\0), to the end of every string. This character, which has a numerical value of 0, acts as a stop sign. This means a string’s actual memory footprint is always its visible length plus one extra byte for this terminator. The lecture demonstrates this by printing the characters of “Hi!” and then showing that the value at the very next position is 0, followed by garbage values.

“…il modo in cui un computer tiene traccia di dove si trova la fine di una stringa anche se quella stringa è composta da tre caratteri la lunghezza della stringa la lunghezza dell'array che in realtà memorizza la stringa è tecnicamente quattro è uno più qualunque sia la lunghezza effettiva della frase…” — Harvard CS50x 2025 (YouTube) — Lezione: CS50x 2025 – Lezione 2 – Array

Collegamento della scienza dei dati: Ciò ha implicazioni dirette per la pulizia dei dati e l'elaborazione del testo. La struttura array sottostante del testo spiega perché "andare fuori dai limiti", ovvero tentare di accedere a un carattere oltre la fine di una stringa, può portare a bug bizzarri o vulnerabilità di sicurezza critiche come buffer overflow. Il concetto di un terminatore speciale è comune anche in molti formati di dati, come il carattere di nuova riga (\n) that separates rows in CSV files or log files. Understanding this helps in writing more robust parsers for unstructured text data.

Takeaway 4: Smetti di usare print() and Start Using a Debugger

Il debugging è un'abilità fondamentale e il termine stesso ha una storia di origine famosa. Come accennato nella lezione, il contrammiraglio Grace Hopper documentò il "primo caso reale di bug trovato" quando una falena fu fisicamente rimossa dal computer Harvard Mark I. I bug di oggi sono meno tangibili, ma i nostri metodi per individuarli sono diventati molto più sofisticati della semplice stampa di variabili.

Un debugger è uno strumento che ti dà il controllo diretto sull'esecuzione del tuo codice. Come mostrato nella lezione con debug50, its key features include:

• Punti di interruzione: La possibilità di impostare un "segnale di stop" su una specifica riga di codice, interrompendo l'esecuzione del programma in quel punto esatto.
• Fare un passo: La capacità di eseguire il codice riga per riga. Step over executes a function as a single action, which is ideal for trusted library functions (like a pandas groupby). In contrast, step into enters a function to inspect its internal logic, which is essential for finding errors in your own custom functions.
• Ispezione: La possibilità di osservare i valori in tempo reale di tutte le variabili durante l'esecuzione del codice, scoprendo come cambiano passo dopo passo.

Collegamento della scienza dei dati: Questa è una competenza fondamentale per i professionisti dei dati. Eseguire il debug di una trasformazione pandas complessa e a più fasi stampando frame di dati intermedi è un processo disordinato e lento. Utilizzare un debugger in un IDE come VS Code o PyCharm offre un metodo sistematico e ripetibile per individuare la causa principale di un errore nella logica, anziché affidarsi a supposizioni e appesantire il codice con istruzioni di stampa temporanee.

Takeaway 5: l'output più importante del tuo script è un singolo numero

Il motivo per cui main function in C programs is defined to return an int is to provide an codice di stato di uscita al sistema operativo. Questo singolo numero comunica se il programma è stato completato correttamente o se si è verificato un errore.

La convenzione descritta nella lezione è universale nell'informatica:

• return 0; signifies il successo.
• return 1; (or any other non-zero number) signifies fallimento.

Questa convenzione esiste perché, sebbene esista un solo modo per far funzionare un programma (ha fatto ciò che doveva fare), possono esserci molte ragioni diverse per cui può fallire. Diversi numeri diversi da zero possono essere utilizzati per rappresentare diversi tipi di errori, proprio come il codice di errore. 1132 in Zoom or the 404 code for a missing web page.

Collegamento della scienza dei dati: i codici di uscita sono la spina dorsale delle pipeline e dei flussi di lavoro automatizzati gestiti da strumenti come Airflow, cron o dbt. Uno scheduler esegue uno script e quindi controlla il suo codice di uscita per determinare il passaggio successivo. Un codice diverso da zero segnala che qualcosa è andato storto, il che può interrompere la pipeline, impedire la propagazione di dati errati e attivare un avviso per un analista di turno. Creare script che segnalino correttamente il successo o il fallimento con i codici di uscita è essenziale per realizzare sistemi automatizzati robusti e affidabili.

---

Cosa candidarsi oggi

Ecco cinque passaggi pratici e attuabili che un professionista dei dati può intraprendere sulla base di questi spunti:

• Ispeziona la memoria dei tuoi dati. Usa un comando come df.info(memory_usage='deep') in pandas to see how much memory your data types are consuming. Question if a float64 is necessary when a float32 would suffice.
• Utilizzare un vero debugger una volta. La prossima volta che hai un bug, resisti alla tentazione di aggiungerne uno print() statement. Instead, set a breakpoint in your IDE (like VS Code or PyCharm) and step through your code.
• Mappa le tue dipendenze. Per la pipeline di dati più critica, disegna un semplice diagramma delle sue dipendenze: quali script chiamano quali, quali librerie vengono importate e a quali origini dati si accede. Questo rispecchia la fase di "collegamento" e ti aiuta ad anticipare i punti di errore.
• Aggiungi un codice di uscita. In uno script di automazione semplice, aggiungi un try...except block. If an error occurs, print a message and exit with a non-zero status code (e.g., sys.exit(1) in Python).
• Pensa alla risoluzione del contratto. Quando si analizza un file di testo o un registro, è opportuno identificare consapevolmente il "terminatore nullo", ovvero il carattere (come una nuova riga) che segnala la fine di un record.

Chiusura

La comprensione dei fondamenti dell'informatica di base fornisce potenti modelli mentali direttamente applicabili al lavoro sui dati di alto livello. Concetti come la gestione della memoria, il debug e i codici di uscita non sono solo banalità accademiche; sono la base per scrivere codice più performante, affidabile e scalabile. Questi principi costituiscono il fondamento per argomenti più avanzati come algoritmi e strutture dati, fondamentali per affrontare sfide di dati più ampie e complesse.

Qual è un bug di dati di alto livello che hai riscontrato e che ora ha più senso attraverso la lente di queste meccaniche di basso livello?