4th Oct 2024 Tempo di lettura: 10 minuti I 5 motivi principali per cui PostgreSQL funziona per l'analisi dei dati (e per gli analisti di dati!) Alexandre Bruffa postgresql analisi dati lavori e carriera Indice PostgreSQL per l'analisi dei dati: Una scelta saggia 1. Affidabilità e stabilità 2. Caratteristiche avanzate 3. Comunità ed ecosistema 4. Prestazioni e scalabilità 5. Sicurezza e conformità Per saperne di più su PostgreSQL per l'analisi dei dati Perché gli analisti amano PostgreSQL per l'analisi dei dati? Scoprite perché questo sistema di gestione dei database è così amato dai professionisti dei database e dagli scienziati dei dati! Se lavorate con i dati, sapete che l'analisi dei dati richiede l'archiviazione, la gestione e il recupero efficiente di grandi insiemi di dati. Per questo motivo, gli analisti di dati preferiscono utilizzare i database relazionali, noti per la loro robustezza, efficienza e stabilità. I database relazionali funzionano con un sistema di gestione dei database (DBMS), che consente la creazione, la gestione e la manipolazione dei database relazionali. I DBMS assicurano inoltre che i dati siano organizzati, sicuri e accessibili quando necessario. Per maggiori dettagli, leggete l'ottimo articolo di Luke Hande Cos'è un database SQL? I DBMS più diffusi oggi includono MySQL, Microsoft SQL Server, Oracle, SQLite e PostgreSQL, tra gli altri. Nel contesto dell'analisi dei dati, PostgreSQL è una scelta popolare tra gli analisti di dati. In questo articolo vi mostrerò perché molti professionisti dei dati scelgono PostgreSQL per l'analisi dei dati. Se siete interessati a imparare PostgreSQL, date un'occhiata al nostro percorso formativo completo SQL dalla A alla Z in PostgreSQL. I 9 corsi e le 117 ore di contenuti di questo percorso vi permetteranno di diventare maestri di PostgreSQL, anche se non avete mai codificato prima. Unitevi agli altri 33.977 studenti iscritti e iniziate a muovere i primi passi nell'apprendimento di PostgreSQL per analisti di dati! PostgreSQL per l'analisi dei dati: Una scelta saggia Ci sono 5 ragioni principali per cui gli analisti di dati preferiscono PostgreSQL: 1. Affidabilità e stabilità Cosa succederebbe se alcune transazioni su un database fallissero senza preavviso? E se non potessimo aspettarci che i database registrino in modo affidabile tutti i dati che ricevono? Per la maggior parte delle aziende, questo sarebbe un problema critico. Immaginate di gestire un sito di e-commerce. Un cliente effettua un acquisto, la banca del cliente approva la transazione, ma il vostro sistema centrale memorizza solo una parte del pagamento. Ancora peggio, immaginate lo stesso problema con un'applicazione bancaria, cioè un cliente effettua un deposito e il vostro database non lo memorizza. Le conseguenze per il cliente e per la banca potrebbero essere enormi! Poiché l'integrità e l'affidabilità dei dati sono fondamentali, la maggior parte dei database relazionali è progettata per supportare la conformità ACID. ACID significa che le informazioni sono: Atomiche - Ogni transazione è una singola unità che o riesce completamente o non viene eseguita affatto. Ciò garantisce che nessun comando venga elaborato parzialmente e mantiene l'integrità dei dati in caso di guasto del sistema o dell'alimentazione. Consistente - I dati memorizzati in un database devono soddisfare alcune regole definite e devono essere memorizzati in uno stato stabile. Isolato - Se il database gestisce più transazioni contemporaneamente (e spesso è così), ogni transazione ha un impatto solo sui record direttamente coinvolti nella transazione. Più transazioni possono avvenire contemporaneamente e in modo indipendente. Durevole - I dati di un database sono stabili, non si degradano e non cambiano nel tempo (a meno che, ovviamente, non sia l'operatore del database ad apportare la modifica). Queste proprietà contribuiscono a garantire un'elaborazione affidabile delle transazioni in un sistema di gestione di database (DBMS). Nel contesto dell'analisi dei dati, PostgreSQL è uno dei DBMS relazionali preferiti perché è completamente conforme ad ACID; garantisce che le transazioni vengano elaborate in modo affidabile anche in caso di guasti al sistema. 2. Caratteristiche avanzate Sapevate che la maggior parte dei DBMS relazionali consente la creazione di tipi di dati personalizzati? Prima si dichiara il nuovo tipo e poi lo si può utilizzare come un tipo di dati standard. PostgreSQL è altamente estensibile e consente agli utenti di creare numerosi tipi di dati personalizzati. Tra questi, i tipi compositi, i tipi di intervallo e i tipi enumerati. Immaginiamo di voler memorizzare i colori RGB (Red, Green, Blue) in un database PostgreSQL. Per prima cosa, dichiariamo il nuovo tipo personalizzato; poi lo usiamo quando creiamo la tabella dei colori. Dopodiché, ogni volta che aggiungiamo una nuova riga a questa tabella (o a qualsiasi altra tabella dello stesso database), possiamo inserire nuovi valori che utilizzano questo tipo di dati speciale. CREATE TYPE rgb_color AS ( red INT, green INT, blue INT ); CREATE TABLE colors ( name TEXT, value rgb_color ); INSERT INTO colors (name, value) VALUES (French Flag Blue', ROW(0, 35, 149)); È semplicissimo! A proposito, se volete vedere query simili, date un'occhiata all'articolo di Nicole Darnley Top 7 SQL avanzato Queries for Data Analysis. Allo stesso modo, PostgreSQL consente funzioni personalizzate o definite dall'utente (UDF). Queste sono come le normali funzioni, ma si possono creare utilizzando un processo simile a quello dei tipi di dati personalizzati. A seconda di come viene creata, la funzione è disponibile nello schema corrente o in tutti gli schemi. Per creare una funzione personalizzata, occorre innanzitutto definire la funzione personalizzata e i suoi parametri. Per utilizzare la funzione personalizzata, è sufficiente richiamarla in una clausola SELECT. Immaginiamo di avere bisogno di una funzione personalizzata che calcoli il prezzo totale, compresa l'aliquota fiscale. Ecco come si potrebbe fare usando PL/pgSQL (il linguaggio procedurale di PostgreSQL): CREATE OR REPLACE FUNCTION calculate_total_price(price NUMERIC, tax_rate NUMERIC) RETURNS NUMERIC AS $$ BEGIN RETURN price + (price * tax_rate); END; $$ LANGUAGE plpgsql; SELECT calculate_total_price(100, 0.08) AS total; Fantastico, vero? Andiamo oltre con gli operatori personalizzati! Se avete studiato algebra matematica pura, saprete che i comuni operatori aritmetici che usiamo nella vita quotidiana (addizione, sottrazione, moltiplicazione e divisione) sono solo la punta dell'iceberg! Esistono molti altri operatori matematici e si possono anche definire operatori personalizzati. Una funzione simile è disponibile nella maggior parte dei DBMS relazionali: essi consentono agli utenti di creare operatori personalizzati per tipi di dati esistenti o personalizzati. Questa funzione è particolarmente utile quando si lavora con tipi di dati complessi o quando si ha bisogno di operazioni specializzate che non sono coperte dagli operatori standard. PostgreSQL è uno dei DBMS relazionali più flessibili ed estensibili per quanto riguarda gli operatori personalizzati. Proviamo a fare il seguente esempio. Vogliamo creare un nuovo operatore '#>' che confronti le lunghezze di due stringhe. Per prima cosa, dichiariamo una nuova funzione personalizzata e il suo operatore: –-Create the function CREATE OR REPLACE FUNCTION length_greater_than(text, text) RETURNS BOOLEAN AS $$ BEGIN RETURN length($1) > length($2); END; $$ LANGUAGE plpgsql; –-Create a custom operator for the function CREATE OPERATOR #> ( LEFTARG = text, RIGHTARG = text, PROCEDURE = length_greater_than ); Ora possiamo usare il nuovo operatore in una query: SELECT 'learnpython' #> 'learnsql' AS result; Siete ancora alla ricerca di altre query PostgreSQL? Sfidatevi con quelle contenute in 19 esercizi di PostgrePratica su SQL di Gustavo du Mortier con soluzioni dettagliate! 3. Comunità ed ecosistema PostgreSQL ha una delle comunità più forti e attive tra tutti i DBMS. I membri altamente motivati della comunità PostgreSQL sono molto produttivi: forniscono tonnellate di contenuti di qualità (tutorial, articoli, corsi, ecc.). In tutto il mondo si possono trovare UG (User Groups) che organizzano incontri, workshop e conferenze su Postgres. Gli eventi più importanti sono la PostgreSQL Conference Europe e la PGConf US. È importante menzionare anche la documentazione ufficiale di PostgreSQL. Si tratta di una delle risorse più dettagliate e complete su PostgreSQL disponibili. Copre tutto, dall'installazione e configurazione ad argomenti avanzati come le funzioni personalizzate. Inoltre, la documentazione include molti tutorial e guide che aiutano gli utenti a tutti i livelli, dai principianti che creano il loro primo database agli sviluppatori esperti che implementano query complesse. È anche possibile trovare ottimi libri su PostgreSQL! Vi consiglio di leggere l'articolo di Jakub Romanowski "I migliori libri per imparare PostgreSQL " per trovare alcuni libri di qualità. Infine, c'è l'ecosistema PostgreSQL, che supporta una vasta gamma di estensioni che migliorano le funzionalità di Postgres. Estensioni popolari come PostGIS (per i dati geospaziali), pgAudit (per l'auditing) e Citrus (per lo scaling) sono sviluppate e mantenute dalla comunità e da entità commerciali. L'ecosistema PostgreSQL comprende anche molti strumenti di terze parti per il backup, il monitoraggio e la gestione dei database. Strumenti come pgAdmin, DBeaver e pgBackRest sono ampiamente utilizzati e ben supportati. PostgreSQL gode anche di un forte supporto da parte di provider cloud come Amazon (con RDS per PostgreSQL), Google (Cloud SQL per PostgreSQL) e Microsoft (Azure Database per PostgreSQL). Queste integrazioni forniscono servizi gestiti che facilitano l'implementazione e la scalabilità di PostgreSQL nel cloud. Per illustrare questa sezione, vorrei parlarvi del sondaggio Stack Overflow 2024. Tra i professionisti dei database, PostgreSQL è senza dubbio il database più popolare per il 2024. Ed è in crescita: dal 33% nel 2018 a quasi il 50% nel 2024, PostgreSQL ha un grande futuro! Sondaggio Stack Overflow 2024 Jakub Romanowski ha analizzato lo Stack Overflow Survey 2024 nel suo articolo 2024 Database Trends: SQL è ancora il re? La sua conclusione? I database relazionali sono ancora di moda e PostgreSQL la fa da padrone. 4. Prestazioni e scalabilità PostgreSQL è il DBMS preferito dagli analisti dei dati in termini di prestazioni e scalabilità. Prima di tutto, c'è il motore di archiviazione ottimizzato di Postgres, progettato per gestire in modo efficiente grandi volumi di dati. Utilizza un sistema avanzato di archiviazione a livello di pagina, con caratteristiche come il controllo della concorrenza multiversione (MVCC) che consente un elevato throughput delle transazioni senza bloccare le righe durante la lettura. MVCC garantisce la coerenza e l'isolamento dei dati in un ambiente concorrente in cui vengono eseguite più transazioni contemporaneamente. Poi c'è il supporto di PostgreSQL per il partizionamento delle tabelle. Si tratta di una tecnica di progettazione di database che gestisce tabelle di grandi dimensioni dividendole in partizioni più piccole, chiamate partizioni. Ogni partizione è un sottoinsieme dei dati della tabella ed è considerata un'entità individuale dal sistema di database. Il partizionamento può migliorare le prestazioni, la gestibilità e la disponibilità di grandi insiemi di dati. PostgreSQL supporta diverse strategie di partizionamento, tra cui le partizioni di tipo range, list e hash. Infine, PostgreSQL consente le query parallele, che migliorano le prestazioni del database utilizzando più core della CPU per elaborare query complesse e di grandi dimensioni. Questa funzione è particolarmente vantaggiosa per l'analisi dei dati, in quanto può gestire operazioni che implicano la scansione di grandi tabelle o l'esecuzione di join complessi. 5. Sicurezza e conformità PostgreSQL è noto per le sue forti caratteristiche di sicurezza e conformità, che lo rendono una scelta perfetta per le organizzazioni che richiedono una rigorosa protezione dei dati e la conformità alle normative. Il controllo dell'accesso basato sui ruoli (RBAC) è una delle caratteristiche di sicurezza fondamentali di Postgres; consente agli amministratori di gestire le autorizzazioni e controllare l'accesso al database. Esistono vari ruoli e privilegi che possono essere assegnati. In PostgreSQL, un ruolo può rappresentare un utente o un gruppo di utenti. Ai ruoli possono essere assegnati privilegi specifici per eseguire azioni su oggetti del database come tabelle, viste e funzioni. I privilegi determinano le azioni che un ruolo può eseguire, ad esempio SELECT, INSERT, UPDATE, DELETE, o EXECUTE. PostgreSQL dispone anche della crittografia dei dati, che aiuta a proteggere i dati sensibili sia a riposo (dati memorizzati nel database) che in transito. Per la crittografia a riposo, è possibile utilizzare il modulo pgcrypto per consentire la crittografia e la decrittografia dei dati a livello di colonna. In questo modo, i dati sensibili possono essere crittografati direttamente all'interno del database. Per saperne di più su PostgreSQL per l'analisi dei dati In questo articolo abbiamo visto perché gli analisti di dati scelgono spesso PostgreSQL per l'analisi dei dati. Se avete l'opportunità di lavorare con PostgreSQL, vi invito a esplorare le caratteristiche che abbiamo menzionato; sono affascinanti! Se siete interessati a intraprendere la carriera di analista di dati, non perdetevi la Roadmap to Becoming a Data Analyst di Kateryna Koidan. Se avete bisogno di imparare PostgreSQL, vi consigliamo di consultare SQL dalla A alla Z in PostgreSQL. Basta creare un account gratuito e completare i primi esercizi per vedere come si presenta e come si sente. Poi potrete decidere se soddisfa le vostre esigenze. Grazie per aver letto questo articolo; spero davvero che vi sia piaciuto! Ci vediamo nel prossimo! Tags: postgresql analisi dati lavori e carriera