I metodi dell'insieme sono tecniche che mirano a migliorare l'accuratezza dei risultati nei modelli combinando più modelli invece di utilizzare un unico modello. I modelli combinati aumentano in modo significativo la precisione dei risultati. Ciò ha aumentato la popolarità dei metodi di ensemble nell'apprendimento automatico.
Riepilogo rapido
- I metodi dell'insieme mirano a migliorare la prevedibilità nei modelli combinando diversi modelli per creare un modello molto affidabile.
- I metodi di ensemble più popolari sono il boosting, il bagging e lo stacking.
- I metodi dell'insieme sono ideali per la regressione e la classificazione, in cui riducono la distorsione e la varianza per aumentare la precisione dei modelli.
Categorie di metodi di ensemble
I metodi d'insieme si dividono in due grandi categorie, cioè tecniche d'insieme sequenziali e tecniche d'insieme parallele. Le tecniche di insieme sequenziale generano gli studenti di base in una sequenza, ad esempio, Adaptive Boosting (AdaBoost). La generazione sequenziale di studenti di base promuove la dipendenza tra gli studenti di base. Le prestazioni del modello vengono quindi migliorate assegnando pesi maggiori a discenti precedentemente rappresentati in modo errato.
Nelle tecniche di ensemble parallele , gli studenti di base vengono generati in un formato parallelo, ad esempio, foresta casuale Foresta casuale La foresta casuale è una tecnica utilizzata nella modellazione di previsioni e analisi del comportamento ed è costruita su alberi decisionali. Una foresta casuale contiene molti alberi decisionali. I metodi paralleli utilizzano la generazione parallela di studenti di base per incoraggiare l'indipendenza tra gli studenti di base. L'indipendenza degli studenti di base riduce in modo significativo l'errore dovuto all'applicazione delle medie.
La maggior parte delle tecniche di insieme applica un singolo algoritmo nell'apprendimento di base, che si traduce in omogeneità in tutti gli studenti di base. Gli studenti di base omogenei si riferiscono agli studenti di base dello stesso tipo, con qualità simili. Altri metodi applicano apprendenti di base eterogenei, dando origine a insiemi eterogenei. Gli studenti di base eterogenei sono studenti di tipi distinti.
Principali tipi di metodi di ensemble
1. Insacco
Bagging, la forma abbreviata per aggregazione bootstrap, viene applicato principalmente nella classificazione e regressione Analisi della regressione L'analisi della regressione è un insieme di metodi statistici utilizzati per la stima delle relazioni tra una variabile dipendente e una o più variabili indipendenti. Può essere utilizzato per valutare la forza della relazione tra le variabili e per modellare la relazione futura tra di loro. . Aumenta la precisione dei modelli attraverso l'uso di alberi decisionali, che riducono la varianza in larga misura. La riduzione della varianza aumenta la precisione, eliminando quindi l'overfitting, che rappresenta una sfida per molti modelli predittivi.
Il bagging è classificato in due tipi, ovvero bootstrap e aggregazione. Il bootstrap è una tecnica di campionamento in cui i campioni vengono derivati dall'intera popolazione (set) utilizzando la procedura di sostituzione. Il campionamento con metodo di sostituzione aiuta a rendere randomizzata la procedura di selezione. L'algoritmo di apprendimento di base viene eseguito sui campioni per completare la procedura.
L'aggregazione nel bagging viene eseguita per incorporare tutti i possibili risultati della previsione e randomizzare il risultato. Senza aggregazione, le previsioni non saranno accurate, perché tutti i risultati non vengono presi in considerazione. L'aggregazione è, quindi, basata sulle procedure di bootstrap delle probabilità o sulla base di tutti i risultati dei modelli predittivi.
L'insacco è vantaggioso poiché gli studenti con basi deboli vengono combinati per formare un unico studente forte che è più stabile dei singoli studenti. Inoltre elimina qualsiasi variazione, riducendo così l'overfitting dei modelli. Una limitazione dell'insaccamento è che è computazionalmente costoso. Pertanto, può portare a più pregiudizi nei modelli quando la corretta procedura di insaccamento viene ignorata.
2. Potenziamento
Il potenziamento è una tecnica di insieme che impara dagli errori predittori precedenti per fare previsioni migliori in futuro. La tecnica combina diversi studenti con basi deboli per formare uno studente forte, migliorando così in modo significativo la prevedibilità dei modelli. Il potenziamento funziona disponendo gli studenti deboli in una sequenza, in modo tale che gli studenti deboli imparino dal successivo studente nella sequenza per creare modelli predittivi migliori.
Il potenziamento assume molte forme, che includono il potenziamento del gradiente, Adaptive Boosting (AdaBoost) e XGBoost (Extreme Gradient Boosting). AdaBoost fa uso di studenti deboli che sono sotto forma di alberi decisionali, che includono principalmente una divisione che è popolarmente conosciuta come monconi decisionali. Il principale moncone decisionale di AdaBoost comprende osservazioni che trasportano pesi simili.
Aumento gradiente Aumento gradiente L'aumento gradiente è una tecnica utilizzata nella creazione di modelli per la previsione. La tecnica è utilizzata principalmente nelle procedure di regressione e classificazione. aggiunge predittori sequenzialmente all'insieme, dove i predittori precedenti correggono i loro successori, aumentando così la precisione del modello. I nuovi predittori sono adatti a contrastare gli effetti degli errori nei predittori precedenti. Il gradiente di discesa aiuta il booster del gradiente nell'identificare i problemi nelle previsioni degli studenti e nel contrastarli di conseguenza.
XGBoost utilizza alberi decisionali con gradiente potenziato, fornendo velocità e prestazioni migliorate. Si basa molto sulla velocità di calcolo e sulle prestazioni del modello di destinazione. L'addestramento del modello dovrebbe seguire una sequenza, rallentando così l'implementazione delle macchine con boosting gradiente.
3. Impilamento
Lo stacking, un altro metodo di insieme, viene spesso definito generalizzazione in pila. Questa tecnica funziona consentendo a un algoritmo di addestramento di raggruppare diverse altre previsioni di algoritmi di apprendimento simili. Lo stacking è stato implementato con successo in regressione, stime di densità, apprendimento a distanza e classificazioni. Può anche essere utilizzato per misurare il tasso di errore durante il confezionamento.
Riduzione della varianza
I metodi dell'insieme sono ideali per ridurre la varianza nei modelli, aumentando così l'accuratezza delle previsioni. La varianza viene eliminata quando più modelli vengono combinati per formare un'unica previsione che viene scelta da tutte le altre possibili previsioni dai modelli combinati. Un insieme di modelli è l'atto di combinare vari modelli per garantire che la previsione risultante sia la migliore possibile, basata sulla considerazione di tutte le previsioni.
Risorse addizionali
Finance è il fornitore ufficiale della certificazione CBCA ™ CBCA ™ globale Certified Banking & Credit Analyst (CBCA) ™ L'accreditamento Certified Banking & Credit Analyst (CBCA) ™ è uno standard globale per gli analisti del credito che copre finanza, contabilità, analisi del credito, analisi del flusso di cassa , modelli di alleanze, rimborsi di prestiti e altro ancora. programma di certificazione, progettato per aiutare chiunque a diventare un analista finanziario di livello mondiale. Per continuare a far avanzare la tua carriera, le risorse finanziarie aggiuntive di seguito saranno utili:
- Elastic Net Elastic Net Elastic Net utilizza linearmente le penalità delle tecniche lazo e cresta per regolarizzare i modelli di regressione. La tecnica combina sia il lazo che
- Overfitting Overfitting Overfitting è un termine utilizzato nelle statistiche che si riferisce a un errore di modellazione che si verifica quando una funzione corrisponde troppo da vicino a un particolare insieme di dati
- Scalabilità Scalabilità La scalabilità può ricadere in contesti sia finanziari che di strategia aziendale. In entrambi i casi, rappresenta la capacità dell'entità di resistere alla pressione di
- Spoofing Spoofing Lo spoofing è una pratica di trading algoritmico dirompente che prevede il piazzamento di offerte di acquisto o di vendita di contratti futures e l'annullamento delle offerte o delle offerte prima dell'esecuzione dell'accordo. La pratica intende creare un'immagine falsa della domanda o falso pessimismo nel mercato.
