Cos'è la rete elastica?

La regressione lineare netta elastica utilizza le penalità delle tecniche lazo e ridge per regolarizzare i modelli di regressione. La tecnica combina sia il lazo LASSO LASSO, abbreviazione di Least Absolute Shrinkage and Selection Operator, sia una formula statistica il cui scopo principale è la selezione delle caratteristiche e la regolarizzazione e metodi di regressione della cresta apprendendo dalle loro carenze per migliorare la regolarizzazione dei modelli statistici.

Rete elastica

Il metodo della rete elastica migliora i limiti del lazo, cioè, dove lazo prende alcuni campioni per dati ad alta dimensione, la procedura della rete elastica prevede l'inclusione di un numero "n" di variabili fino alla saturazione. Nel caso in cui le variabili siano gruppi altamente correlati, il lazo tende a scegliere una variabile da tali gruppi e ignorare completamente il resto.

Per eliminare le limitazioni riscontrate nel lazo, la rete elastica include un'espressione quadratica (|| β || 2) nella penalità, che, se usata isolatamente, diventa regressione di cresta. L'espressione quadratica nella penalità eleva la funzione di perdita a convessa. La rete elastica attinge al meglio di entrambi i mondi, ovvero la regressione con lazo e cresta.

Nella procedura per trovare lo stimatore del metodo della rete elastica, ci sono due fasi che coinvolgono sia il lazo che le tecniche di regressione. In primo luogo trova i coefficienti di regressione della cresta e quindi esegue il secondo passaggio utilizzando una sorta di restringimento lazo dei coefficienti.

Questo metodo, quindi, sottopone i coefficienti a due tipi di ritiro. Il doppio ritiro dalla versione ingenua della rete elastica causa una bassa efficienza nella prevedibilità e un alto bias. Per correggere tali effetti, i coefficienti vengono riscalati moltiplicandoli per (1 + λ 2 ).

Riepilogo rapido

  • Il metodo della rete elastica esegue simultaneamente la selezione e la regolarizzazione delle variabili.
  • La tecnica della rete elastica è più appropriata quando i dati dimensionali sono maggiori del numero di campioni utilizzati.
  • I raggruppamenti e la selezione delle variabili sono i ruoli chiave della tecnica della rete elastica.

Geometria a rete elastica

Quando viene tracciata su un piano cartesiano, la rete elastica cade tra i grafici di regressione della cresta e del lazo, poiché è la combinazione di questi due metodi di regressione. La trama per la rete elastica mostra anche singolarità ai vertici, importanti per la scarsità. Presenta anche bordi convessi rigorosi in cui la convessità dipende dal valore di α.

La convessità dipende anche dall'effetto di raggruppamento dipendente dalla correlazione Correlazione Una correlazione è una misura statistica della relazione tra due variabili. La misura viene utilizzata al meglio nelle variabili che dimostrano una relazione lineare tra loro. L'adattamento dei dati può essere rappresentato visivamente in un grafico a dispersione. delle variabili selezionate. Maggiore è la correlazione delle variabili, maggiore è l'effetto di raggruppamento e, quindi, maggiore è il numero di variabili incluse nel campione.

Selezione delle variabili

La creazione del modello richiede la selezione delle variabili per formare un sottoinsieme di predittori. La rete elastica utilizza l'approccio del problema p >> n, il che significa che il numero dei numeri dei predittori è maggiore del numero di campioni utilizzati nel modello. La rete elastica è appropriata quando le variabili formano gruppi che contengono variabili indipendenti altamente correlate Variabile indipendente Una variabile indipendente è un input, un'ipotesi o un fattore determinante che viene modificato per valutare il suo impatto su una variabile dipendente (il risultato). .

La selezione variabile è incorporata nella procedura di costruzione del modello per aumentare la precisione. Nel caso in cui un gruppo di variabili sia altamente correlato e una delle variabili sia selezionata nel campione, l'intero gruppo viene automaticamente incluso nel campione.

CATREG Incorporation

CATREG è un algoritmo che facilita la trasformazione delle variabili, sia lineari che non lineari. L'algoritmo utilizza le funzioni step e spline per trasformare le variabili in modo non monotonico o monotonico in trasformazioni non lineari. CATREG può trasformare e regolarizzare simultaneamente le variabili in modo non monotonico senza necessariamente richiedere prima di espandere le variabili in funzioni di base o variabili fittizie.

Le funzioni di perdita netta elastica possono anche essere definite come il tipo vincolato della funzione di perdita di regressione dei minimi quadrati ordinaria. L'algoritmo CATREG è incorporato nella rete elastica, che migliora l'efficienza e la semplicità dell'algoritmo risultante. In confronto, la rete elastica supera il lazo, che a sua volta supera la regressione della cresta in termini di efficienza e semplicità.

Regolarizzazione rete elastica

Durante la procedura di regolarizzazione, la sezione l 1 della sanzione forma un modello sparso. D'altra parte, la sezione quadratica della penalità rende la parte l 1 più stabile nel percorso di regolarizzazione, elimina il limite quantitativo di variabili da selezionare e favorisce l'effetto raggruppamento.

L'effetto di raggruppamento aiuta a identificare facilmente le variabili utilizzando la correlazione. Ciò migliora la procedura di campionamento. Aumenta anche il numero di variabili selezionate, poiché quando una variabile viene campionata in un gruppo altamente correlato, tutte le altre variabili in quel gruppo vengono automaticamente aggiunte al campione.

Gradi di libertà effettivi

I gradi di libertà effettivi misurano la complessità di un modello. I gradi di libertà sono importanti durante la stima o la previsione accurata di un adattamento del modello. Anche i gradi di libertà sono incorporati nell'apprendimento degli smoothers lineari. In qualsiasi metodo relativo alla penalità l 1 , la natura non lineare dei modelli solleva la sfida nell'analisi.

La rete elastica può essere utilizzata anche in altre applicazioni, come nella PCA sparsa, dove si ottengono componenti principali che vengono modificate da carichi sparsi. L'altra applicazione è nella rete elastica del kernel, dove la generazione delle macchine del kernel di classe avviene con vettori di supporto.

Risorse addizionali

Finance offre la certificazione CBCA ™ Certified Banking & Credit Analyst (CBCA) ™ L'accreditamento Certified Banking & Credit Analyst (CBCA) ™ è uno standard globale per gli analisti del credito che copre finanza, contabilità, analisi del credito, analisi del flusso di cassa, modelli di covenant, prestito rimborsi e altro ancora. programma di certificazione per coloro che desiderano portare la propria carriera a un livello superiore. Per continuare ad apprendere e sviluppare la tua knowledge base, esplora le ulteriori risorse finanziarie pertinenti di seguito:

  • Albero decisionale Albero decisionale Un albero decisionale è uno strumento di supporto con una struttura ad albero che modella i probabili risultati, il costo delle risorse, le utilità e le possibili conseguenze.
  • Variabile dipendente Variabile dipendente Una variabile dipendente è quella che cambierà a seconda del valore di un'altra variabile, chiamata variabile indipendente.
  • Regressione lineare multipla Regressione lineare multipla La regressione lineare multipla si riferisce a una tecnica statistica utilizzata per prevedere il risultato di una variabile dipendente in base al valore delle variabili indipendenti
  • Overfitting Overfitting Overfitting è un termine utilizzato nelle statistiche che si riferisce a un errore di modellazione che si verifica quando una funzione corrisponde troppo da vicino a un particolare insieme di dati

Raccomandato

Calcolatore di inflazione
Che cos'è il reddito netto al netto delle imposte (NIAT)?
Cos'è il profitto contro il contante?