Beruflich Dokumente
Kultur Dokumente
MinicursoprcticoenPython
IIEscueladeVeranodeModelacinparalaSostenibilidad
1a5deagostode2016
Sede:CentrodeCienciasdelaComplejidad(C3),UNAM
JuanC.Toledo(C3)
juan.toledo@nucleares.unam.mx
(2016IEEESpectrum
LanguageRankings)
Peroexisteungranecosistemadelibrerasparaesto:
numpy:cmputonumrico,lgebra,matriceshttp://www.numpy.org/
scipy:herramientasparacmputocientficohttps://www.scipy.org/
matplotlib:grficasdecalidadpublicacinhttp://matplotlib.org/
pandas:anlisisdedatoshttp://pandas.pydata.org/
scikitlearn:herramientasdemachinelearning http://scikitlearn.org/
networkx:anlisisderedeshttps://networkx.github.io/
etc...
Todassonlibrerasopensourceygratuitas.
2)Descargarminiconda:http://conda.pydata.org/miniconda.html
VersinminimalistadeAnaconda+instalarlibrerasrequeridasdesdelaterminal
usandoelcomandoconda:
conda install numpy matplotlib pandas statsmodels jupyter
Encualquiercaso,seleccionarPython3.5y64bits
3)Descargarelmaterialdelcursoen:
http://meithan.net/curso/
ydescomprimirloenunlugarcmodo
Parainiciarlo:
1)Abrirunaterminal
(Windows:WIN+Ryluegocmd;Macy
Linux:lanzarterminal)
2)Navegaraldirectoriodetrabajodia1
3)Escribirjupyter notebookydar
ENTER
ElNotebookseabrirautomticamente
enelbrowserpredeterminado.
Sisecierra,sepuedevolveraabrir
navegandoalocalhost:8888
Abrirelnotebookverificar.ipynb
Celda
Ejecutable
CerrarelnotebookanteriorhaciendoclicenFileCloseandhalt
Abrirahoraelnotebooktutorial_python.ipynb
Msinformacin:
DocumentacinoficialdePython:https://docs.python.org
LibrogratuitoPythonparatodos:http://mundogeek.net/tutorialpython/
Ubicuas:casitodoslossistemasnaturalesyartificialesestnasociadosa
sealesquecambianconeltiempo
TasadecambioUSD/MXN,
ltimosdiezaos
(http://www.xe.com/)
Elordenamientotemporaldacabidaaqueexistacorrelacinentrevalores
sucesivos:elvalorpresentepuededependerdelosvalorespasados.
Nmerodemanchassolaresdesde1750
Entenderlosmecanismoscausalessubyacentesdetrsdeunfenmeno:
Porquestaumentandolatemperaturapromedioglobal?
QuimpactotieneelprogramaHoyNoCirculasobrelacontaminacin
atmosfricaenlaCDMX?
Partculasatmosfricasde2.5micrasenCoyoacn,2016
Cmocrecerlapoblacinmundialdeaqual2050?
Poblacin(millones)
Modelosyproyecciones
poblacionales,ONU,2007
Graficarlaseriedetiempo!
Estoescrucialantesdecualquiertipodeanlisis,puesnospermite:
Descubrirrpidamentelaspropiedadesgeneralesdelaserie
Determinareltipodepreguntasquepodemoscontestar
Seleccionaradecuadamentequherramientasemplearparamodelarla
Ejercicio:abrircoyoacan.ipynb
Misma
Media(xyy)
Varianza(xyy)
Correlacin
Ajustelineal
AnscombesQuartet
Tendencia
Incrementoodecrementoa
largoplazoenlosdatos.
Notienequeserlineal,y
puedecambiardedireccin
(aunquelohacelentamente)
Tendencia Estacionalidad
Incrementoodecrementoa Patronesrepetitivosconun
largoplazoenlosdatos. periododefinido.
Notienequeserlineal,y Usualmentepodemosasociar
puedecambiardedireccin estarepetibilidadaun
(aunquelohacelentamente) fenmeno(e.g.las
estacionesdelao)
Loquequeda
despusde
Tendencia Estacionalidad Ciclicidad quitarlas
anteriores.
Incrementoodecrementoa Patronesrepetitivosconun Cambioscclicossinun
largoplazoenlosdatos. periododefinido. periododefinido.
Ao
NOtendencia
Ventas(millones)
Ciclicidad?
Ao
Ao
Estacionalidad
Produccin(GWh)
NOciclicidad?
Tendencia
Ao
Das
Ciclicidad?
Valor
NOestacionalidad
Tendencia
Das
Das
NOtendencia
NOestacionalidad
ndice
NOciclicidad
Das
Lafuncincurve_fit(),descipy.optimize,permitehacerajustespormnimos
cuadrados(nonecesariamentelineal)defuncionesadatos.
Ejercicio:CO2atmosfricoenMaunaloa
primertapartedeCO2.ipynb.
Estoeliminalavariabilidaddealtafrecuenciaypermitesepararlatendencia+
ciclicidaddelasdemscomponentes.
= +
ParacadavalorXtdelaseriedetiempo,calculamos:
N1valoresanteriores
PromediomvilsimpledeNpuntos
Pesos
PromediopesadodeNpuntos
Unaaplicacincomnesdarlepesos
decrecientesalosvaloresentremslejos
estnenelpasado.
Estepromedioasignaunpesoquedecreceexponencialmente,peronuncasevuelve
cero,alosvalorespasado.
Sedefinerecursivamente:
Presente Promedioanterior
Factordedecaimiento
...
Factoresquevandecreciendo
exponencialmente
ContinuarconlasegundapartedelnotebookCO2.ipynb.
Decimosqueunprocesoesestacionariocuandosuspropiedadesestadsticasno
cambianconeltiempo.
Estoestilpuesnospermitehacerprediccionesestadsticassobresucomportamiento.
Enconcreto,unaseriesepuedevercomounprocesoestacionariosi:
1)Sumediaesconstanteeneltiempo,esdecir,notienetendencia;
2)Suvarianzaesconstanteeneltiempo;
3)Suestructuradeautocorrelacinesconstanteeneltiempo.
Enlaprctica,lasseriesdetiempocasinuncasonestacionarias!
Lasprimerasdoscondiciones(mediaydesviacinestndarconstantes)sonfcilesde
medir:
calculamoslamediamvilyladesviacinestndarmvil,yvemossipermanecen
aprox.constantes.
Perodebemostambinmedirlaestructuradeautocorrelacin
Queslaautocorrelacin?
Enotraspalabras,indicaqutantodepende(linealmente)loqupasarconlosvalores
enunmomentodadodeloquepasabaconellosenuntiempoanterior.
Seentiendequeesunamedidadememoriadelprocesosubyacente,yesporestoquees
unabuenaherramientaparajuzgaraleatoriedadyestacionariedad.
Retraso1da
Temperatura
enCUltimos
7das
Media
Retraso Longitudde Varianza Seriedesfasadaen
laserie
Si=0,
naturalmente.
Unacantidadrelacionadaalaautocorrelacineslafuncindeautocorrelacin
parcial(PACF).
Entrminossimples,esunaformadelafuncindeautocorrelacinque
descuentaelefectodelosvaloresintermediosquehayentreelvaloractualyel
valorretrasado.
Calcularlanoestansencillopuestoqueesunaherramientacomn,lamayora
delaslibrerasincluyenunafuncinparahacerlo(statsmodeltienepacf()).
Ejercicio:temperatura.ipynb
Mientrashastaelmomentonoshemoscentradoenmodelarlostrminosde
tendencia,ciclicidadyestacionalidaddelaserie,otroenfoqueesmodelarla
variabilidadestocsticadelaserie(atravsdelaautocorrelacin).
Existenvariosmodelosparalaparteestocsticadeunaseriedetiempo:
ModelosAutoregresivos(AR)
ModelosdeMediaMvil(MA)
Modelosgeneralizados:ARMAyARIMA
Definimoselmodeloautoregresivodeordenp,AR(p),como:
ruidooerror
parmetros (aleatorio)
(aajustar)
Elmodeloautoregresivodeorden1,AR(1),es
Esestacionariosi||<1.
Losefectosdeltrminoderuidoaltiempotcontribuyeninfinitamentelejosen
elfuturo,aunqueconunefectodecreciente.
AR(0)
= 0.3
AR(1)
= 0.9
=1 =
2 = 0.3 2 = -0.8
0.30.3 1 = 0.9
AR(2)
Definimoselmodelodemediamvildeordenq,MA(q),como:
Enciertosentido,dicequeelvaloractualdelaseriedetiempodepende
solamentedeunpromediopesadodelostrminosderuidorecientes.
SefundamentadecompararlaserieconenelmodeloAR(1),
elcualesestacionarioslosi||<1.
HiptesisNula: =1,esdecir,laserienoesestacionaria.
1)Genenerarlaestadsticadeprueba,t.
2)Obtenerelvalorcrticoctabuladodeacuerdoalniveldeconfianzadeseado.
3)Sit<c,rechazamoslahiptesisnulasugierequelaserieesestacionaria.
RecetadeBox&JenkinsparaobtenerunmodeloARIMA(p,d,q):
1)Diferenciarlaserie(i.e.tomandolasdiferenciasentrevaloresvecinos)dveces
hastaquelaserieseaaproximadamenteestacionaria(e.g.DickeyFuller).
2)DeterminarlosrdenespyqdelascomponentesAR(p)yMA(q)usandolas
funcionesdeautocorrelacinyautocorrelacinparcial.
3)Finalmente,ajustarlosparmetrosdelosmodelosARyMAhastasatisfacerun
criteriodecalidaddeajuste(e.g.AIC).Estoesaltamentenotrivial.
Ejerciciocompleto:arima.ipynb
Otraformadeanalizarunaseriedetiempoeshacerloeneldominiodelafrecuencia.
Ideafundamental:transformarlaseriedetiempoaunarepresentacinentrminosde
componentesperidicassimples
Nospermite:
Determinarlascomponentesperidicas(ancuandoestnescondidas)
Establecereltipodecorrelacionespresentesenlaserie
Modelarvariostiposderuido
Fourier
Animacin:ondacuadradacon3armnicos
https://www.youtube.com/watch?v=LznjC4Lo7lE
Enserio,aplicaparacualquierfuncin
https://www.youtube.com/watch?v=QVuU2YCwHjw
A1
Amplitud
Amplitud
A2
A3
A4
A5 ...
Tiempo 1 2 3 4 5 Frecuencia
Dominiodeltiempo Dominiodelafrecuencia
TransformadadeFourierdelaseal
(dominiodelafrecuencia) Sealoriginal Formamatematicosade
escribirsenosycosenos
(dominiodeltiempo)
Longituddela
DFT seriedetiempo
(unvalor frecuencia
paracadak Seriede
en[0,N1]) tiempo
Aunque,comoveremos,la
mitadsonredundantes.
SedefinesimplementetomandoelcuadradodelvalorabsolutodelDFT:
Debidoaqueelcuadradoamplificalosvalores,sesuelegraficarenescalaloglog.
Ejemplorpido:manchassolares
manchas.ipynb
Estoseconocecomofiltradoespectral(spectralleakage).
Laserieno
completaun
Senode nmeroentero
0.33Hz deciclos
Elpicodefrecuencia
DFT correspondienteseensancha
Senode0.33Hz
conamplitud
creciente
Ensanchamiento
PSD
Funcin
sierrade
0.1Hz
Armnicos
Frecuencia
PSD verdadera
Sielcontenidoespectraldeunaseriedetiemponoesestacionario,latransformadade
Fouriertieneproblemasparadescomponerla.
UnatcnicasencillaesusarlatransformadadeFourier"ventaneada"oShortTime
FourierTransform(STFT).
LaideaescalcularlatransformadadeFourierenunaventanatemporalpequeala
cualsevarecorriendosobrelaserie.Conestosepuedecapturaruncontenido
espectralquecambiaconeltiempo.
Espectrogramadeunchirpqueaumentade1a5kHzen10s
EsunageneralizacindelatransformadadeFourier:enlugardeusarfunciones
armnicasseusanwavelets:formasdeondaarbitrariaquepuedencambiardeescala
eneltiempo.Enscipyexistescipy.signal.cwt()paraesto.
Ricker
wavelet,alias s1
MexicanHat
s2
s1+s2
cwt
Mtodosparaseriesdetiempomultivariadas
Teoradefiltrado
Transformadasdetiempofrecuenciaavanzadas
Mtodosdedecomposicinadapatativos
EmpiricalModeDecomposition
SingularSpectrumAnalysis
etc.
TimeSeriesAnalysisandItsApplications:WithRExamples
ShumwayandStoffer
Hayversin"EZ"gratuita:
http://www.stat.pitt.edu/stoffer/tsa4/tsaEZ.pdf
TimeSeriesAnalysis:WithApplicationsinR
CryerandChan
IntroductoryTimeSerieswithR
CowpertwaitandMetcalfe
TimeSeriesAnalysisandForecastingbyExample
BisgaardandKulahci