#661 28-04-19 15:02

Pontifex
Moderador
Calificacion :   108 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

aers...


"LASCIATE OGNI SPERANZA, VOI CH’ENTRATE" Dante " La divina Comedia"

Desconectado

#662 28-04-19 17:08

asdfgh
Miembro
Calificacion :   15 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

con este post empecé mis rutinas para obtener info:

https://stackoverflow.com/questions/270 … -using-vba

Desconectado

#663 29-04-19 12:51

get free
Miembro
Calificacion :   174 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

Hace años alguien preguntó lo mismo y escribí un breve resumen explicando por donde partir aprendiendo.
Es el post #194 de ese mismo tema:
http://www.chilebolsa.com/foro/viewtopi … 23#p209323

Para el caso especifico de web scraping. Hay dos tecnicas distintas para lograr eso.

Una es usando una cosa llamada XPath.
Usando el lenguaje de programacion de tu eleccion, tienes que:
1. Bajar el HTML de la pagina web que tiene los datos
2. Usar XPath para extraer lo datos desde ese HTML
3. Guardar lo datos en un archivo o base de datos o donde sea que los necesites

La otra tecnica es usando selectores CSS.
Igualmente, usando el lenguaje de programacion de tu eleccion, tienes que:
1. Abrir una instancia oculta de un navegador web (normalmente Internet Explorer, pero tambien puede ser Chrome, aunque es mas complicado)
2. Invocar la ejecucion de codigo javascript dentro la pagina web ya procesada por el navegador.
3. Ese codigo javascript debe hacer uso de selectores CSS para extraer la informacion de la pagina web
4. Cerrar la instancia oculta del navegador
5. Guardar los datos en un archivo, BD o donde sea.

Dependiendo del leguaje que escojas, es más facil una u otra tecnica.
Por ejemplo usando tecnologias Microsoft (JScript, VBS, VBA, Excel) es mas facil la segunda técnica porque esos lenguajes están pensados para interactuar con otros productos Microsoft como Internet Explorer.

Si escojes otro lenguaje como Python o PHP, es mas facil (y preferible) usar la primera técnica que no requiere iniciar una instancia del navegador (lo cual siempre es lento) y ademas tiene la ventaja que XPath es superior en funcionalidad a los selectores CSS.

Por supuesto, todas estas siglas y nombres no te van a decir nada en un principio. Pero son una guía para saber por donde partir googleando.


Existen 10 clases de traders: los que entienden binario y los que no.

Desconectado

#664 02-05-19 08:35

Pontifex
Moderador
Calificacion :   108 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

Muchas gracias por tomarte el espacio y responder, la verdad la bolsa esta algo fome y generalmente en momentos como este me pongo "creativo" (reinstalo linux por ejemplo, o me pongo a cacharrear con C) es eso o ponerme a jugar star citizen y SC no me da lucas, al contrario me las quita.

saludos!
Px


"LASCIATE OGNI SPERANZA, VOI CH’ENTRATE" Dante " La divina Comedia"

Desconectado

#665 20-05-19 13:54

Ultra
Miembro
Calificacion :   42 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

Hola, consulta, me ensamble una version del Meta11 portable en disco D (todas las rutas en duro). Mucho editor hex, todas las dlls metidas. Unzip en el disco y listo, ideal para maquina sin permisos de admin.
El que quiere probar, va por su cuenta y riesgo, sin soporte y menos por aca.

PD: Creo que es un offtopic, no?

Desconectado

#666 26-05-19 22:09

Pontifex
Moderador
Calificacion :   108 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

podriamos meter todos estos tips en otro hilo para no ensuciar este digo yo. Hace rato que le venfo dando vuelta a la idea de crear un sistema de trading integrado (oye y tienes ese programa por ahi?  saludos

px


"LASCIATE OGNI SPERANZA, VOI CH’ENTRATE" Dante " La divina Comedia"

Desconectado

#667 27-05-19 17:43

Ultra
Miembro
Calificacion :   42 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

Pontifex escribió:

podriamos meter todos estos tips en otro hilo para no ensuciar este digo yo. Hace rato que le venfo dando vuelta a la idea de crear un sistema de trading integrado (oye y tienes ese programa por ahi?  saludos

px

Claro, me mandas un correo y te envio el zip via wetransfer. Hasta ahora funciona todo el Meta, a excepcion del hacer click con el boton derecho sobre el grafico que tira una excepcion.

Hice tb en Meta un sistemita basico en Meta usando los Expert con entradas y salidas usando algunas cosas que vi en el foro mas algunas ideas de mi cosecha, en los backtesting anda bien pero como siempre dificil limpiar las señales falsas cuando paraleliza. No ando con acciones, lo uso mas bien en fondos, ETFs, algunas monedas.

Desconectado

#668 27-05-19 19:29

Pontifex
Moderador
Calificacion :   108 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

[email protected]   ahi te comento..

saludos

Px


"LASCIATE OGNI SPERANZA, VOI CH’ENTRATE" Dante " La divina Comedia"

Desconectado

#669 02-06-19 11:50

hernan99
Miembro
Calificacion :   

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

hola, no puedo descargar datos de yahoo, con el  price downloader en w 10, y debo cambiar algo en la configuracion

Desconectado

#670 02-06-19 11:51

hernan99
Miembro
Calificacion :   

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

y gracias por alguna respuesta, saludos

Desconectado

#671 03-06-19 15:14

get free
Miembro
Calificacion :   174 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

hernan99 escribió:

hola, no puedo descargar datos de yahoo, con el  price downloader en w 10, y debo cambiar algo en la configuracion

Puedes mostrar la configuracion que estas usando?


Existen 10 clases de traders: los que entienden binario y los que no.

Desconectado

#672 04-06-19 00:08

hernan99
Miembro
Calificacion :   

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

src = https://query1.finance.yahoo.com/v8/fin … nterval=1d


format.IN = '$(content).chart.result[0]'
format.OUT = {symbol},{date(data.timestamp[n]).fmt('YMD')},{$(q).open[n]},{$(q).high[n]},{$(q).low[n]},{$(q).close[n]},{$(q).volume[n]}

dataSize = 'data.timestamp.length'
q = 'data.indicators.quote[0]'

filter = '$(q).close[n] > 0'


2000


^GSPC
^IXIC

^FTSE
^GDAXI

^IPSA
^BVSP
^MERV

GOOG
MSFT
AAPL

EURUSD\=X
CLP\=X

Desconectado

#673 04-06-19 14:50

get free
Miembro
Calificacion :   174 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

Acabo de probar en Win Vista, Win 7 y Win 10 usando el PriceDownloader 1.3. Me funciona bien en todos.
Te funcionan las configuraciones para los demás sitios web?


Existen 10 clases de traders: los que entienden binario y los que no.

Desconectado

#674 05-06-19 11:48

hernan99
Miembro
Calificacion :   

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

hola,no me funciona, tampoco bloomberg ni yahoo.
saludos

Desconectado

#675 05-06-19 14:13

get free
Miembro
Calificacion :   174 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

hernan99 escribió:

hola,no me funciona, tampoco bloomberg ni yahoo.
saludos

Ok, pero se más proactivo.

Que es lo que vez?
Aparece algun error?
Alguna ventana?
No aparece nada?
Te funciona alguna configuracion?
Alguna vez te funcionó en ese computador o en otro?
Si alguna vez funciono, cuando dejo de funcionar?


Existen 10 clases de traders: los que entienden binario y los que no.

Desconectado

#676 06-06-19 00:09

hernan99
Miembro
Calificacion :   

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

hola, cuando le le aplico sobre el archivo  srip, me aparece la pantalla de codigos y se borra
. saludos

Desconectado

#677 06-06-19 10:58

hernan99
Miembro
Calificacion :   

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

hola, al aplicar sobre el archivo scrips. aparece la pantalla de comandos  cmd, pero se borra y no aparece la pantalla donde se ve descargando datos,
saludos

Desconectado

#678 06-06-19 13:01

Ultra
Miembro
Calificacion :   42 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

Hola, primero revisa la URL que pones en el src=
deberia ser "https://query1.finance.yahoo.com/v8/fin … nterval=1d"

Desconectado

#679 06-06-19 13:01

Ultra
Miembro
Calificacion :   42 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

Esta es la parte que vi que hay unos caracteres demas .../%symbol%?range=5y&interval=1d

Desconectado

#680 06-06-19 14:57

get free
Miembro
Calificacion :   174 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

hernan99 escribió:

hola, al aplicar sobre el archivo scrips. aparece la pantalla de comandos  cmd, pero se borra y no aparece la pantalla donde se ve descargando datos,
saludos

Intenta ejecutando el programa como administrador y cuentas cómo te fue.
1. Boton derecho en el programa
2. Click en "Propiedades"
3. Click en pestaña "Compatibilidad"
4. Seleccionar casilla "Ejecutar programa como administrador"
5. Click en "Aceptar"


Existen 10 clases de traders: los que entienden binario y los que no.

Desconectado

#681 07-06-19 12:53

Ultra
Miembro
Calificacion :   42 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

Hola,

Del downloader al Meta, y del Meta a Python.

Tomando un py de base que encontre en la red, finalmente consegui modificarlo para poder leer los archivos del Meta directamente y usarla la data como dataframe de pandas (para el que usa python sabe de lo que hablo). Dado este primer paso, ahora viene la implementacion de estrategias y backtesting y jugar mas con portfolio management que es lo que estoy buscando. El que lo quiere me avisa por interno, solo para avezados jajaja.

Saludos,

Desconectado

#682 11-06-19 19:03

hernan99
Miembro
Calificacion :   

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

src = https://query1.finance.yahoo.com/v8/fin … nterval=1d

format.IN = '$(content).chart.result[0]'
format.OUT = {symbol},{date(data.timestamp[n]).fmt('YMD')},{$(q).open[n]},{$(q).high[n]},{$(q).low[n]},{$(q).close[n]},{$(q).volume[n]}

dataSize = 'data.timestamp.length'
q = 'data.indicators.quote[0]'

filter = '$(q).close[n] > 0'

1000

^GSPC
^IXIC

^FTSE
^GDAXI

^IPSA
^BVSP
^MERV

GOOG
MSFT
AAPL

EURUSD\=X
CLP\=X

Desconectado

#683 11-06-19 19:04

hernan99
Miembro
Calificacion :   

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

hola , esta es la configuracion que tenia para descargar datos de yahoo, pero ahora en w 10 no lo hace, alguna ayuda , gracias.

Desconectado

#684 11-06-19 20:40

get free
Miembro
Calificacion :   174 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

hernan99 escribió:

hola , esta es la configuracion que tenia para descargar datos de yahoo, pero ahora en w 10 no lo hace, alguna ayuda , gracias.

Ya hiciste la pregunta la semana pasada.

Intentaste ejecutando como administrador, como dice en el post #680?

Qué tal si das un poco más de información, como te lo pido en el post #675?


Existen 10 clases de traders: los que entienden binario y los que no.

Desconectado

#685 11-06-19 22:19

Ultra
Miembro
Calificacion :   42 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

y revisa el url como te comente en el #678, veo que tuyo no es el correcto

Desconectado

#686 14-06-19 17:18

Ultra
Miembro
Calificacion :   42 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

Getfree, se me esta complicando con este, es una pavada pero se me complico con el FORMAT.IN y con esos milisegundos a fecha?

URL de Prueba: https://widgetsdataifx.blob.core.window … 2019-06-14

archivo de configuracion:
src = https://widgetsdataifx.blob.core.windows.net/proteccionjson/portfolio/{symbol.split('-')[0]}.json?index={symbol.split('-')[0]}&type=portfolio&fecha_inicial={date().day(-periods).fmt('D-M-Y')}&fecha_final={date().fmt('D-M-Y')}

header += ,<name>

delim = /],[/

format.IN = /([\d]+)","([\d.]+)/
format.OUT = {symbol.split('-')[0]},{D[0]},{D[1]},{D[1]},{D[1]},{D[1]},0,PROTECCION - {symbol.split('-')[1]}

outFile = PROTECCION.txt

10

PR_RE-PROTECCION RECAUDADOR
AC_PE-ACCIONES PESOS

Gracias de antemano

Desconectado

#687 18-06-19 20:40

cristianc
Miembro
Calificacion :   

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

Alguno tiene problemas para bajar la info de la bcs?
Slds

Desconectado

#688 19-06-19 00:39

NoMatters
Miembro
Calificacion :   22 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

cristianc escribió:

Alguno tiene problemas para bajar la info de la bcs?
Slds

Hola, yo tampoco puedo

TRICOT .        <---(no matching data: 1 lines total)
SALMOCAM .      <---(no matching data: 1 lines total)
NORTEGRAN .     <---(no matching data: 1 lines total)
ENJOY .         <---(no matching data: 1 lines total)
BSANTANDER .    <---(no matching data: 1 lines total)
AGUAS-A .       <---(no matching data: 1 lines total)
ANTARCHILE .    <---(no matching data: 1 lines total)
INVERMAR .      <---(no matching data: 1 lines total)
INVERCAP .      <---(no matching data: 1 lines total)
ECL .   <---(no matching data: 1 lines total)
BANMEDICA .     <---(no matching data: 1 lines total)
BCI .   <---(no matching data: 1 lines total)
CMPC



Esto tengo en el configs:


src = http://www.bolsadesantiago.com/DatosGraficosSebra/DatosGraficos-ChartIQ/{symbol.trans(' ','_')}-DAYS.js
delim = /\},\{/
format.IN = /([\d-]+)\D+([\d.]+)\D+([\d.]+)\D+([\d.]+)\D+([\d.]+)\D+([\d.]+)/
format.OUT = {symbol},{D[1].trans('-')},{D[2]},{D[3]},{D[4]},{D[5]},{D[6]}

10

SPCLXIPSA
CENCOSUD
TRICOT
SALMOCAM
NORTEGRAN
ENJOY
BSANTANDER
AGUAS-A


Sea fiel a su sistema por muy simple que parezca... qué fácil suena.
Disciplina.

Desconectado

#689 19-06-19 09:34

get free
Miembro
Calificacion :   174 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

La BCS finalmente dio de baja el sitio antiguo.
Leer post #8153  --->  http://www.chilebolsa.com/foro/viewtopi … 55#p388855 (las URLs que funcionan son las dos últimas).


Existen 10 clases de traders: los que entienden binario y los que no.

Desconectado

#690 19-06-19 10:05

get free
Miembro
Calificacion :   174 

Re: PriceDownloader_Generic: El downloader todo terreno (y en 3 clics)

Ultra escribió:

Getfree, se me esta complicando con este, es una pavada pero se me complico con el FORMAT.IN y con esos milisegundos a fecha?

URL de Prueba: https://widgetsdataifx.blob.core.window … 2019-06-14

archivo de configuracion:
src = https://widgetsdataifx.blob.core.windows.net/proteccionjson/portfolio/{symbol.split('-')[0]}.json?index={symbol.split('-')[0]}&type=portfolio&fecha_inicial={date().day(-periods).fmt('D-M-Y')}&fecha_final={date().fmt('D-M-Y')}

header += ,<name>

delim = /],[/

format.IN = /([\d]+)","([\d.]+)/
format.OUT = {symbol.split('-')[0]},{D[0]},{D[1]},{D[1]},{D[1]},{D[1]},0,PROTECCION - {symbol.split('-')[1]}

outFile = PROTECCION.txt

10

PR_RE-PROTECCION RECAUDADOR
AC_PE-ACCIONES PESOS

Gracias de antemano

Cuando la fuente esté en JSON, el format.IN puede ser '$(content)'. Así no hay necesidad de separar los datos con delim.

src = https://widgetsdataifx.blob.core.windows.net/proteccionjson/portfolio/{symbol.split('|')[0]}.json

header = <TICKER>,<DATE>,<CLOSE>,<NAME>

format.IN = '$(content)'
format.OUT = {symbol.split('|')[0]},{date(D[0]/1000).fmt('YMD')},{D[1]},{symbol.split('|')[1]}

10

pr_re|PROTECCION RECAUDADOR
ac_pe|ACCIONES PESOS


Existen 10 clases de traders: los que entienden binario y los que no.

Desconectado

Pie de página

Powered by FluxBB