Manual de reduccion de datos astronomicos

[SusanaFG]

Me imagino que ya habrás visto este

http://www.physics.ucf.edu/~yfernandez/iraf/ourmanual.pdf

pero creo que donde más documentación hay es en iraf.net http://iraf.net/irafdocs/#

Si ese es el que dije q parecia algo util. Pero tengo q analizarlo en concreto porque este es general. Puede que me sirva si no uso imagenes del HST, el tema es que cada archivo de cada telescopio utiliza un modo de reduccion, aunque la mayoria es IRAF. Loq ue em perocupa son asl extensiones. Pero...ahora q lo pienso...podria usar algunas como de galex, puede que para un caso rapido me sirva, pero comoq ueremos centrarnos en HST..... ufff q agobio.

Perdon por el tema, sí, es a nivel profesional, de hecho es a nivel entre un astrofisico que es mi caso y un programador. Solo que a mi me han pedido aplicar mis conocimientos cientificos haciendo de programadora entre otras cosas. Y me esta superando, no todo esta por internet!!

El tema queda grande a todos, realmente es un tema por partes por un lado se necesita lso conocimientos de programadores y por otro de astrofisicos pero astrofisicos que trabajen con datos del Hubble. Y por desgracia a los pocos que se que trabajan con imagenes no saben contestarme ( o no quierer ¬¬).

El tema q veo es: o me veo intentando reducir imagenes de otro archivo, galex q es UV con las task normales usando Pyraf. Y a ver si hay suerte, o...meterme en el Hubble y a machacarme a leer e intentar sacar algo muy oscuro!!

Bueno muchas gracias!

[kikerv]

No hay de qué... siento no haberte podido ser de más ayuda pero no desesperes, quizás alguien te conteste. Yo soy administrador de sistemas aficionadillo a la astronomía y eso que necesitas es más de lo que puedo abarcar.

A pesar del agobio que tienes no puedo evitar sentir un puntito de envidia...

...Buff si es que este foro está cogiendo un nivel...

[Tracer]

no pillo ni papa. perdon por la desayuda susana....

[spidey_00]

No tengo ni idea de que se esta hablando pero como "gugel" lo sabemos usar todos quiza te eseñemos algo que se te escapo a la vista... voy con todo lo que me he encontrado...

En la pagina de tecnicas experimentales de astrofisica citan como manual de IRAF una web cuyo enlace esta "roto".

Pagina oficial del IRAF (NOAO) - http://iraf.noao.edu/

Hay "Documentation" en la columna izqierda. - http://iraf.noao.edu/docs/docmain.html

Pomoma college (hay un link en la pagina de la ucm)- http://www.googlesyndicatedsearch.com/u ... art=0&sa=N

Introduccion al IRAF - http://www.starlink.rl.ac.uk/star/docs/ ... occontents

En esta ultima cito

Código: Seleccionar todo

A great deal of documentation is available for IRAF. Most of the documentation comprises detailed manuals for the various individual, specialised packages. However, some more general documentation is available and, in particular, there is an introductory guide for new users: A Beginner's Guide to Using IRAF[1]. IRAF is a complex and in some ways non-intuitive system and it is well worth taking the time and trouble to learn the basics of its operation before attempting a complicated data-reduction task. The Beginner's Guide is an accessible and thorough document and is a good place to start. Even if you are already familiar with IRAF it is still worthwhile having a look at the Beginner's Guide because it may well still contain useful information which is new to you. Another useful document is A User's Introduction to the IRAF Command Language[13] which describes the IRAF command language, cl.

Copies of these documents can be retrieved from the IRAF Web or anonymous ftp sites (see Section  for details). The directory specifications given below are relative to the `top-level' IRAF directory given in Section . The Beginner's Guide is available as file:

pub/beguide.ps.Z
The Introduction to the IRAF Command Language is available as file:

iraf/docs/cluser.ps.Z
Both of these files are in compressed postscript format. Remember to set ftp to binary mode prior to retrieving them. Once retrieved, they should be decompressed using Unix command uncompress (sic) and can then be printed on a postscript printer. Most IRAF documents (but not the Beginner's Guide) are kept in directory iraf/docs. A complete, up-to-date list of documents is kept in file:

iraf/docs/README
which is a simple ASCII text file.


Habla de guias introducotrias para IRAF que estan disponibles via FTP (totalmente libre, he entrado con Filezilla y me los he descargado correctamente) el archivo README es un archivo normal con un indice de que es cada archivo cito un cacho

Código: Seleccionar todo

IRAF DOCUMENTATION ARCHIVE

    This directory contains a selection of the available IRAF manuals, user's guides, technical documents, old iraf newsletters, revisions summaries, and so on, provided either as simple printable ascii text (".txt" files), or in Postscript format (".ps" files) suitable for output directly to any Postscript printer.  The typeset documents are provided in Postscript format to avoid the many problems involved in trying to generate complex documents from the document sources, which might be anything, e.g., Troff, TeX, Latex, encapsulated postscript, Frame, MacWrite, etc. In general the technique required to print a Postscript document is system dependent, but the following example will work on many UNIX systems that use
the BSD "lpr":
   zcat <document>.ps.Z | lpr -P<printer>
where <document> is the name of the document from the archive, and <printer> is the local site dependent name of the printer you want to output to.  If you do not have access to a Postscript printer locally contact us and we will send a printed copy of the desired manual.  Note also that the sources for many of these documents are included in the iraf source distribution. The list of documents in the archive is constantly growing.  The following documents are currently provided.

README         This file.  This serves as a condensed bibliography
         of the contents of the documentation archive.


TOC_news.txt            Table of Contents for IRAF Newsletters.

TOC210_vol1a.txt        Table of Contents for IRAF User Handbook Volume 1A,
         IRAF Version 2.10, 1 page.

TOC210_vol2b.txt        Table of Contents for IRAF User Handbook Volume 2B,
         IRAF Version 2.10, 2 pages.

[...]
daophot1.ps.Z           A User's Guide to Stellar CCD Photometry with IRAF,
                        Philip Massey and Lindsey Davis, March 1990, 59 pages.
                        [A user's guide for DAOPHOT/IRAF, in particular.]

daophot2.ps.Z           A User's Guide to Stellar CCD Photometry with IRAF,
                        Philip Massey and Lindsey Davis, April 1992, 71 pages,
                        V2.10.  [A user's guide for DAOPHOT/IRAF, in
         particular.]

daorefman.ps.Z          A Reference Guide to the IRAF/DAOPHOT Package, Lindsey
         E. Davis, January 1994, 85 pages.

dbio.txt.Z              Design of the IRAF Database Subsystem, Doug Tody,
                        October 1985 (draft), 64 pages. [NOTE: use only to
                        help understand the conceptual development of the
         iraf database design]

dfio.txt.Z      Datafile I/O Design (preliminary DRAFT), Doug Tody,
         February 1988, 31 pages.

Son muchisimos documentos, pero yo no se como descomprimirlos. Lo explican someramente al final de la primera cita.

Dirreccioness FTP para descargar todos los archvos

Código: Seleccionar todo

Obtaining IRAF   

You can retrieve a copy of IRAF via the Internet by anonymous ftp. It can be downloaded from either the original NOAO site in Tucson or from a mirror (that is, an identical copy) maintained by Starlink at the Rutherford Appleton Laboratory. The latter is quicker and more convenient for sites in the UK. The Starlink mirror is updated from the NOAO original every night and hence can be no more than twenty-four hours out of date. The access details are as follows.

NOAO, Tucson
 
URL: http://iraf.noao.edu/ Anonymous ftp
site:   ftp.noao.edu
directory:   /iraf
Retrieve file README for further details.

Starlink mirror
 
URL: http://www.starlink.rl.ac.uk/iraf/ Anonymous ftp
site:   ftp.starlink.rl.ac.uk
directory:   /pub/mirrors/iraf
Retrieve file README for further details.

There are additional mirrors in Germany and Japan. Installing IRAF is a non-trivial process and will almost certainly require the assistance of your site manager. Some hints on obtaining and installing IRAF are given in Appendix . Postscript versions (suitable for printing) of all the IRAF manuals mentioned in this document can also be retrieved from the NOAO IRAF site and the Starlink mirror. In practice you are more likely to use the IRAF sites to obtain documents than a complete installation.

If you are not familiar with the ftp utility then ask a colleague or your site manager for assistance. Alternatively, the books by Krol[10] and Thomas[15] include good descriptions.


No se si es morraya o si sirve para algo o si ya lo has visto, pero me intereso el temilla y me puse a buscar.

Saludos y que se te solucione este problemilla.

Con "gugel" y 10 minutos te puedes hacer tecnico de la nasa ... si sabes abrir los archivos claro...

EDITO: Me encanta esto "Installing IRAF is a non-trivial process..." vamos, que es complicao de coj***s

[Nodlom]

Hola Susana,

Yo soy astrofísico y, aunque en realidad trabajo en radioastronomía, también he utilizado IRAF en varias ocasiones para reducir datos de infrarojo. Algunos instrumentos tienen sus propios paquetes, pero las funciones básicas, que es lo que te interesa manejar ahora mismo, son comunes a todos. También he utilizado una pipeline especializada para un instrumento que estaba escrita en Python, y que por lo tanto utilizaba pyraf para acceder a los comandos de IRAF.

Yo creo que antes de ponerte a implementar algo en Python, tendrías que familiarizarte con algunas tareas básicas de IRAF, ver cómo funcionan, los parámetros de entrada y los parametros de salida; cómo se utilizan y qué resultados y formatos se obtienen de ellos. Puedes empezar con los básicos: imarith, imstat, imcombine, imheader (esto lo usaras mucho), etc, y los paquetes tipicos noao, imred, ccdred, etc. Hay muchas otras cosas, pero ya depende de lo que necesites hacer exactamente, no sé. Por ejemplo eparam seguro que lo necesitaras para modificar los parametros de cada tarea.

IRAF no es sencillo de utilizar, precisamente porque es muy completo. Básicamente lo principal es tener claro qué es lo que necesitas hacer para saber qué paquetes cargar y qué subtareas utilizar. La documentación de IRAF es prácticamente infinita, y supongo que ese es el problema que tienes. Yo solía utilizar un manual imprimido que estaba muy bien, pero ahora estoy en La Palma y no tengo acceso a él y no recuerdo exáctamente de dónde salió. Intentaré localizarlo. Igualmente, intenta escoger un manual de la red que te parezca amigable y ponerte en serio con él, leerlo paso a paso. Procura no mirar muchos manuales a la vez, que si no te volverás loca, jeje, centrate en uno o dos.



Para hacer el script en Python supongo que ya tienes instalado lo necesario: Numpy y Scipy, que son las aplicaciones numéricas de Python, y luego Pyraf, que es lo que se utiliza para poder importar y utilizar las rutinas de IRAF. Esto lo he utilizado, pero no lo he programado yo mismo.


En cualquier caso, supongo que lo que necesitas ahora es encontrar un manual básico de IRAF que no se complique demasiado. Ya te han puesto muchos links, intentaré buscarte ese que utilicé yo, por si te sirve. De todas maneras, ten paciencia, porque nadie ha aprendido IRAF en dos días. Y las cosas bien hechas no se pueden hacer rápido.


Bueno, no sé muy bien qué es exáctamente lo que necesitas hacer, así que no puedo decir más. Si necesitas cualquier cosa estoy por aquí.

Que vaya bien y ánimos.

Un saludo,

[SusanaFG]

Hola Nodlom,

Tambien soy astrofisica y estuve trabajando en radioastronomia, y tb hice alguna reduccion de datos con IRAF del IR. Y sí, conozco esos comandos y de hecho tengo un algoritmo (logico los use jaja). El caso es q no...ummm mis jefes no lo ven de ese modo, aqui te lanzas de lleno, python ya esta mirado y aqui el tiempo es oro, asi q todo sobre la marcha, ya me gustaria a mi poder ir paso a paso. Ahora algunos de los comandos basicos que has dicho de noao no los conozco, y se que el algoritmo es diferente en UV que en IR ya que logicamente se ven afectados de distintos efectos.

Justo lo que comentas, a ver yo trabajaré con UV y como nos centramos en el HST deberia usar todo lo del HST, pero su camara UV, la ACS tiene un nuevo metodo de reduccion (drizzle y multidrizzle, tal vez lso conozcas) este es muy complejo, y trae un handbook a parte, por eso mi idea es centrarme en todo lo anterior a este metodo. El problema se centra en que bajare datos de HST raw para reducir para el prototipo. Por eso necesito el algoritmo del HST en IRAF para luego usarlo en pyraf, eso sin problemas ya se como funciona python (salvo la orientacion a objetos cosa en la q ando ahora).

Si la documentacion es infinita no solo de IRAF sino del HST y si es mi problema que yo querria algo sencillo...Si lograras encotrar ese manual!!! Localice uno muy basico estoy por irme a alguna imagen de GALEX que sea muy basica, bias, flat lo basico y aplicarle en algortimo que tengo pero es en IR....(no seras de la UCM??)

Scipy lo necesito??? tengo cosas de esa pagina instaladas pero no el paquete. Tengo Numpy y todos los paquetes que encontre pero no parecia necesitar el scipy, tambien me instale los que decia el HST y un paquete que ellos mismo crearon donde incluia multiples librerias.

Los links que me han puesto los habia visto todos antes, pero ninguno me convencia. Explicale a mis jefes que tengo q leer el manual de pyraf el de IRAF y todos los de HST para crearme un algoritmo, su idea era...."algoritmo de python seguro q el HST tiene" (ellos son ingenieros y no tienen ni idea de lo q piden!!!). Un manual que pusieron la ultima vez y uno del 97 parecen buenos, en ellos aparecen solo los nombres de las task o el para que sirven tb?

Te importa que te mande un mensaje personal para ser mas clara en lo que necesito? O me das una direccion que veas mas asiduamente?
No te preocupes por terminos, deje la tesis a los dos años y me meti en empresa privada. La tesis la empece en radio y... ahora con lo del UV.... y IRAF ...que pense q no veria mas linux....

¿Podria usar imagenes raw de GALEX con las task basicas?, ellos solo quieren ver q entra y sale una imagen.... q este bien o mal les da igual, solo ver q es viable y ya me daran tiempo para hacer un codigo correcto.

Muchas gracias por tu ayuda la verdad es q.... tengo q encontrar algo conciso.

Saludos

Susana

[Nodlom]

Vale, veo que tus jefes ingenieros lo que quieren ver es una versión que funcione de un script urgentemente, para luego ya centrarte en profundizar en los resultados. Pero como dices que ya has trabajado con IRAF, ya tienes el feeling general de cómo funciona una reducción normal. Así que la cosa está en centrarte en una reducción específica para datos del HST y pasarlo a python directamente.

Lo del drizztle lo he utilizado, porque en IR hay que hacerlo para eliminar el brillo del cielo, que en IR es demasiado brillante. Funcionará diferente para UV, pero hay información muy directa, y creo que es lo que necesitas en:

http://www.stsci.edu/largefiles/hst/HST ... rizzle.pdf

Lo malo es que no tiene referencias, para completar y actualizar el contenido. Pero puedes encontrar más información en el ADS buscando esos autores: Koekemoer y Fruchter,

Pero tienes razón, posiblemente es mejor coger una imagen simple para dar una estructura básica al programa, ya habrá tiempo de complicarlo. Si tienes alguna imagen a mano de Galex podría irte bien. En eso no te puedo ayudar porque nunca he tenido ni trabajado imágenes. Pero si tienes imágenes similares de NICMOS, por ejemplo, úsalas, porque será lo que al final tendrás entre manos, y no merece la pena trabajar con otro instrumento, que tendrá sus propias peculiaridades.

No he visto artículos que puedan servirte, sólo el abstract de un poster ( http://adsabs.harvard.edu/abs/2007AAS...210.7603B ). Aunque ahí no hay nada, te puede servir de referencia de autores. Así que tendrás que ir directamente a la documentación que seguro ya has visto. Una idea es que podrías implementar la point-source photometry de NICMOS:

http://www.stsci.edu/hst/nicmos/perform ... kbook.html

Si ya tienes un algoritmo básico para IR no creo que te cueste mucho modificarlo para UV y luego completarlo para hacer la fotometría que se describe en ese cookbook.

No soy de la UCM, estoy en la UB,

Lo de Scipy lo decía porque siempre lo uso para programas generales. Es como una extensión de Numpy, como un intento para englobar funciones científicas. Pero si no lo has necesitado no te preocupes, con Numpy y lo que te pida el HST ya tendrás suficiente, no hace falta que lo instales.



Releyendo el final de tu mensaje, y pénsandolo mejor.... creo que lo mejor es que pases de la fotometría completa y hagas una reducción básica, como decías. Abrir el FITS ,creo que se hace con pyfits.open(), y luego haz alguna operación con él (si tienes los flats y darks, por ejemplo). Intenta combinar algún manual con algún script ya hecho, que es mucho más directo. Mirando un script similar ya operativo tendrás medio trabajo hecho. Si no tienes ninguno, a lo mejor te sirven estos ejemplos:

http://astropy.scipy.org/svn/pyfits/trunk/test/ (hay un par de .py)

http://www-xray.ast.cam.ac.uk/papers/ds ... spectra.py
http://adassxiv.ipac.caltech.edu/Presen ... andout.pdf


Seguro que durante el fin de semana puedes sacar una versión básica de un programa con el que empezar a toquetear imágenes.

Un saludo, que vaya bien.

[SusanaFG]

Siii Muchas gracias en serio. Si al final he optado por ir a lo mas basico. Es solo que en el modo de reduccion si vi que no es lo mismo para IR que lo general, en IR segun releei en lo que tenia... no es BIAS y DARK, es cielo.

A ver...estudiandome de neuvo como iba todo esto: lo general es un promedio de BIAS, este seria un superbias, se lo restas a lso dark y hace un promedio de dark, de aqui sacas el superdark. Luego tienes los flat. hace sun promedio de flat, digamos MFLAT, a este le resta el superdark. Y al final lo normalizas ya tienes un superflat. Luego tomas la imagen de ciencia y le restas el superdark. Y al final a este la divides por el superflat. No?

pero... lo que no me cuadra es...¿cuando haces las correcciones (efectos)? porque hay muchas y cuando yo lo hice fue lo basico, salvo alinear las imagenes del IR. Pero tb hay fringing y rayos cosmicos. Esto sería antes de tratar la de imagen de ciencia?

Tambien vi que las task que yo habia usado eran distintas a las encontradas en un manual general del IAC.
Y aunque ahora lo hago manualmente esto se debera hacer en modo automatico. Lo cual realmente no se como hacen las reducciones automaticas, porque yo considero que hay cosas que necesitas revisar.

Por otro lado, aparte de mi duda de reduccion, gracias por lo de NICMOS no se me habia ocurrido la verdad, seguro que me es mucho mas facil de ese modo. Y gracias por los link me van a ser de gran ayuda!!

Hoy mas o menos les explique y...cambiaron un poco el chip. Ahora me dejan ir por pasos, para empezar el menu, luego seguiremos con algo solo bajo python, sin emplear nada concreto y demas....ahora en vez de 2 semanas me han dado 2 meses!!

A esto tengo una duda que me acaba de surgir porq los datos raw que use los obtuvimos nosotros (me refiero en la uni). Cuando bajas datos raw, ¿te vienen todos los bias, dark y flat o te pasan los superbias, superflat y superdark?, es decir una imagen por cada tipo.

Y con esto repito muchas gracias a todos!!!!

manos a la obra!!!

[Nodlom]

Hola Susana,

Bien, el proceso es ese mismo, sí: el bias se resta para poner un origen a la intensidad de los pixels, es decir, definir el cero. La forma de restarlo depende del instrumento, hay algunos que tienen unos pixels especiales para eso y lo hacen automáticamente. Ese valor se le tiene que restar a todas las imágenes, y no preocuparte más por él. Cuidado con los darks, que no hay sólo uno. Tienes que hacer un masterdark para cada tiempo de exposición. Es decir, si tienes una imagen de 5 minutos, otra de 10 minutos y un flat de 1 minuto, en principio deberías tener 3 masterdark, uno para cada uno de esos intervalos de tiempo. Es decir, coges todos los darks de 5 minutos, haces una media, y así tienes un masterdark_5s, y así para todos los tiempos. Como tienes que trabajar con listas, lo mejor es primero crear listas par todos los grupos de archivos que tengas. Puedes hacerlo de forma bastante automática creando listas usando | grep EXP_TIME, que es un parámetro que tendrás en el imheader.

Para los Flats, algo parecido. Antes de nada deberías hacer un imstat de la lista de flats para ver que todos dan un valor promedio de la intensidad de los píxeles similar. Hay veces que los flats no salen bien, y salen muy intensos, o con muchos pixels malos. Haciendo un imstat de todos ellos podrás ver las divergencias, y no utilizar los que se salen mucho del promedio. Los flats se combinan haciendo un avarage con la opción scale median (porque así se eliminan pixels divergentes). De hecho tienes esta tarea para hacerlo rápido:

eparam flatcombine

input = @flats.lis
(output = flatinicial.fits
(combine= average
(reject = avsigclip
(scale = median

Así obtienes el masteflat, que sólo tendrás 1 en principio. Este masterflat debe estar normalizado a la unidad (porque simplemente es una compensación de la respuesta de los pixels). Así que tienes que hacer un imstat para ver el valor medio, y luego dividir el masterflat usando imarith entre el valor que has obtenido antes. De esta manera, al volver a hacer imstat deberías obtener 1.

Por último, divides todas las imágenes de la fuente por el masterflat (por ejemplo con imarith) y ya están listas para trabajar. Siempre, en cada paso, tendrías que comprobar que las imágenes tienen sentido, y eliminar las que son defectuosas, que a veces pasa. Si hace falta puedes hacerles offsets para centrar todas las imágenes (por ejemplo si se ha usado dithering). Para ese punto ya hay que ir con más cuidado. Los offsets pueden estar en el header, en los parámetros RAOFF y DECOFF, si es automático, o se pueden buscar manualmente.

Y con eso ya se puede sumar todas las imágenes.

Respecto a los cósmicos, uhmm, no estoy muy seguro de cómo y cuándo se hace. No sé qué tarea hay para hacerlo, yo usaba un script que localizaba regiones extrañas y los eliminaba, pero no siempre era fiable del todo. En cualquier caso suele ser algo automático, y puedes definir unos threshold manualmente.

Respecto a cómo vienen los archivos. Bueno, lo normal es que cada imagen, cada flat y cada dark sean un fits diferente. Cada vez que tomas cada uno de ellos se guardan en un archivo, y puedes localizarlos por el nombre del archivo o por la información del header. Ahí también puedes ver los tiempos de exposición y demás características.

Bueno, pues creo que con eso, y teniendo unos meses, ya tienes faena por delante.

Que vaya bien.

Nodlom

[SusanaFG]

Muuuuuchas gracias!!! ok, pues me pongo a ello. Indagare lo de los rayos cósmicos y demás. Tengo para rato. Asi q.... aunque me temo que esto va a traerme muchos problemas.

iré poco a poco a ver que saco, para los modos automáticos creo q lo mejor los manuales de pipeline.

Ale a currar (bueno es finde los findes no se trabaja!)