NIC Web
staff/DataReductionTool
をテンプレートにして作成
開始行:
[[staff]] にもどる。
#contents
高橋が個人用に作っているデータ処理支援ツールに関する説明...
まだまだ整備中なので、結果は保証できません。
自己責任でお使いください。
* 共有マシン CAMERAでの利用 [#jc2eb652]
-''解析ツールはまだ開発段階で頻繁に更新している。CAMERA上...
- nhao アカウントではそのまま使える。
- 他のアカウントで使うときは、"~/.bashrc"または"~/.bash_p...
最新のバージョンを使うには
PATH=$PATH:/home/nhao/nic/nicred.latest/task
過去のバージョンを使うには
PATH=$PATH:/home/nhao/nic/nicred.xxxxxx/task
端末を立ち上げなおす。
* 他のマシンへのインストール [#ada1b9fd]
- 必要な環境: IRAF, ds9, c言語コンパイラ, cfitsio, xpa, s...
// - 以下のファイルをダウンロードし、適当な場所に展開する。
// --http://www.nhao.jp/~nic/closed/nicred.130208.tar.gz
// -- ユーザ名はnhao、パスワードはこの wiki と同じ
- scp などで、CAMERA内/home/nhao/nic/nicred.xxxxxx ディレ...
- nicred.xxxxxx/task ディレクトリに移動。
- Cのプログラムをコンパイルする
$sh gccall.sh
-- うまくいかないときは、gccall.sh を編集する。現状はubun...
$gcc -o calpat calpat.c -lm
$gcc -o lines2D lines2D.c
$gcc -o medpat medpat.c
$gcc -o medpat_rot medpat_rot.c
$gcc -o ut2jd ut2jd.c -lm
$gcc -Wall -I/usr/local/include -L/usr/local/lib -o skys...
$gcc -Wall -I/usr/local/include -L/usr/local/lib -o getn...
(-I, -L は環境によって変わる)
// - nicred.sh をテキストエディタで開く
// ~最初のほう、
// export taskdir=/Volumes/HDPC-U/research/nic/task
// の=以下を、実際に taskディレクトリをいれた場所に書き換...
//- nicdark.sh をテキストエディタで開く
//~nicred.sh と同様に、最初のほう、
// dtaskdir=/Volumes/HDPC-U/research/nic/task
//の=以下を、実際に taskディレクトリをいれた場所に書き換...
- "~/.bashrc"または"~/.bash_profile" に以下のような記述を...
PATH=$PATH:/home/nhao/nic/nicred.xxxxxx/task
* 解析ごとの準備 [#c79a634f]
- データが入っている解析作業用ディレクトリに移動
- nicred.xxxxxx/common の中身をコピーして持って来る
$cp ~/nic/nicred.xxxxxx/common/* .
- ds9 を開いておく
$ds9 &
* ダーク作成 (nicdark.sh) [#x60736bd]
- ''2013年2月以降のバージョンでは、nicdark.sh は [[nicre...
* フラット作成 [#a78dd647]
ツールは作ってません。common/ の中に、以前作ったフラット...
* 一次処理から重ね合わせまで (nicred.sh) [#q16dd32a]
複数のディザリングセットに対して、共通の設定で、一次処理...
設定が面倒なときは、
$ nicred.sh -a
で、とりあえず走る。(version 140117 以降)
設定をカスタマイズするときは、以下のように
セットの設定ファイルを編集 (*.setof.set)と共通設定ファイ...
// sample.common.set の"date" だけ、変えればとりあえず走...
- セットの設定ファイルを編集 (*.setof.set):処理対象とする...
-- 2013年3月以降のデータに関しては、次のコマンドで自動で...
mksetof.sh
生成された all.setof.set の内容をチェックし、必要があれば...
-- 2013年2月以前のデータのときは、サンプルファイルを編集...
$mv sample.setof.set SN2012dn.setof.set
$vi SN2012dn.setof.set
-- 例
# name_(set-id) start_file_id end_file_id
SN2012dn_01 111 120
SN2012dn_02 121 130
SN2012dn_03 131 140
SN2012dn_04 141 150
SN2012dn_05 151 160
# SN2012dn_06 161 170
# SN2012dn_07 171 180
---左から、セット毎にユニークな名前、開始ファイル番号、終...
---コメントアウトしたい場合は "#" を1列目に書く。"#" の...
-- 一部のファイルを使いたくない場合(一瞬だけ、曇った場合...
--- 4列目以降に、除外したいファイル番号を書く
SN2012dn_02 121 130 125 128
SN2012dn_02 121 130 122 123 125 126
- 共通設定ファイルを編集 (*.common.set): 画像処理のパラ...
$mv sample.common.set SN2012dn.common.set
$vi SN2012dn.common.set
--設定ファイルは、
(変数名) (値)
という書式で書かれている。値(2列目)を編集してください。
-- いろいろあるが、標準では、date(生画像名についている観...
--各変数の意味はいちおうサンプルファイル内にコメントして...
詳細は高橋にお尋ねください。
- 実行
$nicred.sh [option] setof.set common.set jhk
(例) $nicred.sh SN2012dn.setof.set SN2012dn.common.s...
$nicred.sh CTA102.setof.set CTA102.common.set jhk
- オプション
-- -n: ダーク画像(common.set で autodark=yes の場合) と...
-- -1: ダーク、フラット、バッドピクセル処理、ホット・ダー...
-- -2: 縦パターン除去、画像シフト、重ね合わせのみ実行(-1...
-- -b: 途中の画像の表示を最低限にする。(n, 1, 2 と組み合...
-- -a: デフォルトの設定でディレクトリ内のすべてのDL画像に...
$ nicred.sh -a
-- -o: -aと組み合わせて使う。すでに処理が完了した(cm.fit...
$ nicred.sh -ao
-- -s objname: -a と組み合わせて使う。指定した天体名のデ...
$ nicred.sh -a -s SN2012dn
- Tips
-- まずは1セットのみで、ちゃんとプログラムが通るか、テス...
-- %%"nicred.log" というファイルに、ログが保存される。%% ...
$grep -A10 -B10 ERROR nicred.log
などとすれば、どこでエラーが起きたかがわかる。
-- もっとも失敗しやすいのは、画像シフトの部分 ~
common.set の中の "shiftdata" の設定により、以下の5種類の...
+++ wcs(デフォルト): wcs を参照してオフセット。できないと...
+++ brightest: まず1枚目の画像全体(端っこを除く)から最...
+++ header: まず fits header の offset 値をもとにシフトさ...
+++ imexa: imexa により画面の基準星上で"a"を押すことによ...
+++ imexa1: セットの始めの画像にのみimexaを実行。あとの画...
--- やり直すときは、
$nicred.sh -2b SN2012dn.setof.set SN2012dn.common.set j
と、オプションを使えば、処理が早く済む。
- 出力ファイル一覧
1) ダーク引き後 j(date)_(object).(name).da.fits [例] ...
2) フラット補正後 j(date)_(object).(name).fl.fits [例]...
3) 除去したホット・ダークピクセル j(date)_(object).(na...
4) 合成したスカイ画像 j(name).sk.fits [例]jSN2012dn_01....
5) スカイ引き後の画像 j(date)_(object).(name).ss.fits [...
6) 縦パターン除去後 j(date)_(object).(name).sp.fits [...
7) 位置合わせ後 j(date)_(object).(name).sf.fits [例] ...
8) 重ね合わせ後 j(name).cm.fits [例]jSN2012dn_01.cm.fits
9) wcstoolsでWCS付与した重ね合わせ画像 j(name).cmw.fits ...
10) wcstools で付与した6) j(date)_(object).(name).spw.fi...
12) astrometry.netでWCS付与した6) j(date)_(object).(name...
13) astrometry.netでWCS付与した重ね合わせ画像 j(name).cm...
14) spW.ftis (12) を重ね合わせた画像 j(name).cmWs.fits ...
15) cmw(9), cmW(13), cmWs(14) のうち重ね合わせ数が最も多...
(重ね合わせ数が最も多いものが複数あるときは、cmW>cmw>...
ただし、設定で、変数disksave を"yes"とした場合(デフォル...
- [[nicred.sh の下請けプログラム>./set-by-set-reduction]]
* 画像連続表示 [#xde39413]
(例)$ dispall.sh j*cm.fits
* 測光関係 [#f8bbec93]
以下はまだまだ、テスト段階です。
- prephot.sh: fwhm, sky sigma を求める
(例) prephot.sh jSN01.cm
fwhmを測った星の座標ファイル(*.coo.1)も作成される。
allapp.sh を使うなら、一番明るい星(画像の端は除く)を含...
- findap.sh: apeture vs mag 図を作る(要gnuplot)
findap.sh image_file min_aperture max_aperture
(例) findap.sh jSN01.cm 15 35
- autoapp.sh: aperture 測光する
(例)autoapp.sh hSN01.app.set hSN01.cm
- allapp.sh: 複数の画像に対して測光する。
(例)allapp.sh SN.alap.set jSN2012dn_05.cm.coo.1 jSN*c...
* WCS関係 [#qadea4af]
- getwcs.sh: 自動でWCS付与(wcstools)
getwcs.sh cm.fits
getwcs.sh -s sp.fits
- getwcs.sh: 自動でWCS付与 (astrometry.net)
getwcs_astmnet.sh hoge.fits
(複数ファイルを与えることもできる)
getwcs_astmnet.sh *.sp.fits
- manuwcs.sh: 2MASS画像と見比べながら、手動でWCS付与。
manuwcs.sh fits
* 試したいこと、修正したいこと [#q5c135bc]
- nicred.sh
-- スカイ作成: median で作ったスカイを、多項式フィットで...
-- nodarkprime.py:
--- 生画像からセルフスカイ(median、スケーリングなし)作...
--- フラット、バッドピクセル、宇宙線処理
--- add sky count(ここから未)
--- もう一度スカイ作成(median、スケーリングあり)
--- スカイ引き(スケーリング)
--- => これできれいになるか?
-- 縦パターン除去: フーリエ解析による方法
-- 重ね合わせ: sp画像のfitsヘッダーを引き継ぐ。
-- WCS付与: astrometry.net のソフトを使う。
- 済
-- スカイ引き: 外部スカイフレームを自動的に選択。
-- nicdark.sh : 同じ観測日に dark frame がないときは、他...
-- 縦パターン除去maskmedian: mask された部分は median 計...
-- 重ね合わせ: できるときはsp画像にWCS付与して、WCSを参照...
-- スカイ引き: 外部スカイフレームを使うときも、スケーリン...
-- スカイ作成: 星をmaskしてから、スカイ作成
-- 縦パターン除去: "sample" 法のとき、sample region のシ...
-- setof.set を header 情報から自動的に作る(済): mkseto...
-- 画像シフト: 1枚目だけimexa し、あとは header から予測...
-- スカイ作成: スケーリングファクターが負になったときに、...
--- スカイ作成時はimcombine がエラー処理してくれる。スカ...
* wiki、ソフト変更履歴 [#wb2be8c4]
- 120723: 高橋 新規作成
- 121013: 高橋 プログラム更新を反映
- 130208: 高橋 プログラム更新を反映
- 130404: 高橋 mksetof.sh, imexa1 の記述を追加
- 140323: 高橋 プログラム更新を反映
- 140424: 高橋 プログラム更新を反映
- 150418: 高橋 nicred.sh デフォルトを縦パターン除去をaut...
- 150629: 高橋 ダークを使わない1次処理プログラム(nodarkp...
- 160615: 高橋 allapp.sh の記述を追加
終了行:
[[staff]] にもどる。
#contents
高橋が個人用に作っているデータ処理支援ツールに関する説明...
まだまだ整備中なので、結果は保証できません。
自己責任でお使いください。
* 共有マシン CAMERAでの利用 [#jc2eb652]
-''解析ツールはまだ開発段階で頻繁に更新している。CAMERA上...
- nhao アカウントではそのまま使える。
- 他のアカウントで使うときは、"~/.bashrc"または"~/.bash_p...
最新のバージョンを使うには
PATH=$PATH:/home/nhao/nic/nicred.latest/task
過去のバージョンを使うには
PATH=$PATH:/home/nhao/nic/nicred.xxxxxx/task
端末を立ち上げなおす。
* 他のマシンへのインストール [#ada1b9fd]
- 必要な環境: IRAF, ds9, c言語コンパイラ, cfitsio, xpa, s...
// - 以下のファイルをダウンロードし、適当な場所に展開する。
// --http://www.nhao.jp/~nic/closed/nicred.130208.tar.gz
// -- ユーザ名はnhao、パスワードはこの wiki と同じ
- scp などで、CAMERA内/home/nhao/nic/nicred.xxxxxx ディレ...
- nicred.xxxxxx/task ディレクトリに移動。
- Cのプログラムをコンパイルする
$sh gccall.sh
-- うまくいかないときは、gccall.sh を編集する。現状はubun...
$gcc -o calpat calpat.c -lm
$gcc -o lines2D lines2D.c
$gcc -o medpat medpat.c
$gcc -o medpat_rot medpat_rot.c
$gcc -o ut2jd ut2jd.c -lm
$gcc -Wall -I/usr/local/include -L/usr/local/lib -o skys...
$gcc -Wall -I/usr/local/include -L/usr/local/lib -o getn...
(-I, -L は環境によって変わる)
// - nicred.sh をテキストエディタで開く
// ~最初のほう、
// export taskdir=/Volumes/HDPC-U/research/nic/task
// の=以下を、実際に taskディレクトリをいれた場所に書き換...
//- nicdark.sh をテキストエディタで開く
//~nicred.sh と同様に、最初のほう、
// dtaskdir=/Volumes/HDPC-U/research/nic/task
//の=以下を、実際に taskディレクトリをいれた場所に書き換...
- "~/.bashrc"または"~/.bash_profile" に以下のような記述を...
PATH=$PATH:/home/nhao/nic/nicred.xxxxxx/task
* 解析ごとの準備 [#c79a634f]
- データが入っている解析作業用ディレクトリに移動
- nicred.xxxxxx/common の中身をコピーして持って来る
$cp ~/nic/nicred.xxxxxx/common/* .
- ds9 を開いておく
$ds9 &
* ダーク作成 (nicdark.sh) [#x60736bd]
- ''2013年2月以降のバージョンでは、nicdark.sh は [[nicre...
* フラット作成 [#a78dd647]
ツールは作ってません。common/ の中に、以前作ったフラット...
* 一次処理から重ね合わせまで (nicred.sh) [#q16dd32a]
複数のディザリングセットに対して、共通の設定で、一次処理...
設定が面倒なときは、
$ nicred.sh -a
で、とりあえず走る。(version 140117 以降)
設定をカスタマイズするときは、以下のように
セットの設定ファイルを編集 (*.setof.set)と共通設定ファイ...
// sample.common.set の"date" だけ、変えればとりあえず走...
- セットの設定ファイルを編集 (*.setof.set):処理対象とする...
-- 2013年3月以降のデータに関しては、次のコマンドで自動で...
mksetof.sh
生成された all.setof.set の内容をチェックし、必要があれば...
-- 2013年2月以前のデータのときは、サンプルファイルを編集...
$mv sample.setof.set SN2012dn.setof.set
$vi SN2012dn.setof.set
-- 例
# name_(set-id) start_file_id end_file_id
SN2012dn_01 111 120
SN2012dn_02 121 130
SN2012dn_03 131 140
SN2012dn_04 141 150
SN2012dn_05 151 160
# SN2012dn_06 161 170
# SN2012dn_07 171 180
---左から、セット毎にユニークな名前、開始ファイル番号、終...
---コメントアウトしたい場合は "#" を1列目に書く。"#" の...
-- 一部のファイルを使いたくない場合(一瞬だけ、曇った場合...
--- 4列目以降に、除外したいファイル番号を書く
SN2012dn_02 121 130 125 128
SN2012dn_02 121 130 122 123 125 126
- 共通設定ファイルを編集 (*.common.set): 画像処理のパラ...
$mv sample.common.set SN2012dn.common.set
$vi SN2012dn.common.set
--設定ファイルは、
(変数名) (値)
という書式で書かれている。値(2列目)を編集してください。
-- いろいろあるが、標準では、date(生画像名についている観...
--各変数の意味はいちおうサンプルファイル内にコメントして...
詳細は高橋にお尋ねください。
- 実行
$nicred.sh [option] setof.set common.set jhk
(例) $nicred.sh SN2012dn.setof.set SN2012dn.common.s...
$nicred.sh CTA102.setof.set CTA102.common.set jhk
- オプション
-- -n: ダーク画像(common.set で autodark=yes の場合) と...
-- -1: ダーク、フラット、バッドピクセル処理、ホット・ダー...
-- -2: 縦パターン除去、画像シフト、重ね合わせのみ実行(-1...
-- -b: 途中の画像の表示を最低限にする。(n, 1, 2 と組み合...
-- -a: デフォルトの設定でディレクトリ内のすべてのDL画像に...
$ nicred.sh -a
-- -o: -aと組み合わせて使う。すでに処理が完了した(cm.fit...
$ nicred.sh -ao
-- -s objname: -a と組み合わせて使う。指定した天体名のデ...
$ nicred.sh -a -s SN2012dn
- Tips
-- まずは1セットのみで、ちゃんとプログラムが通るか、テス...
-- %%"nicred.log" というファイルに、ログが保存される。%% ...
$grep -A10 -B10 ERROR nicred.log
などとすれば、どこでエラーが起きたかがわかる。
-- もっとも失敗しやすいのは、画像シフトの部分 ~
common.set の中の "shiftdata" の設定により、以下の5種類の...
+++ wcs(デフォルト): wcs を参照してオフセット。できないと...
+++ brightest: まず1枚目の画像全体(端っこを除く)から最...
+++ header: まず fits header の offset 値をもとにシフトさ...
+++ imexa: imexa により画面の基準星上で"a"を押すことによ...
+++ imexa1: セットの始めの画像にのみimexaを実行。あとの画...
--- やり直すときは、
$nicred.sh -2b SN2012dn.setof.set SN2012dn.common.set j
と、オプションを使えば、処理が早く済む。
- 出力ファイル一覧
1) ダーク引き後 j(date)_(object).(name).da.fits [例] ...
2) フラット補正後 j(date)_(object).(name).fl.fits [例]...
3) 除去したホット・ダークピクセル j(date)_(object).(na...
4) 合成したスカイ画像 j(name).sk.fits [例]jSN2012dn_01....
5) スカイ引き後の画像 j(date)_(object).(name).ss.fits [...
6) 縦パターン除去後 j(date)_(object).(name).sp.fits [...
7) 位置合わせ後 j(date)_(object).(name).sf.fits [例] ...
8) 重ね合わせ後 j(name).cm.fits [例]jSN2012dn_01.cm.fits
9) wcstoolsでWCS付与した重ね合わせ画像 j(name).cmw.fits ...
10) wcstools で付与した6) j(date)_(object).(name).spw.fi...
12) astrometry.netでWCS付与した6) j(date)_(object).(name...
13) astrometry.netでWCS付与した重ね合わせ画像 j(name).cm...
14) spW.ftis (12) を重ね合わせた画像 j(name).cmWs.fits ...
15) cmw(9), cmW(13), cmWs(14) のうち重ね合わせ数が最も多...
(重ね合わせ数が最も多いものが複数あるときは、cmW>cmw>...
ただし、設定で、変数disksave を"yes"とした場合(デフォル...
- [[nicred.sh の下請けプログラム>./set-by-set-reduction]]
* 画像連続表示 [#xde39413]
(例)$ dispall.sh j*cm.fits
* 測光関係 [#f8bbec93]
以下はまだまだ、テスト段階です。
- prephot.sh: fwhm, sky sigma を求める
(例) prephot.sh jSN01.cm
fwhmを測った星の座標ファイル(*.coo.1)も作成される。
allapp.sh を使うなら、一番明るい星(画像の端は除く)を含...
- findap.sh: apeture vs mag 図を作る(要gnuplot)
findap.sh image_file min_aperture max_aperture
(例) findap.sh jSN01.cm 15 35
- autoapp.sh: aperture 測光する
(例)autoapp.sh hSN01.app.set hSN01.cm
- allapp.sh: 複数の画像に対して測光する。
(例)allapp.sh SN.alap.set jSN2012dn_05.cm.coo.1 jSN*c...
* WCS関係 [#qadea4af]
- getwcs.sh: 自動でWCS付与(wcstools)
getwcs.sh cm.fits
getwcs.sh -s sp.fits
- getwcs.sh: 自動でWCS付与 (astrometry.net)
getwcs_astmnet.sh hoge.fits
(複数ファイルを与えることもできる)
getwcs_astmnet.sh *.sp.fits
- manuwcs.sh: 2MASS画像と見比べながら、手動でWCS付与。
manuwcs.sh fits
* 試したいこと、修正したいこと [#q5c135bc]
- nicred.sh
-- スカイ作成: median で作ったスカイを、多項式フィットで...
-- nodarkprime.py:
--- 生画像からセルフスカイ(median、スケーリングなし)作...
--- フラット、バッドピクセル、宇宙線処理
--- add sky count(ここから未)
--- もう一度スカイ作成(median、スケーリングあり)
--- スカイ引き(スケーリング)
--- => これできれいになるか?
-- 縦パターン除去: フーリエ解析による方法
-- 重ね合わせ: sp画像のfitsヘッダーを引き継ぐ。
-- WCS付与: astrometry.net のソフトを使う。
- 済
-- スカイ引き: 外部スカイフレームを自動的に選択。
-- nicdark.sh : 同じ観測日に dark frame がないときは、他...
-- 縦パターン除去maskmedian: mask された部分は median 計...
-- 重ね合わせ: できるときはsp画像にWCS付与して、WCSを参照...
-- スカイ引き: 外部スカイフレームを使うときも、スケーリン...
-- スカイ作成: 星をmaskしてから、スカイ作成
-- 縦パターン除去: "sample" 法のとき、sample region のシ...
-- setof.set を header 情報から自動的に作る(済): mkseto...
-- 画像シフト: 1枚目だけimexa し、あとは header から予測...
-- スカイ作成: スケーリングファクターが負になったときに、...
--- スカイ作成時はimcombine がエラー処理してくれる。スカ...
* wiki、ソフト変更履歴 [#wb2be8c4]
- 120723: 高橋 新規作成
- 121013: 高橋 プログラム更新を反映
- 130208: 高橋 プログラム更新を反映
- 130404: 高橋 mksetof.sh, imexa1 の記述を追加
- 140323: 高橋 プログラム更新を反映
- 140424: 高橋 プログラム更新を反映
- 150418: 高橋 nicred.sh デフォルトを縦パターン除去をaut...
- 150629: 高橋 ダークを使わない1次処理プログラム(nodarkp...
- 160615: 高橋 allapp.sh の記述を追加
ページ名: