スカイモニター更新(2023/4)

このページでは、NHAOスカイモニターウェブサイトの画像取得/更新の仕組みとトラブルシュートをまとめています。

温湿度等の気象情報が更新されないときは、Staff/Webで気象情報が更新されないときを参照してください。

スカイモニターの概要 †

南館屋上にあるカメラ(Nikon D610)を、南館屋上のスティックPC(RaspberryPi3b)と制御室のobs1b(Ubuntu 22.04)で制御しています。
空の画像を夜は1分ごとに、昼は10分ごとに撮影します。

↑

スティックPC †

PC名: skymonitor
OS: Ubuntu 16.04
IP: 192.168.42.50
USER: skymonitor
PASS: いつものもの

スティックPC内のskyalive serviceがPCの動作をモニタリングしています。画像の更新に問題がある場合は、skyaliveプログラムがスティックPCを再起動します。

プログラム

remote.py  (撮影のメインプログラム。写真取ってobs1bとwebサーバーに送る)
humidity.py（温度湿度のデータを取得し192.168.254.2に送る）

プログラムの動作確認
```
service skymonitor status
```
skymonitorというプロセスが、remote.pyを動かしている。activeという文字が含まれる文字列が帰ってくれば、正常です。

プログラムの再起動

service  skymonitor stop
service  skymonitor start

PCの再起動
```
obs3で　skyrestart
```

↑

obs1b †

プログラム

nhao@obs1b:/home/nhao/server/loop.py (画像のフォーマット変換、画像処理)
nhao@obs1b:/home/nhao/server/video/youtubeUP.py (動画作成、ユーチューブへのアップロード)

プログラムの動作確認
```
service skyserver status
service skyvideo status
```
skyserverというプロセスがloop.pyを動かしている。 skyvideoというプロセスがyoutubeUP.pyを動かしている。どちらもactiveという文字が含まれる文字列が帰ってくれば、正常です。

プログラムの再起動

service  skyvideo stop
service  skyvideo start

↑

webサーバー †

/home/www1/bin/skyimg.shで画像を整形する。
画像は /home/www1/public_html/以下にある。

↑

IPPower9258 †

IP: 192.168.42.250
USER: admin
PASS: いつものもの
ヒーターはスティックPCから操作することができます：
```
command: skyheater
```

↑

Program structure tree (2023年時点で未確認) †

↑

接続図 (192.168.42.237は2023年に撤去し、obs1bに交代した) †

ブローヒーターは無い(2020.11.24）
- セラミックヒーターを設置(2020.12.23)
リングヒーター故障？(2020.11.24)

↑

トラブルシュート †

↑

スカイモニターの再起動方法 †

obs3から skyrestart

↑

スカイモニターのアクリルの半球が凍っている場合： †

スティックpc(192.168.42.50)で
```
skyheater --help
```
短時間だけヒーターを使用してください！カメラのノイズが大きく増加します。

（電熱線）は効いていない？(2020.11.24.)
- IP Powerでonになっていたが暖かくならない。
- 停止中。

↑

カメラの過熱 †

エラーメッセージ

*** Error ***
Failed to set new configuration value 0.001 for configuration entry shutterspeed.
*** Error (-1: 'Unspecified error') ***

エラー解決
- remote.pyを再起動する
- remote.pyをシャットダウンして1分待つ
- カメラを再起動する

↑

問題 †

時々カメラと通信滴
コンピューターが無反応（電源の問題みたい）

↑

考えられるトラブルの原因 †

もし40分経っても写真のアップデートがない場合：

(0) 水についてカメラボックスをチェック
(1) skymonitorのPCをチェック:
- ssh skymonitor@192.168.42.50, PW: いつものように
```
service skymonitor status
service humidity status
```
- もし問題あれば：スカイモニターの
  - スカイモニター再起動
```
sudo service skymonitor stop
sudo service skymonitor start
```
  - スカイモニター問題の調査もしservice skymonitor statusで問題ない場合
```
sudo service skymonitor stop
python remote.py
```
    エラーメッセージを探す

湿度温度計再起動

sudo service humidity stop
sudo service humidity start

もしスカイモニターのPCにloginすることできない場合：
obs3からスカイモニターを再起動することができます：
```
command: skyrestart
```

test image capture
```
login: ssh with -X
entangle
```

(2) remote.pyをチェック
- list screen session (https://remysharp.com/2015/04/27/screen):
```
screen -ls
```

screenが走っていれば以下のような表示が出る。

There is a screen on:
	2194.pts-1.skymonitor	(2017年06月20日 10時53分29秒)	(Detached)
1 Socket in /var/run/screen/S-skymonitor.

スカイモニターのscreenにログインする：
```
screen -r 「スカイモニターのプロセス番号」
```
上記の例では2194がプロセス番号
restart remote.py
```
python remote.py
```
ネトワクをチェック
CPUの温度をチェック　(温度 diagnose screen が run diag.py )
エラーがある場合メモを書いてください。

detach screen

while hold (crtl+alt) press a than press a+d

logout

↑

インストール時の備忘録 †

↑

要件 †

unix
python 2.7
youtube-upload API (https://github.com/tokland/youtube-upload)

↑

手順 †

sudo pip2 install datetime, subprocess, numpy, os, time, logging, apscheduler, glob, rawpy, scipy, pillow, paramiko, scp, astropy, astroplan

↑

youtubeについて †

youtube のアドレス(例)
```
https://www.youtube.com/channel/UCdX7abKP6Xw7LrlnJPMLhKw/feed
```
Download　方法　（youtube-dl: https://github.com/rg3/youtube-dl）：

例えば：

List resolutions:

youtube-dl -F https://www.youtube.com/watch?v=HIOisB6DacI

output:

249          webm       audio only DASH audio    3k , opus @ 50k, 27.43KiB
250          webm       audio only DASH audio    3k , opus @ 70k, 27.43KiB 
251          webm       audio only DASH audio    3k , opus @160k, 27.43KiB 
171          webm       audio only DASH audio    6k , vorbis@128k, 22.60KiB
140          m4a        audio only DASH audio  127k , m4a_dash container, mp4a.40.2@128k, 954.01KiB
160          mp4        256x144    144p   43k , avc1.4d400c, 25fps, video only, 239.59KiB
242          webm       426x240    240p   70k , vp9, 25fps, video only, 424.72KiB
278          webm       256x144    144p   73k , webm container, vp9, 25fps, video only, 453.20KiB
133          mp4        426x240    240p  127k , avc1.4d4015, 25fps, video only, 700.50KiB
243          webm       640x360    360p  139k , vp9, 25fps, video only, 839.92KiB
134          mp4        640x360    360p  201k , avc1.4d401e, 25fps, video only, 1.14MiB
244          webm       854x480    480p  230k , vp9, 25fps, video only, 1.32MiB
135          mp4        854x480    480p  379k , avc1.4d401e, 25fps, video only, 2.18MiB
247          webm       1280x720   720p  548k , vp9, 25fps, video only, 2.78MiB
136          mp4        1280x720   720p  650k , avc1.4d401f, 25fps, video only, 3.65MiB
248          webm       1920x1080  1080p 1441k , vp9, 25fps, video only, 5.60MiB
137          mp4        1920x1080  1080p 2496k , avc1.640028, 25fps, video only, 13.83MiB
271          webm       2560x1440  1440p 6711k , vp9, 25fps, video only, 20.72MiB
313          webm       3840x2160  2160p 17652k , vp9, 25fps, video only, 73.14MiB  <--
17           3gp        176x144    small , mp4v.20.3, mp4a.40.2@ 24k
36           3gp        320x180    small , mp4v.20.3, mp4a.40.2
43           webm       640x360    medium , vp8.0, vorbis@128k
18           mp4        640x360    medium , avc1.42001E, mp4a.40.2@ 96k
22           mp4        1280x720   hd720 , avc1.64001F, mp4a.40.2@192k (best)

resolution を決める（一番大きいは 4K 画像は 2000x2000 pixel --> 313）と　download：
```
youtube -f 313 https://www.youtube.com/watch?v=HIOisB6DacI
```

video upload について

PC:       skycomputer (192.168.42.237)
ソフト:    youtube-upload (https://github.com/tokland/youtube-upload)
service:  skyvideo
ファイル:  /home/skycomputer/server/video/youtubeUP.py

***記録保存(Youtube) [#u9167e02]

YouTubeのログインは：

ID:hosoya@nhao.jp
PASS:N*****4 (000 以外 WIFI 同じ)

しかし、自動のYouTubeアップロードのAPIは上のログインを使うことができません。アップロードのAPIは認証についてOAuth 2.0が必要です。

script: https://github.com/tokland/youtube-upload
Googleコンソールに移動します。
プロジェクトを作成します。
Side menu: APIs & auth -> APIs
Top menu: Enabled API(s): Enable all Youtube APIs.
Side menu: APIs & auth -> Credentials.
Create a Client ID: Add credentials -> OAuth 2.0 Client ID -> Other -> Name: youtube-upload -> Create -> OK
Download JSON: Under the section "OAuth 2.0 client IDs". ローカルシステムにファイルを保存します。
Use this JSON as your credentials file: --client-secrets=CLIENT_SECRETS

YouTubeアップロードの例：

python youtube_upload.py [default=yesterday/]

youtube_upload.pyが添付されています。

↑

さらに詳しい情報: †

↑

オートフォーカスボタン †

AFボタンが壊れているので、AFは常にオンになっています。

↑

対策: †

カメラがピントを合わないようにする。

絞りが閉じないを合わないようにする。

↑

シャッター故障 (2018.11.30) †

シャッター故障のため、カメラ本体を外して修理に出す。
- 手続きは伊藤さん

↑

修理されて戻ってきたカメラを取り付け(2018.12.18) †

USBと電源(バッテリー)のケーブルを接続。
画像の設定(ファイルフォーマット)をRAWにした。

skyrestartを実行。

↑

ピント合わせ †

ピントは0.5ぐらい

↑

シャッター保守 †

↑

シャッター数調査方法： †

scp skymonitor@192.168.42.50:data/current.nef .
https://www.apotelyt.com/shutter-count/nikon-d610-actuations

シャッター作動： 30.2万/年： 828/日

日	カウント	dカウント	保守?
2017年 6月12日	1079610	0	x
2017年10月10日	1146936	67326	x
2018年 3月31日	1258011	111075	x
2018年 6月19日	1328906	70895	x
2018年12月18日	1495387	166481	x
2019年 3月1日	1578775	83388	x
2019年 8月8日	1697738	118963	x
2020年 3月3日	1904163	206425	o
2020年 11月30日	2156015
2021年 8月18日	2391419
2022年　6月1日	2576426		o
2023年　2月26日	2826395
2024年　5月15日	3164187

20201129 シャッター故障

Shutter Count 2156015？

20210818 23:32:30 シャッター故障？
- Shutter Count 2391419

↑

センサー部のけられ（20220428） †

画像にけられがみられるようになった。

カメラ内部を見てみると、センサー部の端に幕？のようなものがかかったままになっている。
- シャッターの故障ではない？

自前で解決できなかったため、メーカーに送る。
- シャッター基盤部などが交換された（2022.06.01.)
- 納品書

↑

遮光シートの交換（20201124） †

内部の迷光防止遮光シートが劣化していたので、アクリル内部に植毛シートを張った。

↑

カメラとレンズ内部の結露 †

2023.05.14 高山さんのレポート

今日のお昼頃にスカイモニター画像の上3分の1程度が黒く切れていました。
竹内さんに手伝っていただき、屋上に上ってボックスを開けてみると、
カメラレンズの内側が結露しており、カメラの真下も濡れていました。

アクリルドームの内外も濡れていたので水気を取ったところ全天画像が復活しました
（シャッターが原因だと予想していたのですが、そうではなかったようです）。

その後の対応

スカイモニターの画面全体が霧がかかったように白くなってしまったので再度屋上に
登り、カメラを見てみました。
レンズを本体から外してみると、中が結露してかなり濡れていることがわかりました。
一時制御室にカメラ本体とレンズを退避させ、扇風機の風を当てたり、ドライヤーで
熱したりして乾燥を試みました。ドライヤーの温風をレンズの対物側に当てると、
レンズの縁から水が染み出してきました。密閉度があまり高くないようです。
それでも完全に中の水気を取ることはできませんでした。
一方、カメラ本体のミラーは綿棒とレンズクリーナーを使って水の痕を除去しました。
これ以上乾かすことは難しいので、一旦カメラを屋上に再設置して写真が撮れるか
確認すると問題なさそうだったので、ひとまず今夜はこの状態にしておきます。
自然乾燥してくれたらいいのですが、明日また確認してみる必要がありそうです。

レンズ交換(20230515)

スカイモニターのカメラレンズ内部が今日も結露していました。
そこで研究室の「スカイモニター」の引き出しにあった、古いSIGMA製の魚眼レンズと
一時的に入れ替えてみることにしました。元のレンズは研究室でしばらく乾燥させることにします。

2023年5月24日に再びレンズを戻した。
- このタイミングでアクリルも新しいものに交換
- シリコンシーラントで固定を試みるもなかなか固まらず苦戦

↑

古いSIGUMA製魚眼レンズの黒い筋 †

2023年7月27日の本田さんのメール

ふと気が付くとスカイモニターに筋状の影が写っていました。
先ほど確認したところ、これはレンズのもので、どうしようもありませんでした。
なぜこうなったのか良く分かりませんが、個人的にはとっても気になるので
新しいレンズの購入も機会があれば検討いただきたいと思います。

2024年2月8日
レンズを外して筋の正体を調べてみた。
レンズのヒビや亀裂ではなく、外れかかった細いパッキン（Oリング？）だった。
レンズを傾けてパッキンの破片を視野外に移動させるとスカイモニター上で見えていた黒い筋が消えた。

↑

予備機への交換作業（20240516) †

カメラ：Nikon Z5 https://www.nikon-image.com/products/mirrorless/lineup/z_5/

大島さんのメール

予備機は箱ごとゼミ机においてあります。
電源供給はD610でバッテリー部分に差し込んであるアダプターが
互換性があるようなので、その部分を転用することができます。

伊藤さんのメール

スカイモニターの新しいカメラは、利川さん、高山さん、斎藤さんが取り付けてくれました。いろいろと苦労があったようです。
さらに、データをアップロードするソフトウエア(obs1bとwww)を修正しました。前のカメラはNEFという(おそらく情報を保存したままの)フォーマットの画像を出力してくれましたが、新しいカメラの出力はjpgでした。
新しいカメラに合わせてソフトウエアを書き換えたので、youtube用の動画は作成されません。
屋上に上がってカメラの設定を変えてNEFフォーマットで出力されるようになったら、ソフトウエアを元に戻します。

髙山さんのメール

skymonitorカメラ交換時のことについて簡単にまとめます。
今までのカメラの接続用端子はmicroUSB(?)でしたが、新しいカメラはこの端子がなく、
USB type C（またはHDMI）でした。
伊藤さんからUSB typeA to USB typeCケーブルを借りて現在は通信を行なっています。
またカメラの撮影モードは「M」、フォーカスモードは「MF(マニュアル)」にしてあります。
フォーカスはおおよそ合っている程度なので、今後星像を見て必要があれば再調整してください。
カメラ本体でRaw形式で保存するようにしたはずなのですが、jpgになっているようなので 
もう一度本体を見てみる必要がありそうです。
続いてソフトウエアについて。
skymonitorPCでカメラに指令を送っているgphoto2のバージョンが新カメラに
対応していなかったため、gphoto2とその関連するライブラリをアップグレードしました （斎藤さん、利川さんが色々調べてくれました）。
すると撮影ができるようになり、カメラ=>skymonitorPC=>obs1bの順に画像を下ろしてくることができました。あとは伊藤さんのメールの通りです。

斎藤さんのメール

スカイモニター・カメラの制御ソフト一式について、
復旧するのに必要と思われる情報を、一応あげておきます。
利川さんにも調べてもらいながら作業した中でのことで、
主として屋上の Raspberry Pi 側のソフトウェアに関してです。
- カメラを制御している gphoto2 (およびそのライブラリー libgphoto2, libgphoto2_port) は
apt を使ってインストールされていた (→ 削除した: 下記参照)
-- バージョンが古く(2.5.14 だったか?)、Nikon Z には対応していない (2.5.26 以降必須)
-- gphoto2 のパスは /usr/bin/gphoto2
-- libgphoto2 は /usr/lib/arm-linux-gnueabihf/ 以下にある (こちらは 2.5.31 以降必須)
-- libgphoto2_port は、バージョン的には問題ないはずだった
- gphoto2 一式は、Raspberry Pi の OS (raspbian : Debian 系 Linux の Raspberry Pi 版) 上の
apt コマンドでは最新バージョンにアップデートができない
-- gphoto2-updater というのを使ってコンパイルしてインストールした (長かった)
-- gphoto2 のパスは /usr/local/bin/gphoto2
-- libgphoto2 は /usr/local/lib/ の下にある
- gphoto2-updater はコンパイルとインストールはしてくれるが、apt で入れた分は消してくれない
-- そのままだと apt で入れたライブラリーを参照してしまう
 + ldd /usr/local/bin/gphoto2 で調べると、libgphoto2  2.5.11 を参照していた
-- apt コマンドを使って gphoto2 / libgphoto2 / libgphoto2_port をアンインストールした
- 屋上の Raspberry Pi (192.168.42.50) で skymonitor というプロセスが走っている
-- ホームディレクトリー下の remote.py というのがスクリプト本体
-- service skymonitor stop で停止、service skymonitor start でスタート
-- RasPi を再起動すると自動的に skymonitor は走り出す設定になっている
-- 上記の start/stop を繰り返すと、新しいスクリーンがどんどん増るので、reboot した方がいいかも

伊藤さんのメール（20240518)

スカイモニターの新しいカメラ(ニコンZ5)で、NEF形式で画像を取得することができました。
カメラ本体で設定してもソフトウエアで設定を書き換えていたようです。
NEFで保存するにはgphoto2というコマンドの引数imagequalityを6にしなければなりませんでした。
先日まで使っていたにニコンのD610では3でした。3のままだとZ5ではjpegで保存されてしまい、
バールの作った複雑なソフトウエアでは不具合が多数出ていました。
なお、Z5は熱暴走するという口コミもあります。昨日も今日も午前3時台にカメラがフリーズ
していたのは熱暴走なのかもしれません。しばらく様子を見て、カメラの設定を変えたり、
ソフトウエアを修正したりする可能性があります。この先数日間は不具合が出るかもしれません。

従来機（Nikon D610 ）を修理に出した
代替機（Nikon Z5）はカメラ本体で露出モードをオートにする必要がある。
- USBの通信エラーが発生する（高温が原因か？）