Suiko registration (水工学講演会参加申し込み英語ver.)

There is no English version of Suiko-registration.

Here is the translation version of 2023 Suiko-registration for your information.

Process 1

Access to https://confit.atlas.jp/guide/event/jscehyd2023/static/registration2023

Click upper one.

If you want to “Special Symposium” or “Ager Symposium”, you need to register from two buttons below.

Process 2

Fill in the blanks.

Process 3

Submit the registaration.

After the registration, please make sure the registration e-mail by the Suiko in your e-mail box.

Congratulations.🎉

PS: 水工は今年AGUと被ってますね。。。私は水工にいきますがAGUにも行きたかったです。。。。

でも、水工は楽しみましょう!!今年も水工学x機械学習座談会を企画します!!

NFSにあるHDF5を読み込めない問題

NetCDFでは試してないが、恐らく同様の現象が発生する。

問題

Pythonのhdf5pyなどでhdf5を読もうとすると、読み込み中のまま固まる。データはNFSでマウントしたサーバー上に存在している。環境はサーバーもクライアントもAlmalinux(8と9)。恐らくCentOSやUbuntuでも発生するはず。

解決法

以下のように環境変数を書いておく。.bashrcや.zshrcに書いても良いと思う。PBSやSlurmならバッチ投げるときに定義しないといけない。

export HDF5_USE_FILE_LOCKING=FALSE

以上です。

参考

https://bugs.launchpad.net/ubuntu/+source/nfs-utils/+bug/1903974

久々にCSVをオープンしたときBOMの存在を忘れて酷い目に遭った

MPIの勉強をするためにFortranを使ってCSVをオープンした。BOM付きCSVの存在を忘れエラーの原因が分からず、酷い目に遭った。

BOM (Byte order mark)がどんなもんかはどうでも良いんだ。FortranでBOM付きCSVファイルをオープンしてエラーに苦しんだ。

メモ程度の内容なのでデータの内容もコードの内容も書かないが、以下に示すエラーが出る人は、一度BOM付きCSVを疑った方が良いかもしれない。エクセルでCSV作ってテキトーに書き出したりするとこうなる。

Bad real number in item 1 of list input

これ、データの最初の3バイトにBOMが入ってるらしくこういうエラーになるそう。

BOM付きCSVかどうかは以下で簡単に調べられる。

file hogehoge.csv
>> hogehoge.csv: UTF-8 Unicode (with BOM) text, with no line terminators

この場合上のようなエラーが出るはず。なので、nkfコマンドを使ってファイルを上書きする。

nkf --overwrite --oc=utf-8 hogehoge.csv

これだけです。

何番煎じか分からない内容だけど案外このエラーの記事にまともなものが無かったので載せておきます。


雑感:自分に関係ないことで忙しいと他責の念が出てきて抑えるので一苦労。イライラ。集中したい今日この頃。

雑感2:遂に私が学生時代、B4だった子、すなわち最後の学生さんが卒業した。寂しくも嬉しくもあるが、今後とも良い関係でいられることを願っている。素晴らしい学生さんだった。

WindowsでSSHするならTabbyが良さそう(2023/02/02現在)

こんにちは。WindowsからSSH接続するために、色んなクライアントを試してきましたが、Tabbyが結構良い感じです。※TabbyはSSHクライアントだけではなく、WSL等も使えるTerminalアプリです。

Tabby

https://tabby.sh

これ一つで、SSH接続はもちろんのこと、SFTPやX11転送、多段SSHも全部簡単にできちゃいます(別途X11関係のソフトを入れる必要はあります)。Windows以外のプラットフォームでも大丈夫ですが、今回は諸般の事情でWindows版のみで導入方法の紹介です。

日本語にもローカライズされていてありがたいですね。積極的に開発が進められている印象です。

本記事では特に、普段SSHなんて触ったことが無い人が、鍵認証を行い、多段SSHをすること、X11転送することを可能とすることを目的としています。

慣れてる人なら読む必要は無いのでご自身で設定してください。その方が早いです。

※本記事の内容は弊学学生さんに向けた記事であるためやってることも目的も限定的です。学生さんはよく分かんないと思うので、遠慮無く金子はじめスタッフに質問して下さい。

続きを読む WindowsでSSHするならTabbyが良さそう(2023/02/02現在)

slack-archiveを用いたSlackワークスペースの保存

Slackライクなインターフェースでログが確認できるので便利。色んな人に聞いてもらえるので、送った内容をそのままメモ程度。

https://github.com/felixrieseberg/slack-archive
これをダウンロードorクローンして作ります。Almalinuxを使ってるが他のディストリビューションでも大体同じかと思われる。macOSも然りだがWinは知らない。

ここにアクセスし、Create New Appを押します。
そのあと、From scratchを選択してください。

②左のメニューからOath & Permissionsを選択。
開いたページの下の方にあるRedirect URLsに以下のURLを貼り付け、Save URLsを押します。
https://notarealurl.com/
※別に実在しないものならなんでも良いみたいですが例に倣っています。

③Scopeを設定します。Redirect URLsの下に行くと、Scopeがあります。これの、
User Token Scopesの方に以下を追加してください。

  • channels:history
  • channels:read
  • files:read
  • groups:history
  • groups:read
  • im:history
  • im:read
  • mpim:history
  • mpim:read
  • remote_files:read
  • users:read

④Basic Informationに戻ってください。下の方にこれから使うClient IDとClient Secretが生成されています。これからのプロセスは、時間がかかるかもしれませんが気長に待ちます。

⑤以下のURLをブラウザに入力してください。

https://{your-team-name}.slack.com/oauth/authorize?client_id={your-client-id}&scope=client

your-team-name:SlackのURLに使われている名前です。このワークスペースなら、kanekolab
your-client-id:上で取得したClient IDです。
これを開くと、アプリをインストールするか聞かれるので、インストールしてください。
インストール後、開いたURLが以下の形になっています。

https://notarealurl.com/?code={code}&state=

このときの{code}内の文字列をコピーしてメモ帳などにおいておきます。

⑥トークンの取得

https://{your-team-name}.slack.com/api/oauth.access?client_id={your-client-id}&client_secret={your-client-secret}&code={code}"

上の規則通りにURLを入力し、ブラウザで開きます。
your-client-secret:先程のBasic InformationにあったClient Secretです。URLを開いて得られるものは
{“ok”:true,”access_token”:”” hogehogefugafuga}
です。
大事なのは、このJSONのOKがTrueになっていたり、他にWarningが出ていないことです。
出ていなければ、access_tokenが得られていると思うので、これをメモ帳などに貼り付けておきます。

⑦slack-archiveのディレクトリに行き以下のコマンドを入力します(おそらくNodejsはすでに入っていると思いますが、入っていない場合はdnfかyumかでインストールします)

npx slack-archive

このあとトークンを求められるので貼り付けてEnterを押します。

計算機 – my machine

最終更新日:2023/04/16

もし学内で使用したい方がいらっしゃればお声がけください。
Please don’t hesitate to ask me to use the machine.

GPU Machine
NameDeeplearner
Build date2021/03/31
OSAlmaLinux release 8.5 (Arctic Sphynx)
CPUAMD Ryzen 5950x (cores:16, thread:32)
Total memory128GB
GPUNVIDIA RTX A6000 x2
SSD1TB # for the system, Samsung
HDD16TB for calculation # TOSHIBA
74TB for data (16TBx7 for RAID6, 16TBx1 for a hot swap)
 -> Enclosure: HighPoint 6438TS, Controller: RR3742A
Power1200W
CoolingCPU: Liquid, GPU: Air
Job scheduling systemSlurm
OtherSingularity, CUDA-11.4,
Detail of My Machine