オープンデータのフォーマット変換

[水原 正]

ユニリタ　水原です。

先日の定例会でいただいたアイデアから、試作で2個ほどオープンデータを利用
しやすいデータに加工してみました。
今後データ加工のノウハウや、変換したデータそのものをJAIRのブログで
共有できればと思っています。
こういったフォーマットの方が利用できるといったことや、大学基本情報の
このファイルを変換すると活用できる等あれば、遠慮なくご意見ください。

１．THE大学ランキング　日本版
　https://japanuniversityrankings.jp/rankings/total-ranking/

　上記の画面のデータを一覧形式のCSVで出力しています。
　添付ファイル「THE大学ランキング一覧.csv」をご参照ください。

２．大学基本情報2019年　卒業後の状況　職業／産業別就職者数
　大学基本情報2019年のHPからダウンロードした卒業後の状況の
　職業/産業別就職者数（ファイル「2019_30go_2_2.xlsx」）を
　正規化しました。

　職業および産業が横（カラム）方向になっていますので、これを
　レコードデータへ変換しています。
　その際、職業や産業のコードや名称も付加しています。

　出力ファイル：
　　産業別就職者数（正規化）.csv
　　職業別就職者数（正規化）.csv
　　※全件だとファイルサイズが大きくなり添付できなかったので、
　　　添付は３０件分を変換したサンプルとなります。
　　　全件版欲しい方は別途ご連絡ください。

以上

Attachments:

You must be logged in to view attached files.

[寺澤 岳生]

ユニリタ　水原様
神田外語大学 学長室IR推進チーム 寺澤です。いつもお世話になっております。
先日は、Web研究会で、貴重なお話しを賜り誠にありとうございました。
業務の流れを整理することからはじめることが本当にその通りだなと感じました。
ご掲載のデータ拝見させていただきました。先週、東工大のIR論でデータベース
のことを学びましたので、DBの視点からご掲載ファイルを勉強したいと思います！
csvをどんな感じでグラフ化して良いのかイメージが沸かなくて、またサンプル
など、今後のご掲載を楽しみにしております。

追伸、少し本件とは論旨が違いますが、本学はTHEの日本版にエントリーしてお
ります。2019年度からは学生アンケートが開始されましたので、自学の評判が
スコアと順位に影響を与えると思って大学行事や勉強、ボランティアに熱心な
学生が集まる建物の入口にポスターを貼って、少しでも大学に良いことを書い
ていただけたらよいなと思っていました。
2018年度から2019年度には、少し教育充実度のTHE日本版の順位を上げることが
できました。一方、教育リソースと教育成果が下がってしまい、プラスマイナス
ゼロで、むしろ総合順位は昨年より-1下がってしまいました。うまく行かない
なと思いました。（順位に一喜一憂せずに、来年は学内THE説明会などをして、
できるだけ教職員、学生さんに認知していただければと思っております。）

[水原 正]

寺澤様

いつもお世話になっております。ユニリタ　水原です。

ご返信ありがとうございます。
是非ご活用ください。
活用だけでなく、こんなデータの形になっていると分析しやすいとうあれば、遠慮なく意見いただければと思います。

THEの日本版のデータですが、前回アップしたのは2020年のデータでしたが、2018、2019年のデータも同様の形
で１つのファイルにマージされていれば、年度比較とかもできそうですがいかがでしょうか。
HPにアップされている2018～2020年度のデータをマージしたデータを作成してみましたので、ご意見いただけますか。

以上

Attachments:

You must be logged in to view attached files.

[森 雅生]

水原さま

お返事が大変遅くなりました。ご提案、感謝申し上げます。

職業別、産業別の卒業者データですが、全件版いただけますか？　pythonで分析してGistなどでみなさんと共有したいと思います。

全件版は何年分でしょうか。

よろしくお願い申し上げます。

[水原 正]

森先生

職業別、産業別の卒業者データですが、2012～2020年まであります。
各年毎と、１つのファイルにまとめたものあります。

2012～2020年マージ版
産業別就職者数（正規化）ALL.csv
職業別就職者数（正規化）ALL.csv

各年版（XXXXが年度になります）
産業別就職者数（正規化）XXXX.csv
職業別就職者数（正規化）XXXX.csv

マージ版は圧縮しても20MBを超えるので、どこかアップできる場所はありますしょうか。

[森 雅生]

水原様
Boxの共有フォルダ情報をお送りしました。そこにアップしてみてください。

[水原 正]

森先生

BOXにアップしました。
個別にファイルをアップしたところ途中で容量不足でアップできなかったため、ZIPファイルの形で圧縮してアップしました（データ.ZIP）。
ダウンロード後解凍すると、以下のファイルが展開されます。

2012～2020年マージ版
産業別就職者数（正規化）ALL.csv
職業別就職者数（正規化）ALL.csv

各年版（XXXXが年度になります）
産業別就職者数（正規化）XXXX.csv
職業別就職者数（正規化）XXXX.csv

[森 雅生]

水原さん

すごいいいい！

正月はこれで遊べます。ありがとうございました。

何かできたら、JAIRで共有します。

[水原 正]

森先生

是非是非ご活用ください。

他のデータで正規化などのフォーマット変更やクレンジング希望のものがあれば、情報いただければ確認しますのでおっしゃってください。

皆様からのアイデアお待ちしてます！

[投稿者]

投稿