Pandas ハンズオンのgithubは
書き込み用スクラップボックスは
以上です。楽しんでいきましょう!
毎月第三金曜日ははんなりPythonの会です。
6月21日はハンズオンのターンです。というわけで前回のハンズオンに引き続き、Pandasです。データを加工するのにPandasは欠かせません。
癖があるかもしれませんが、みんな泣かないで頑張りましょう。
そしてもう一つ重要なお知らせが。くない先生が、関東に引っ越されます。
そのため、今回がくない先生の最後の(少なくとも当面は)ハンズオンになります。
「ありがとう、くない先生」ということで、Pandasに関して聞きたいことがある人は最後の機会に聞いておきましょう!
残念ながら会の席はいっぱいですが、来れない方はscrapboxやブログをチェックしていただければと思います。
毎月第三金曜日ははんなりPythonということで、今回はマネーフォワードさんに会場を提供していただき、LT会を開催しました。
マネーフォワードさんは言うまでもなく、無料家計簿アプリで有名ですね!
はんなりPythonの会は勉強会を開催させていただける先を募集中です!
LT会ということで、7つの発表がありました。いつも通りアイスブレイクで、自己紹介と雑談を行い、LT会スタート。
当日の皆様の書き込みのscrapboxはこちら!
可視化ライブラリは多くありますが、Altairは良いぞという話でした。
Altairの文法は分かりやすく、これまでのなんでこんな事書いてんのかわからない。みたいなことがなくて良いです。
表現軸が多くて変更が用意ということで、x軸とy軸を変えてみたりといったことが簡単にできたりします。そして、要素を加えるのも、既存のグラフにどんどんと付け加えることができます。
そして、インタラクティブにもできます。
良い可視化ツールは良い発見を増やします。ぜひAltairも使っていきましょう!
可視化フレームワークDashのハンズオンを、はんなりPythonでは2018年11月と2019年の1月に行いました。
それ以降、新たなコンポーネントが3つも出ています。開発が早い。ということで、新しいコンポーネントと、昔からあるけど、見逃していたコンポーネントを紹介しました。
Dash DAQは見逃していましたが、エンジニアリングのアプリケーションを作るのに良いものでした。Pythonには簡単に使える良いGUIツールがないので、IoTにこれを使うのも良いと思います。Webページもかっこよいです。
Dash cytoscapeはネットワークを描画できます。でも可視化するデータがないです。
Dash Canvasは描が書けるツールです。画面に本当に絵が描けます。ということでドラえもんを書きました。だけでなく、scikit-imageと組み合わせると、凄いことができます。ぜひ、dashのページで試してみてください!
Dash Bioはバイオなグラフを簡単にかけるツールです。ホント簡単になっていて、これまで400行ほど書かないといけなかった3Dモデルが、4行でかけたり凄い。でも、昨日は言い忘れましたが、Windowsで使えるかなぁ??
という感じで、どんどん新しいものが出ているので、観察を続けます。
Dockerが出たあと、Kubernatesにどのような展開があって、移動していったかということが語られました。
Dockerのことはみんな知っているということでした。おー。もう常識って感じですね。そして複数コンテナのためのComposeくらいまでは知っている人は多いと思いますというか、私も知っていました。
しかし、スケールするためのSwarmってのがあったというのは知りませんでした。まぁ普通の人がスケールするようなものを触ることってありませんしねぇ。
そして最近よく聞くKubernates(k8s)は、最強のコンテナオーケストレーションツールです。たくさんのコンテナを管理することができます。そして、普通に生きている人がこのツールを利用するほどのことに出会うことは、そうそうないでしょうとのことでした。
でも、触ってみたいですね〜。k8sとかいいたいです。Scrapboxのコメントにラズパイなど向けにk3sというのがあるというコメントが有りましたが、これは使う機会があるかも。おもしろそうです。
いつもpipでお世話になっているPYPIですが、そこに自分のパッケージをアップする方法を話していただきました。
setup.py書いたことある人〜?シーン
ということで、基本的なところから全然わかっていない私。あんま良くわかってないけど、Cookiecutterってのを使うと、簡単にPYPIにオレオレモジュールをあげられて、pipでインストールできるから便利だということでした。
全然説明になっていないわけですが、きりんさんがブログに書いてくださっているので、詳細はそちらに。私も読んで勉強します。画像かわいいw
休憩を挟んで、車が趣味なくまちゃんが、車のデータを取ってDashとplotly_expressで可視化したというお話でした。
車にはデータが取れる口があるらしく、そこにOBD2(くちびる)をぶっ刺してデータを取り、それだけでは位置データが取れないから、それは他のツールで取り、可視化するというなんともIoT+可視化な発表でした。
そして、燃費をどう良くするか?ってのを考えたりするのに、色々なデータを比較しながら、見るというのがDashの特徴を活かしながら、ものすごく面白かったところでした。
また、地図データとその地点での回転数とか燃費とかスピードとかいろいろ可視化もされてました。おー、めっちゃ細かく動きがわかって面白い。高速道路の合流地点ではやっぱり燃費悪いとか、色々見てわかって、会場大興奮でした。
これを長くすればPyconjp行ける、商品化確実など、大絶賛のLTでした。
やはり、現実世界の可視化は面白いねぇという意見が多く聞かれました。
Utreeさんが所属される大学でコンテストがあり、そこで最優秀賞を獲得されたもののお話。
どのようなものかというと、AIロッカーで、鍵は必要なく、スマホに鍵として登録したものをうつすと・・・ロッカーの鍵がラズパイで開閉されるという!!商品化決定という感じのものでした。すげー。
で、今回はそのラズパイでサーボモーターを動かして、鍵をかけたり開けたりする部分の解説をいただきました。
スマホの鍵の判別の部分は、スマホについているtensorなんとかを使っておられるそうです。
AIのプランナーのsuirindoさんがPythonと格闘したり、プログラミング無しでスクレイピングできるツール(RPA)を使ったりした話でした。
今回はアメリカのRPA市場で4位のWork Fusionのものを使われてました。RPAってこんなもののことかぁ、これなら私も商品化できるなぁなんて思いました。
というわけで、7件のLTはどれも面白いものでした。いやー今回はすごかったねぇって声もいただけました。また、3ヶ月後にLT大会を行いますので、ぜひとも皆様ご参加ください。
次回は6月21日にハンズオン会です。ハンズオンの内容は好評だったPandasをもう一回です。前回参加できなかった方も、前回参加された方もぜひともご参加ください。
あと、現実のデータ面白いよねってのと、良いGUIツールってことで、はんなりPythonの会ラズパイ部も立ち上がるかもしれません。
最後にマネーフォワードさん、会場を提供していただきありがとうございました。
「はんなりPythonの会 #17 令和最初の発表会」
— Utree (@Utree_0322) May 17, 2019
マネーフォワード京都オフィスで登壇してきました🌟
はじめての登壇でめちゃくちゃ緊張してたのですが、アットホームな感じで、とても発表しやすかったです。
ありがとうございました☺️https://t.co/bB7wqCi3gB#はんなりPython
はい。毎月第三金曜日のはんなりPythonの報告です。今回もスプーキーズさんに会場を提供していただきました。お菓子まで出していただきました。本当にありがとうございます。スプーキーズさんはセクコン決勝に出られたそうです。すごーい。凄腕の人は是非、スプーキーズさんに!テクテクテックという勉強会を開催されておられます!次回予定はまだ出ていませんが、2ヶ月に1回、開催されています!
今回のはんなりPythonの会は、平成最後のディスカッション会!!!ということで、グループに分かれてディスカッションをしました。
本当はグループを1回シャッフルしてとか、思ってたのですが・・・。盛り上がったので、そのままのグループですすめました。
いつも大量のレポートが載っているスクラップボックスも・・・
全く書き込みがない。AとCの間にはなにかアルファベットが存在したはずですが・・・まぁ、それだけ盛り上がってたってことで良いですよね。
私はAチームにいたのですが、色々と良い話がありました。何があったかというのは、まぁわからない時の調べ方の話とかですね。調べていることにピンポイントで検索がヒットするってのは、そのときは良いけども、長期的に考えると、あまり良くないよねぇ。その点、ドキュメントで色々読んでいるうちに、正解にあたったてのは1を調べて10を知るって感じで良い。という話を聞いて良い話だなぁって思いました。
あとエラーが出るミスは良いけど、エラーが出ないミスは辛いという話もありました。そうですよねぇー。
あと、可視化の話も出ました。はんなりPythonはもしかして可視化部なのかってくらい、可視化を話す人がいるので、他では聞けないツール、やり方の話ができたかもしれんなぁと思ったりしています。
まぁその他AIの話とか色々盛り上がっていたみたいですねぇー。
本番の宴会でもいつもどおり面白い話が聞けたみたいです。私も色々と勉強になりましたわ。ディスカッション会は良い話が行われていると思うのですが、残念ながら記録はできません。いろいろと話したい人は是非ご参加を。
5月は17日金曜日に令和最初のはんなりPythonが開催です。次回は発表会の予定なので、発表ネタがある方はぜひ発表の方をよろしくお願いいたします。はんなりPythonは、発表 => ハンズオン => ディスカッション会でグルグルしていく予定です。でもハンズオンはめちゃくちゃ大変なので変わる場合もあるかもしれませんねぇ。
ハンズオンの題材(これまでは、スクレイピング(requests/ requests-html)、可視化(Dash)、データ分析のどろどろなところ(pandas))も、やりたいことがございましたら、ここのコメント欄、もしくはgitter、主催者twitterなどに書き込んでもらえると、それになるかもしれません。
4月のはんなりPythonは再びスプーキーズさんにて行わせていただきます!4月19日です!
何をやるかというと、ディスカッションです!!
みんなで関心のあるネタを色々調べたりしながら、話し合い技術力を高めようというのがメインテーマです。
あと、話し合うので自然と人と人とのつながりもできるというのは裏テーマです。
まだ何もやっていないから、そんな会は怖い!!!と思われるかもしれませんが、大丈夫です。そんな場合は分かっていないことを質問してみてください。誰か答えてくれるでしょう。
みんな分からない場合、調べてみましょう。スマホでもなんでも、グーグルやダックダックゴーを使えば簡単に答えが見つかるかもしれません。
またその答えの見つけ方も勉強になるでしょう!経験豊富なプログラマーになるにつれ、その答えの見つけ方のポイントをつかんでいると思います。
そういう点も話してもらいましょう!
聞いてみたいことがあるけど言い出しにくそう!!と思われる方は、スクラップボックスに書いておくと、その題材がとりあげられるかもしれません。
というわけで、4月19日金曜日の平成最後のはんなりPython#16に、皆様ふるってご参加ください。
2019年3月24日日曜日に、はんなりPython + PyData Osakaの可視化特会を行いました。
会場準備など様々なセッティングはPyData Osaka様に行っていただき、発表だけ便乗させていただきました。PyData Osakaさま、ありがとうございました。
今回の様子の記録はいつも通りのスクラップボックスに記録されています。
これに書き込んでいただけるおかげで、どんな内容だったか読めばわかり、知識の共有化もできるし素晴らしいと思います。
また、当日の発表の様子はPC画面と音声が残っているので、Youtubeにアップされます。ので、下のPyData.Osakaのページを登録しておくと、更新通知が来て便利ですよー。
当日は発表が4つで、そのあと自由時間みたいな予定でしたが、ちょっと録画トラブルがあり、はんなりPython式自己紹介、積み木式自己紹介の後、プレゼンテーションが行われました。
内容は以下のようになっていました。
1. @wristさん / matplotlib及びその描画ライブラリによるアニメーション機能の紹介
2. @ogawahideyuki / The power of data visualization with dash
3. @kozo2さん / Dashの新コーポネント、Dash Cytoscapeの紹介
4. @masayuki14さん / Dockerを使った可視化環境の作り方
個々の詳細な内容はスクラップボックス、また、後から公開されるyoutubeを見ていただければと思います。
私の個人的な感想を書いておくと、
Pythonを使っている人ならだれでも使ったことがあるmaplotlib。
私もdashとかなんやらいいながら、凄い簡易に可視化する際にはmaplotlibでしゃっしゃと書いています。
そのmatplotlibで動くチャートを作る機能が紹介されていました。私も昔、Windows環境下でそれをやってみようと思いましたが、挫折して、他のものに流れた思い出が。
今回wristさんは、それを輝くラインで動かしてくださいました。光ってるだけで勝った感ある。
matplotlib のアニメーション#pydata #Python #kyotopy
— 𝕄𝛼𝖘𝒶 (@masayuki14) 2019年4月5日
当日にやっとけよってやつ。 pic.twitter.com/srw9OXThkV
こちらのプレゼン資料は後日公開してくださるようです。
これは私の発表でデータから情報を得ることの重要性と、それがdashを使うことによりできるってことを話しました。
データが使われる場面でよくあるのが、その作成には時間がかかる割に「まぁそうですね」という感じで終わることだと思います。その理由は明確で、データが絞られて、まぁそうですよねぇという風にしか受け入れられないパスしか示されないというのが理由です。
しかし、普通のプレゼンテーションでデータをたくさん詰め込もうとすると。。。ページ数がものすごく多くなる割に、データが並ぶのは平面的で、そのデータを頭の中で動かすことは不可能です。
dashを使うと、プレゼンでそのようなデータを動かせるし良いぞ!ということをやってみたかったので、プレゼン式の資料を作って今回はやってみました。資料にはいろいろと動く部分があるのでマウスをホバーして楽しんでみてください。
Dashの実演#pydaya #Python #kyotopy pic.twitter.com/UJ75WX5hmh
— 𝕄𝛼𝖘𝒶 (@masayuki14) 2019年4月5日
あと、Callback使わないとDashを使っているメリットを全く生かせていないぞ!!!という主張もちゃんと書いておきます。
https://pydata-osaka.herokuapp.com/
Dashには色々と機能が追加されています。2月に追加されたCytoscapeの紹介をkozo2さんが行われました。
Cytoscapeはネットワーク図を作るプラットフォームで、それをdashで使えるようになったということです。
実は1月のはんなりPythonでご紹介いただいており、その後解説ページもでき正式に発表されていたとは。
cytoscape.org
コードの書き方はプロットリーのお作法で行ける感じだったので、これはまた簡単に作れそうです。私はネットワーク図とか作りたいなぁと思っていましたが、でも難しいんでしょと先入観を持っていた方なので、これを機に使ってみて、何かカッコ良い可視化を作ってみたいと思います。
最後はmasayuki14さんによるDockerを使った可視化環境の作り方でした。
最近環境はdockerって感じで私も何かあればdockerで環境落としてみたいになっていますが、その辺をどう作るかみたいなお話と、その後動かしてってところでしたが、残念ながら環境が違って全部落とせずという感じで終了となりました。
発表で使ったリポジトリはこちらですので、だれでも試すことができます。
私はdocker使ってるけど、中身全然知らん勢なので、その中身で実は部品がバラバラに置かれているなどの知識が得られてよかったです。また、k8sとか分散系に物凄く興味があるのでその辺りも聞いてみたい。
あと、環境さえ作ってしまえば、後は可視化のデータがあれば、それを可視化できるみたいな環境ができるので、その辺に力を入れられていない会社なんかも、可視化で他社と差別化とかできるので、この辺を研究しておくべきだなんて思いました。
という感じで、会は終了となりました。
今後ともPyData Osakaさん、はんなりPythonをよろしくお願いいたします。
会の終了後、残った人たちで宴会に行ったのですが、今後もっと面白いことが行えそうです。というわけで、またこの回の内容はYouTubeにアップされる予定ですので、PyData.Osakaチャンネルを登録してお待ちください!
感想、要望などございましたらコメントにお書きください。
毎月第3金曜日ははんなりPythonの日!ということで、2019年3月15日に、はんなりPython #15 Pandas Hands Onを開催しました。
Hands On の資料は下のgithubにあります。資料のクォリティ高い。
スクラップボックは下のリンク先にあります。
今回はスプーキーズさんに会場を提供していただきました。スプーキーズさんでは、テクテクテック(2ヶ月に一回)とモクモクモック(月一回月末の木曜日)という勉強会を開いておられます。実際に色々と運用されていることなどを聞くチャンスです!
今回はLTを1件したあと、Pandasのハンズオンを行いました。
運営に参加してくださっているくまちゃんによるLT。
https://speakerdeck.com/sho_kumada/ive-recently-started-to-learn-pythonspeakerdeck.com
運営に入ってもらったときはプログラミングはじめて4ヶ月だったけど、半年になったのですねぇ。
半年間どんな感じで勉強したかと、どんなものを作ったか?という内容でした。アメリカのディズニーのアトラクションごとの待ち時間の可視化を行っているとのことで、以前見せてもらいましたが、ハイクォリティ過ぎてびっくりしました。
しかも、プログラミングを初めて4ヶ月でGithubなんかも使っていたので驚きでした。お聞きしたところ、「独習プログラマ」に載ってたから使えるってことでした。今回のLTでも「独習プログラマ」おすすめとおっしゃっていました!!初学者の人は「 独習プログラマ」を読まれると、くまちゃんのようにスタートダッシュが切れるかもしれません!!!
そのあとは、運営のkunaiさんによるPandasのHands On。
巷にありふれたpandas記事とは少し違う、リアルで泥臭くて、キラキラしていない pandas の使い方を、某省のデータを使って、学んで、というか悪戦苦闘していきます。
というご紹介どおり、超絶苦悩するような某省庁が出しているエクセルデータを、Pandasを使ってどうやってきれいにして、データを見られるようにするかという、超絶実践的で、多くの人は「わたしがやりたかったのではこんなことではなかったはずなのに・・」w、って思っているようなところをカバーする内容でした。
使ったデータは花粉の飛散データです。くないさん自身も花粉症で、寝付けない朝にこのデータを使おうと思われたとのことでした。私も花粉症なので、花粉症の大変さマジで大変。
ちなみに、スプーキーズさんは空気がきれいで、花粉症の参加者もマスク無しでも全然大丈夫と話題になってました。地味に重要ポイントですね。働きたい・・・
Githubにあるように、Jupyter notebookを使って、エラーが出る部分も実際に見せて、それをどう処理するかという実践的な内容でした。私もかなりPandasを使っていますが、知らなかった使い方が随所に出てきて、勉強になりました。
あと、実際に機能を使う際にはググって、いろいろと出てくるけれども、最終的な利用用途は公式を見たほうが良いとのアドバイスが有りました。確かにすべてのパラメーターが解説されているのは、公式のサイトですからね。
かなりたくさんの使い方が紹介されましたが、どれも実際にそのへんにあるデータを取ってきて処理する際には重要になってくる使い方なので、復習したいと思います!
kunaiさん、ハイクォリティなHands Onをありがとうございました!
kunaiさんも本日のことをブログに書かれています。
非常に濃い内容でした。皆さんお疲れ様でした。
今回のようなHands Onの場合、Pythonの環境を作ったりしないといけなくなります。そうなると、初心者の人が一人でやるのは非常に難しいと思います。
でも、出来ていなくても会場に来ていただけますと、その設定のお手伝いをさせていただきますので、その辺は安心してご参加ください。
次回は4月19日に開催です。開催させて頂ける会場どこかありませんかねぇ〜
その前に、来週3月24日にははんなりPython + Pydata Osakaの可視化会が行われますので、お楽しみに!
Pandas HandsOnが来週に迫っています。今回はスプーキーズさんにて開催させていただきます!
ハンズオンは作るのが大変なんですが、今回は運営のくないさん(id;jdgthjdg)に作成していただいています。 私も当日が楽しみです。
今回の作り方は、これまでになかったのと、みんなで作ってる感があってちょっと楽しい感が出てきたので、記事にしておきます!
前回のはんなりPythonの会の翌週の水曜日、サイゼリアに集まりました。そこでハンズオンの方針を決定しました。
当初、numpyとpandasの会にしようかといっていたのですが、データを取得して扱う際には、numpyよりはpandasの方が良いだろうということで、numpyは外して、pandasのみに焦点を絞っての会にすることが決まりました。
そしてそのあとは、運営のくまちゃんがAltair(可視化ライブラリです)を使って作っているものに関して、くないさんが相談に乗っていました。
内容は作るのはくないさんですが、最近のはんなりPythonではハンズオン用の環境を作るってのも行われています。
こちらはほぼMasaさん(id: masayuki14)に作っていただいている感じですが、みんなで協力してうまく行かないところなんかを指摘して直したり見たいな作業が行われています。
こちらが今回のリポジトリ。
プルリクエストが出されてマージされたり、コントリビュータが3人だったりなんだか、みんなが協力して作られた感があります。勉強会でこんなになるとはちょっとウルウルです。
あと、前回の勉強会から使い始めたscrapboxですが、今回も大活躍で、どのデータを使ったらよいかなどの話し合いも行われています。scrapboxはものすごくよいですねー。自分の他の仕事なんかでも使い始めています。ちなみに今回はNota.Incさんにはお菓子スポンサーになっていただきました!お菓子楽しみですね~。
はんなりPythonではこんな楽しい感じで勉強会を作っています。
積極的に勉強会に係って、色々作りたいって方はぜひ運営に参加していただければと思います! 運営は引き続き募集中です!運営の条件はなるべく多く、勉強会に参加してくれることです!
あと、京都で勉強会に会場を提供くださる企業様も大募集中です。 よろしくお願いいたします。
さて今回のはんなりPythonの会はいつもの会場を抜け出し、NOTA Incさんにお邪魔させていただきました。NOTA Incさんのオフィスは同志社大学のキャンパスの前のカレー屋さんの上にあります。Scrapboxを作っている会社が京都の会社だなんて知りませんでした(すみませんでした)。
いつもの開場は電気が部分的に消せないため、スライドが見えにくいってか見えない問題がありましたが、今回のNOTA Incさんでは、ドーン。
大きいモニターがありました。テキストエディターのコードが14回目にして見えるよ!!!
今回からNOTA IncさんのScrapboxも勉強会に取り入れてみました。そして、編集したい人には全員権限を与えるという感じに!!!
そうして出来たのが、上のものなのですが、うーむカオスながら凄い。そして、これはなしねって言ったことがたくさん書かれていますwww
という感じで、今回は時間が30分遅れたせいか、会場がおしゃれになったせいか、開始時間前に参加者が全員揃ってしまうという、前代未聞な出来事に驚きながら、はんなりPythonの会#14はスタートしました。勉強会にこれまで起こっていた遅刻、無断欠席がまったくなかったのはなぜか・・・。多分偶々でしょう。
積み木式自己紹介は前回から取り入れられましたが、それまで自己紹介で名前を言った人の名前をすべて言ってから、自分を紹介する方法です。勉強会で多くの人にお会いするのですが、全然名前が覚えられないよねって話から、それを解消するために、取り入れられたこの方法。しかし、なかなか難しく、結局PC、スマホに頼ってしまいます。そういえば小学生の時に、教科書10行くらい暗記してノートに写すのなんて簡単だなんて先生は言っていましたが、10文字も無理な気がします。
Uberが作っている確率プログラミングライブラリのPyroというものがあります。そのコードを読んでおられたのですが、デコレータが乱用されていたり、データ型が分からなかったりで、データ構造やフローが読みにくかった。コメントも親切に書いているけど・・・
minipyroという291行のコードが有ることに気づかれ、その冒頭のコメントも親切そう。そうして、読んでいくとそこには超苦行が待ち受けていたそうです。
withが使われているのは解りにくいし、メソッド内でselfが使われているとか。なんかとりあえず、これまであまり見たことないなぁという事例にあふれています。その他、291行のコードだと思っていたらPytorchのドキュメントにその説明を読みに行かなければいけない(吉岡さんはご存知だったので、そこは避けられた)など、とにかく苦行が始まると、291行のコードでも全然読むのが超絶大変だということがわかりました。
他人の書いたコードは勉強になり、しかも自分の興味のある分野だと、調べるの全然苦にならないって思っていたけど、そうではなかったというのも興味深いところでした。あとRustは良いぞ!ってことでした。吉岡さんがRustの勉強会を京都で行われていますので、関心を持っておられる方はぜひ!
はんなりPythonとOSS Gateのオーガナイザーである森崎さん。いつもはんなりPythonの会でプロジェクターをお借りしているスプーキーズのアンバサダーもされています。スプーキーズでは2月28日にもくもく会を行われます。また、てくてくテックも3月に1周年を迎えられるそうです。
今回は個人で学び続けるためのコツをお話されました。
学ぶためにはフロー状態というのを役に立てるとよいそうです。
フロー状態というのは活動に没入している状態を指すようです。そういう状態に入れるのは問題がちょっと難しい位のものを解くのが良いそうです。
フローに入れるように、自分で調整しましょう。目的の設定をなんか面白そうとかにしてそれをやるのが良いそうです。
課題設定には動き出しやすさ(やれること)とモチベーションの高さ(やりたいこと)を意識しましょう。この2つが満たせないと駄目です。
森崎さんの実行例。昨年Pythonの勉強会もはじめたしってことで、Pythonをはじめたけど、続かなかった。今回は機械学習、可視化、最近買ったUSJのチケットの3つを組み合わせ目的を設定(待ち時間可視化アプリを作ろう)、これまでやれることを使った上でやりたいことをやるための技術を積み重ね、課題をこなしたという例が示されました。
つまずいた時にどうすべきかという質問には、やれることからやったほうが良いとの回答でした。
21時になるとライトの色が変わりました。おしゃれや・・・
最近Dashという可視化フレームワークにハマり、何度もはんなりPythonで取りあげています。Dashは可視化ツールのPlotlyと、React、Flaskを組み合わせ、簡単に可視化ウェブアプリケーションを作れるライブラリです。これを使ってデータをみんなで見て、そのデータを味わい尽くすみたいな使い方をするとよりいっそ、データが活用できることでしょう。
今回はこのフレームワークを使い、アーバンデータチャレンジという、コンテストに参加してみたという報告です。
作品は下の2つ。ちょっとローカルでは動くものの、herokuにあげたら動かない部分もあってどうなんですかみたいなところはチョットありますが、ほぼきれいに動いて、しかも5行コマンドを書いたらウェブアプリケーションになるし、dash最高(herokuのおかげ)みたいな感じです。
公共のデータに関しては金融でいわれているオルタナティヴデータのように使えたり、実際になにかビジネスに使えたりすることが考えられます。最近の日本の統計の不正の根本には予算不足の問題があるようなので、データを使って稼いで、それを税金で収めて、それでデータを強化するみたいな流れを作っていければなぁみたいなことを考えています。
大阪 https://osaka-takoyaki.herokuapp.com/osaka-takoyaki.herokuapp.com
京都
https://my-dash-kyoto.herokuapp.com/my-dash-kyoto.herokuapp.com
という感じの発表内容でした。詳しくははんなりPythonのscrapboxを御覧ください。
Scrapboxは全員で同時に編集できるので、小学生とかでも使うともしかしたら勉強が物凄く楽しくなりそうです。勉強会もその御蔭で盛り上がっていた感じもあったので、今後もscrapboxをみんなで書きつつみたいな進め方を行っていきたいと思います。
会場提供いただいたNOTA Inc様、ありがとうございました。
次回は3月15日、pandasとnumpyの会となる予定です。会場は未定。
こんなはんなりPythonの会に会場を提供しても良いぞって会社がおられましたら、ご連絡いただけますと幸いです!
先日1月18日は第三週の金曜日でした。第三週の金曜日ということははんなりPythonの開催の日です!
この記事は運営の小川(@mazarimono)が書いております。
というわけで、今回は11月に引き続き、ReactとPlotly、Flaskからなる可視化ライブラリのDashのハンズオンを行いました。
資料は前回と同じです。前回に引き続き、ドキュメントにあるお手本を解説しながらすすめました。githubのリポジトリはこちら。
コードなどはgithubを参照していただければ幸いです。
2回連続で扱っているのは、データを見るにおいて、これほどインタラクティブにグラフが動くとアイデアが浮かびそう!!!ってところからです。今回のハンズオンではgithubでいうと、app5.pyみたいな事ができるってのが今までにないことだ!!って話題で盛り上がりました。
あとは、(前回も少し話した)データの作り方に関しても話題となりました。
Dashを使ってて思ったのが、これまでのデータの作り方とは異なり、全部のデータを”がさっ”と入れるようなデータになっているなということでした。
上のrawデータを見てもらうと、データの要素もごそっとデータフレームに入れられていることがわかります。これまでだったらこれか国名がコラムとかに入ってデータが作られていたのですが、そうなっていないというのは興味深いところでした。
実際にDashなんかでインタラクティブに可視化する場合は、このようなデータの作り方をすると、コールバックで動かす場合に凄い便利だってのがわかります。
最近、こちらもインタラクティブな可視化が出来るAltairのドキュメントを読んでいると、興味深いことが書かれていました。この差について、ドキュメントで詳しく取り上げられていたのです。
ここで取り上げられているのは株価のデータなのですが、これも違いがよく分かる事例です。これまでは終値を複数銘柄で並べる際に、コラムに銘柄名を設定して、データを作っていました。このデータの作り方をここではワイドフォームデータと呼んでいます。エクセルチックな行と列を選んで、それが当たったところに求めていたデータが有るという形です。
一方で、最近のインタラクティブな事ができる可視化ライブラリで見るデータの形は次のようなものになっています。
こちらのデータはロングフォームデータとここでは呼ばれ、一つの観測データが独立して入っているイメージです。
人間が分かりやすいのはワイドフォームデータの方ですが、機械が扱いやすいのはロングフォームデータで、SQLなんかはロングフォームデータを扱うわなみたいな話となっていました。
その他キータに記事としてあるのは整然データというふうな名前で取り上げられていました。
そのリンク先には詳しい文章があります(まだ読めていません)。
こういうなデータ整形のためにpandas会をってのは1月の初めのミーティングでも話題になっており、そのうちpandas会も行われることかと思いますので、その際はぜひご参加を!
データを普段から触っていない人が、この可視化ライブラリが凄い!!!っていわれても可視化したいデータが無いという話もありました。
sklearnについているデータセットとかでも良いと思うのですが、グーグル先生がデータセット検索を用意してくれているので、それを使ってみるのも良いかもしれません。
でも、これは検索キーワードが難しい問題が逆に浮上しそうな・・・w
という感じで二回目のDashの会を終えました。Dashに興奮して布教したいと思っている私ですが、一方ではDashはPython書いてる感ないよねって現実も見えてきたので、次回以降はPythonっぽいことをやりたいかなぁと思っています。
次回(2月15日金曜日)は発表会となりますので、発表でのご参加お待ちしています。おすすめのライブラリとか、なにかやってみたとか、なにかやってみたけど躓いてできないけどどうしましょう?とか色々な切り口でご参加ください。発表参加だと参加費は無料となります(現在、通常は500円)。
次回は場所が変わる可能性が高いですが、最終コンファームが取れていないので、またconnpassをご確認ください!
(この行を消して「チームワーク」を語ってください)
LINE WORKS×はてなブログ特別お題キャンペーン #チームワーク
sponsored by LINE WORKS