Morning Girl

Web API, Windows, C#, .NET, Dynamics 365/CRM etc..

GCP(Google Cloud Platform)で MySQLを構成してみる

ここのところBigQueryを追いかけていましたが

kageura.hatenadiary.jp

せっかくなら、MySQLとBigQuery、セットで色々と組み合わせて使ってみたい!

ということで、MySQLも構成してみましたので、そのメモです。

GCP Cloud SQL

2018年2月現在、GCPではCloud SQLというサービス名で、[MySQL]と[PostgreSQL]の2つのデータベースPaaSを提供しています。

https://cloud.google.com/sql/docs/?hl=ja

個人的にMicrosoft SQL Serverが使えないのが寂しいところではありますが、なんかこのラインナップは私的にGoogleらしいな、と思わせます。(特に他意はありません。)

今回は、個人的に使い慣れているMySQLを選んでみました。

続きを読む

CData JDBC Driverを使って、DbVisualizerからGoogle BigQueryのSQLを実行する

前回の記事でWeb ConsoleベースでBigQueryと戯れました。

kageura.hatenadiary.jp

でもBigQuery、せっかくSQL(正確にはちょっと方言がはいるのだけど)が使えるのだから、WebConsoleだけじゃなく普段使い慣れたツールから叩きたい! という方が居るはず!

というわけで、今回はクライアントツールからBigQueryと戯れてみました。

続きを読む

BigQueryの事始め。Web Consoleと戯れる。

Burikaigiも終わり、引っ越しも落ち着いたので、ようやく中途半端に書いていたBlogをせこせことまとめています。

今回はGoogleが提供する、これだけでもGCPGoogle Cloud Platform)を使う価値があるであろう、BigQueryについてまとめてみました。

f:id:sugimomoto:20180212235937p:plain

cloud.google.com

BigQueryとは?

Googleが提供する「フルマネージドのエンタープライズ向けアナリティクス データ ウェアハウス」です。

2012年にリリースされているものですが、もともとGoogleの内部でGmail検索エンジンなどのビッグデータ処理に使われいたものを、フルマネージドサービスとして提供したのが始まりとのこと。

そのためペタバイト級のデータも数秒で処理することが可能と、あまりにも私が扱うデータ量からはかけ離れすぎて、実感が持ちづらいサービスです。

そんななかでも、わかりやすいBigqueryのデモが以下のYoutubeかと。120億行の正規表現マッチ付き集計が5秒で完了・・・。これは・・・早い・・・。

www.youtube.com

さすがに120億とは行きませんがサンプルデータとして、Wikipediaのデータ(313,797,035件、約3億件 35.7GB)が提供されているので、部分一致検索を試してみたところ、1.6秒・・・。早いですねー。

f:id:sugimomoto:20180213000032p:plain

それ以外にも特徴として、基本的にはRDBと同じような形でSQLベース(ただし、BigQuery用として作られたスーパーセットのため、ある程度方言はあり)で扱えること

ストレージ・クエリ実行時のデータ量単位での使いやすい料金(安いかどうかは使い方次第)

REST APIや各種ライブラリ(C#JavaRubyPython・GO・Node.js・PHP)の提供

などなど、開発者が扱いやすい環境がかなり整っているサービスです。

続きを読む

Burikaigi 2018に参加してきました。イベントレポート

ちょっと間が空いてしまいましたが、先週土曜日(2017/02/03)に富山で開催されたBurikaigi 2018に参加してきましたので、そのイベントレポートです!

toyama-eng.connpass.com

Burikaigiは毎年北陸(富山だけなのかな?)で開催される.NETとJavaの2つをテーマとした勉強会!

私もMicrosoft MVP Business Solutionsの吉島さんと共同で1セッション担当させてもらいました!

(写真ありがとうございます!)

以下、.NET部屋メインの参加サポートです。

Togetterも公開されているので、どうぞー。

togetter.com

続きを読む

VS Code で独自拡張子のファイルにシンタックスハイライトの設定を紐付け

私の会社では、結構重要な部分に「rsdファイル」というXMLベースの独自拡張子を採用したRSB Scriptというものがあります。

以前にBlogで触れていますので、興味があるかたはどうぞ。

kageura.hatenadiary.jp

ベース部分は自動生成してくれるんですが、最終的には手動調整が必要なので、VS Codeで修正しているんですが 独自拡張しなので、シンタックスハイライトが効かない!!!((((;゚Д゚))))ガクガクブルブル

f:id:sugimomoto:20180121222245p:plain

続きを読む

CData MongoDB Driverを使ってドキュメント指向NoSQLであるMongoDBをRDBライクに扱う方法

本日も、またまたMongoDBです。今回は前回使用したCData MongoDB Driverの内部的なお話。

MongoDBのようなドキュメント指向NoSQLは、アプリケーションからプログラムライクに扱う時にはスムーズにアプローチできますが、最終的に分析したい、BIツールなどで咀嚼したい、といった時にはこのスキーマレスな階層構造が邪魔をしてしまいます。

そこを、前回の記事ではCData MongoDB JDBC Driverを挟むことで、RDBライクにアクセスし、BIツールで使いやすいフラットな状態にした上で扱いました。

kageura.hatenadiary.jp

www.cdata.com

今回は、CData Driverがどのようにドキュメント指向NoSQLをRDBライクに扱っているのか、どんなアプローチでMongoDBのデータを解釈可能なのかを見ていきたいと思います。

詳しくは、ヘルプにも掲載している内容ですので、併せて見てもらえるといいのかなと思います。

cdn.cdata.com

続きを読む

MongoDBのドキュメント指向NoSQLデータをCData JDBC Driver経由でYellowfinを使い可視化してみる

何回かに分けてMongoDBに触れてきたのですが、今回はBIツールからMongoDBと戯れてみたいと思います。

kageura.hatenadiary.jp

kageura.hatenadiary.jp

今回BIツールはYellowfinを利用しました。

Yellowfinは自社サーバーインストールタイプのWebベースBIツールです。

yellowfin.co.jp

最終的には、以下のようなOpenWeatherMapのAPIから取り込んだMongoDBの天気情報ドキュメントをフラットなRDBに変換し、

http://openweathermap.org/

f:id:sugimomoto:20180114123919p:plain

降雪情報や湿度の推移をビジュアライズしてみたいと思います。

f:id:sugimomoto:20180114123926p:plain

続きを読む