GCP(Google Cloud Platform)で MySQLを構成してみる
ここのところBigQueryを追いかけていましたが
せっかくなら、MySQLとBigQuery、セットで色々と組み合わせて使ってみたい!
ということで、MySQLも構成してみましたので、そのメモです。
GCP Cloud SQL
2018年2月現在、GCPではCloud SQLというサービス名で、[MySQL]と[PostgreSQL]の2つのデータベースPaaSを提供しています。
https://cloud.google.com/sql/docs/?hl=ja
個人的にMicrosoft SQL Serverが使えないのが寂しいところではありますが、なんかこのラインナップは私的にGoogleらしいな、と思わせます。(特に他意はありません。)
今回は、個人的に使い慣れているMySQLを選んでみました。
続きを読むCData JDBC Driverを使って、DbVisualizerからGoogle BigQueryのSQLを実行する
BigQueryの事始め。Web Consoleと戯れる。
Burikaigiも終わり、引っ越しも落ち着いたので、ようやく中途半端に書いていたBlogをせこせことまとめています。
今回はGoogleが提供する、これだけでもGCP(Google Cloud Platform)を使う価値があるであろう、BigQueryについてまとめてみました。
BigQueryとは?
Googleが提供する「フルマネージドのエンタープライズ向けアナリティクス データ ウェアハウス」です。
2012年にリリースされているものですが、もともとGoogleの内部でGmailや検索エンジンなどのビッグデータ処理に使われいたものを、フルマネージドサービスとして提供したのが始まりとのこと。
そのためペタバイト級のデータも数秒で処理することが可能と、あまりにも私が扱うデータ量からはかけ離れすぎて、実感が持ちづらいサービスです。
そんななかでも、わかりやすいBigqueryのデモが以下のYoutubeかと。120億行の正規表現マッチ付き集計が5秒で完了・・・。これは・・・早い・・・。
さすがに120億とは行きませんがサンプルデータとして、Wikipediaのデータ(313,797,035件、約3億件 35.7GB)が提供されているので、部分一致検索を試してみたところ、1.6秒・・・。早いですねー。
それ以外にも特徴として、基本的にはRDBと同じような形でSQLベース(ただし、BigQuery用として作られたスーパーセットのため、ある程度方言はあり)で扱えること
ストレージ・クエリ実行時のデータ量単位での使いやすい料金(安いかどうかは使い方次第)
REST APIや各種ライブラリ(C#・Java・Ruby・Python・GO・Node.js・PHP)の提供
などなど、開発者が扱いやすい環境がかなり整っているサービスです。
続きを読むBurikaigi 2018に参加してきました。イベントレポート
ちょっと間が空いてしまいましたが、先週土曜日(2017/02/03)に富山で開催されたBurikaigi 2018に参加してきましたので、そのイベントレポートです!
Burikaigiは毎年北陸(富山だけなのかな?)で開催される.NETとJavaの2つをテーマとした勉強会!
私もMicrosoft MVP Business Solutionsの吉島さんと共同で1セッション担当させてもらいました!
吉島 良平さん ( @navisionaxapta )
— jun@Jun-nyan(sɹǝunɾ) (@juners) 2018年2月3日
と 杉本 和也さん( @sugimomoto )の「見える化、言える化、やりきれる化!Dynamics365 北陸へ拡散」始まります!#burikaigi pic.twitter.com/q8Y7M2YSHH
(写真ありがとうございます!)
以下、.NET部屋メインの参加サポートです。
Togetterも公開されているので、どうぞー。
続きを読むVS Code で独自拡張子のファイルにシンタックスハイライトの設定を紐付け
CData MongoDB Driverを使ってドキュメント指向NoSQLであるMongoDBをRDBライクに扱う方法
本日も、またまたMongoDBです。今回は前回使用したCData MongoDB Driverの内部的なお話。
MongoDBのようなドキュメント指向NoSQLは、アプリケーションからプログラムライクに扱う時にはスムーズにアプローチできますが、最終的に分析したい、BIツールなどで咀嚼したい、といった時にはこのスキーマレスな階層構造が邪魔をしてしまいます。
そこを、前回の記事ではCData MongoDB JDBC Driverを挟むことで、RDBライクにアクセスし、BIツールで使いやすいフラットな状態にした上で扱いました。
今回は、CData Driverがどのようにドキュメント指向NoSQLをRDBライクに扱っているのか、どんなアプローチでMongoDBのデータを解釈可能なのかを見ていきたいと思います。
詳しくは、ヘルプにも掲載している内容ですので、併せて見てもらえるといいのかなと思います。
続きを読む