gsp328 – Introduction to Serverless: Cloud Run Development Challenge Lab の謎

Google Cloud Platform の学習サイト qwiklabs.com で以下ページの学習を進めたけど対応不足を感じるのでメモ。

Introduction to Serverless: Cloud Run Development Challenge Lab

点にはなっているけれど、肝心の本番サイトを表示しても請求情報の一覧が表示されないから何かがおかしい気がしている。データを投入していないのだ。がっつりこの課題をクリアするには、前のコースにあったデータを投入するところもやらないといけないかな?

# ID 指定

PROJECT_ID=qwiklabs-gcp-00-073de6cc5e50

# 下準備

gcloud config set project \
$(gcloud projects list –format=’value(PROJECT_ID)’ \
–filter=’qwiklabs-gcp’)
gcloud config set run/region us-central1
gcloud config set run/platform managed
git clone https://github.com/rosera/pet-theory.git && cd pet-theory/lab07

# task 1

cd unit-api-billing/
gcloud builds submit –tag gcr.io/$PROJECT_ID/billing-staging-api:0.1
gcloud run deploy public-billing-service –image gcr.io/$PROJECT_ID/billing-staging-api:0.1 –allow-unauthenticated

# task 2

cd ../staging-frontend-billing
gcloud builds submit –tag gcr.io/$PROJECT_ID/frontend-staging:0.1
gcloud run deploy frontend-staging-service –image gcr.io/$PROJECT_ID/frontend-staging:0.1 –allow-unauthenticated

# task 3

構築省略

# task 4

BILLING_SERVICE=private-billing-service
BILLING_URL=$(gcloud run services describe $BILLING_SERVICE \
–platform managed \
–region us-central1 \
–format “value(status.url)”)
curl -X get -H “Authorization: Bearer $(gcloud auth print-identity-token)” $BILLING_URL

# task 4

gcloud iam service-accounts create billing-service-sa –display-name “Billing Service Cloud Run”

# task 5

構築省略

PROD_BILLING_SERVICE=private-billing-service
PROD_BILLING_URL=$(gcloud run services \
describe $PROD_BILLING_SERVICE \
–platform managed \
–region us-central1 \
–format “value(status.url)”)
curl -X get -H “Authorization: Bearer \
$(gcloud auth print-identity-token)” \
$PROD_BILLING_URL

# task 6

gcloud iam service-accounts create frontend-service-sa –display-name “Billing Service Cloud Run Invoker”
gcloud beta run services add-iam-policy-binding private-billing-service –member=serviceAccount:frontend-service-sa@$GOOGLE_CLOUD_PROJECT.iam.gserviceaccount.com –role=roles/run.invoker –region us-central1

# task 7

構築省略

グラフデータベースの選定

グラフデータベースは頂点間の関連性をデータ構造として保持し実用的な時間内にグラフとしてレポートするタイプのデータベース。

使い倒す前にどういうデータベースがあるのか調べた。

グラフデータベース一覧

製品名アクセス方法無償
Open
商用可
RDF
構造
操作言語
AllegroGraphWEBNONOYESProlog
/SPARQL
Amazon NeptuneWEB/GremlinNONOYESTinkerPop
/Gremlin/SPARQL
AnzoGraph DBWEBYES
NOYESYESCypher
/SPARQL
ArangoDBWEBYESYESYES未記載AQL
/JavaScript
DataStax Enterprise GraphWEB
(DataStax Studio)
NONO未記載Gremlin
/Tinkerpop
DgraphWEBYESYESYESYESDQL
/GraphQL
Grakn CoregRPCYESYESYES未記載Graql
InfiniteGraph未確認NONO未記載未確認
JanusGraphGremlinYESYESYES未記載Gremlin
LEMONライブラリYESYESYES未記載
MarkLogic未確認NONOYES未確認
Microsoft SQL Server 2017未確認未確認NO未確認Transact-SQL ?
Nebula GraphWEB
Nebula Graph Studio利用
YESYESYES未記載nGQL
Neo4jWEBYES
NO未記載Cypher
NetworkXWEBYESYESYES未記載Python
OpenLink VirtuosoWEBYES
両版有
YES
両版有
YES
両版有
YESSPARQL
/XQuery
/XPath 1.0のみ/XSLT 1.0のみ 
Oracle RDF Graph; part of Oracle Database未確認未確認未確認未確認YES未確認
Oracle Property Graph; part of Oracle Database未確認未確認未確認未確認未確認未確認
OrientDBWEB/AppYESYESYES未記載Gremlin
/TinkerPop
RedisGraph未確認YESYESYES未記載Cypher
SAP HANA未確認未確認NO未記載Cypher
Sones GraphDB未確認未確認未確認未確認未確認未確認
Sparksee未確認YES
NO未確認未確認
Sqrrl Enterprise未確認未確認未確認未確認未確認未確認
Teradata Aster未確認未確認未確認未確認未確認未確認
TerminusDBWEBYESYESYESYESWOQL
TigerGraphWEB
GraphStudio UI
NONO未記載GSQL
Trinity Graph Engine未確認未確認未確認未確認未確認未確認
list of graph databases

幅が狭すぎてエクセル資料の情報を結構削ってしまったが、何か一つグラフデータベースを使って学んでみるという段階で重要なのは有償か無償か、次にオープンソースか否か、更に商用利用可能かどうかというところだと思う。

次に必要なのは実装方法か。Javaで出来ているか否かはまあまあ重要で、もともとサーバー上でJavaを使っているなら「しめしめJVMに間借り出来るぞ」という気持ちになるだろうし、使っていなければ「無暗にミドルウェア増やさなきゃいけないしメモリが無駄になるではないか」という気持ちにもなるだろう。

  • Grakn Core, JanusGraph, Neo4j, OrientDB, Sqrrl Enterprise はJava実装
  • Sqrrl Enterpriseは破産により開発終了
  • Trinity Graph Engine はMicrosoft Graph Engineが承継?

HAや細かい認証機能、ドキュメント・RDFのストアに対応しているかなどの考慮は後回し。

操作言語

言語概要利用言語例
AQLArangoDBでドキュメント・グラフに用いるSQL風クエリ言語ArangoDB
CypherアドホックやSQL風なプログラミングの処理を実現する宣言型グラフクエリ言語 
DQLDgraph Query Language. GraphQLのDgraph拡張機能への対応Dgraph
GraphQLオープンソースのAPI向けデータクエリ&処理言語。ISOなのでSQLのグラフデータベース版の立ち位置。GQLとも。Dgraph
GraqlGrakn’s declarative reasoning (through OLTP) and analytics (through OLAP) query languageの略。Grakn Core
GremlinApache TnkerPopのオープンソースプロジェクトの一部である、グラフプログラミング言語 
nGQLnebula Graph Database 独自のSQL風処理言語nebula graph database
SPARQLRDF向けのクエリ言語。RDFフォーマットデータの処理に利用する 
GSQLSQL風のGraph Query Language。TigerGraph
WOQLWeb Object Query Languageの略。WOQLは強力で洗練されたクエリ言語であり、任意のデータ構造で複雑なパターンを簡潔に表現できる。コアとなる基本的概念が簡素なため表現力豊かで使いやすいTerminusDB
list of languages

もう一つ重要な要素が操作言語である。グラフデータベースはそれぞれデータ構造・実装昨日が異なるためか、データ操作用の言語が乱立している印象がある。

その中でも汎用性が高そうなのはCypher、GraphQL、Gremlin, SPARQL。以下のような棲み分けになるのだろう。

  • GraphQLはISO標準のSQL風クエリ
  • Cypherは先駆者Neo4j作のため利用が多いSQL風クエリ
  • Gremlinはプログラミング時の標準コマンド
  • SPARQLはRDF処理の標準クエリ

選定結果

Java なし派だからDgraph, Nebula Graph, TerminusDBが良いと思った。しかしまだ最後まで絞り切れていないのだ。

試しにDgraphを使ってみようと思っている。

限界状態でのシステム開発マネジメント

普通は「ちゃんとスケジュールを引き直そう」とか「ヒアリングしてより業務に適した人材配置転換しよう」とか「増員してなんとか期限までに終わらせよう」とか、進捗が芳しくない時の改善はセオリーがある。
けれど、限界状態ではそれが当てはまらない。

限界状態とは

具体的にはこういう状態を指す。

  • 他との兼ね合い・契約の都合によりスケジュール・期限をずらせない
  • 人員誰もがフル稼働
  • 人員増加したとしても期限まで時間が短く必要知識の学習が間に合わない
  • 業務改善しようにも目前の業務締め切りのためヒアリングの時間を作れない

「そんなの進捗管理すれば起こるわけないでしょ」と思うかもしれないけれど、本当に起こる怖い話なのだ。

どう対処すべきか?

最も重要なのは作業効率をなるべく維持出来るように優先度の高いタスクから終わらせていくことだと思う。
なので最優先タスクが何かの確認は必須だと思う。でも、それ以外のタスク確認・状況ヒアリングなどはヒアリング対象者に余裕がなければしてはならないし、最もいけないのがキーとなる作業要員の作業時間を食いつぶすことだ。
他の人員が進捗管理に参加出来るのならば、リスケジュール出来そうな事項はリスケジュールする、人を増やせば取り掛かれる・対応できるタスクには別人員をアサインする、作業している人員の効率の妨げになっている事項があれば解消するなどの対応にとどめた方が良い。

なお、このやり方でもう期限に間に合わない状態となれば、もうその時は天命を知る他ない。

強く主張したいこと

細やかな進捗管理が必要なのは進捗状況を管理下においていつまでに何をせねばならないか明確にすべき時のこと、稼働に余裕が存在する場合の話であって、この場合マネージメントは大きな意味を持つ。
けれどフルに稼働していて調整している余裕もない場合では直近の作業に全振りすべきであって、マネージメントの大切さは相対的に下がるということなのだ。