Botkit middleware を作ってみる作業メモ

やること

  1. modern JavaScript なプロジェクトをセットアップしてみる
  2. Botkitアプリケーションに対して外から入れるような形のモジュールを作ってみる
    • Botkit middleware
  3. ローカルでのyarnを介したモジュール開発をしてみる
  4. npmに登録してみる
  5. サンプルアプリケーションを作成してみる
  6. Deploy to Heroku で簡単に触って見られる、という感じにしてみる

きっかけ

そこそこお久しぶりな方から、Slackにハッシュタグ的な「ゆるく情報をまとめる方法」が欲しかった話 - コネヒト開発者ブログをみて、「今まさにこういうの欲しいのですがーーーーー」的なご連絡をいただきまして、自分が作ったり発信したりした何かに興味を持ってもらって & ましてや、ソレをきっかけにリアルグラフ内からのご連絡を頂戴するなど技術者冥利に尽きるなガッハッハ!という事で、テンションが上がってしまいましたとさ。

ただ、実装詳細についてはポイントポイントでスニペットをつけてはいるものの、 普段からslack apiやbotに触れている〜〜みたいな人でもない限り、これを「ゼロから自分でコードに落とす」みたいなのは確かに面倒臭そう。
自分のアイディアなので使ってもらえたら嬉しいな〜とは素直に思いつつ、どうやって手にとってもらうかな〜が悩まし、いっそコード晒すか!!ってなりました*1

序章: やり方を考える

〜botkitに組み込むポータビリティの高いパッケージ管理とかあるの?〜

せっかくなら、メンタビリティを損なわないような形をとりたい。疎結合、外から注入できる必要がある。プラグイン的な機構が必要。 f:id:o0h:20181013185417p:plain

で・・ botkit.ai

あるじゃん!

botkitのサイトにもリンクされていたGitHub - shishirsharma/botkit-mixpanel: Botkit plugin for Mixpanel analytics https://botkit.aiとかは、題材的にも自分の身近感あるし参考になりそう。

ああ、なんかここまで調べてるうちにコレは自分にとってすごい楽しいオモチャなのでは・・って気持ちが湧いてきた。compsor plugin, redashのquery runnerに並ぶような。。

第1章: まずはlocalでbotkitを立てましょう

ミドルウェアの概念を理解して実装をしたいのだけど、とにかくまずは開発環境の構築だ。

  • yarn add botkit
  • eslint周り + prettier をyarn add
    • 関連設定ファイルは、会社のJS強い人が書いているやつをそのまま参考にする
    • ぷりてぃあ〜使える安心感たるやすっごい・・・

ビルドツール

うげ〜〜JSわからんのだよ〜〜〜っていう苦手意識が強いので、「パッと入れてガッと動く」と噂に聞くparcelを使えばいいのかな?と思って試してみた。

・・・のだけど、会社のJSに強い人に聞いてみたら、「今回の目的からすればrollupでないかい!」と。マジか。設定ファイル書きたくないんだけど。調べてみる。

f:id:o0h:20181013202636p:plain

なるほどなるほど。ググって出てきて参考にした記事。

最小構成で始めるRollup.js - コンパイラかく語りき

神がいる、ありがとうございます。

rollup.js ふむふむ。

あと、ついでに「本当に必要最低限な.babelrcについて教えてください」と前出の人に問うた結果、 @babel/preset-env はあったほうが良さそうだったので入れる。
それに加え、「モジュールの読み込みがうまくいかない・・・」ってハマった。

  • npmでインストールしたもの = node_modules以下を使えるように node-resolve が必要
  • 自分で書いたものなどを使えるように commonjs が必要

ココらへんの知識の無さを痛感するなぁ。。。参考にした記事。

最終的にこんな感じ

  • yarn add --dev rollup rollup-plugin-node-resolve rollup-plugin-commonjs rollup-plugin-babel @babel/core @babel/preset-env

.babelrc

{
  "presets": [
    ["@babel/preset-env", {
      "targets": { "node": "current" },
      "useBuiltIns": "usage"
    }]
  ]
}

rollup.config.js

import commonjs from 'rollup-plugin-commonjs'
import resolve from 'rollup-plugin-node-resolve'
import babel from 'rollup-plugin-babel'

export default {
  input: 'src/index.js',
  output: {
    file: 'dist/index.js',
    format: 'cjs',
  },
  plugins: [resolve(), commonjs(), babel()],
}

これでいいのかな? ついでに、package.jsonにscriptsを追記しておく

  "scripts": {
    "watch": "rollup -cw"
  },
  • yarn run watch
  • node bot.js

f:id:o0h:20181013222223p:plain

無事に動いた。

ちなみに、動かしたスクリプトの内容は以下。

第2章: npmモジュールを作成してみる

「ミドルウェアの概念を掴んだり実際に機能実装をやろうかな?」と思ったのだけど、強い人の声。

f:id:o0h:20181013222717p:plain

なるほど・・?そういうのがあるなら、手戻りなく「最初からbotkitのappからスタンドアロンにして作ってしまおう」ができるかもしれない。
概念がよくわかっていないので調べる。

yarnpkg.com

お、なるほど〜。
このあたり、PHP(composer)だとtypeをsrcにしてレポジトリは直接ローカルを指定〜とかやるけど、それよりもシュッとしたやり方?それとも、無用な抽象化でまどろっこしい?どっちなんだろ〜、という感想。いずれにせよ思想の違いを感じて面白いな!!

ということで、
現状のディレクトリ構成がこう。

- hoghoge-ws
    - botkit-hogehoge
    - app

いつもそうなんだけど、プラグインとかモジュールとか作るときは「ws: workspace」ディレクトリを掘って、その配下に実際に公開されるgitレポと合わせた名前でモジュール本体のディレクトリ & 被検する「app」ディレクトリをおく、というやり方をしてる。

ということで、とても簡単にできそうなので、まずは「パッケージ化するためのもろもろ」からですな〜

npmモジュールとして登録するための諸々を行う

qiitaの記事で流れを掴みつつ、 qiita.com

「実際に公開されているミドルウェア」で構成だったり記述内容を学ぶ感じで行けるでしょうか。

www.npmjs.com

最低限の構成と思われるものを整えた。

$ git diff --name-only HEAD~~

.babelrc
.eslintrc
package.json
rollup.config.js
yarn.lock

で、 yarn link ・・・

$ yarn link
yarn link v1.9.4
success Registered "botkit-hashtag".
info You can now run `yarn link "botkit-hashtag"` in the projects where you want to use this package and it will be used instead.
✨  Done in 0.20s.

お〜!なるほどね。 これを食うようにしてみる。

$ cd ../app
 $ yarn link botkit-hashtag
yarn link v1.9.4
success Using linked package for "botkit-hashtag".
✨  Done in 0.15s.

$ ls -l node_modules | grep hashtag
lrwxr-xr-x    1 hkinjyo  staff     20 10 14 00:29 botkit-hashtag -> ../../botkit-hashtag

ほうほう。とりあえず、「簡単なオウム返しなミドルウェア」を作ってみよう。
botkit-mixpanelを見ると、

  1. module.exports = function(controller, options) {} のクロージャを作って、その中でcontrollerをゴニョゴニョしている
  2. readmeをみると require('botkit-mixpanel')(controller, {mixpanel_api_key: process.env.MIXPANEL_API_KEY, debug: true, always_update: true}); 的な感じで食わせている

なるほど〜。
これでやっと、「ESどうやって書くの・・・」な世界から抜け出してbotkitな世界に進める。

Middleware Endpoints。

botkit.ai

公式のスニペット

// this example does a simple string match instead of using regular expressions
function custom_hear_middleware(patterns, message) {

    for (var p = 0; p < patterns.length; p++) {
        if (patterns[p] == message.text) {
            return true;
        }
    }
    return false;
}


controller.hears(['hello'],'direct_message',custom_hear_middleware,function(bot, message) {

    bot.reply(message, 'I heard the EXACT string match for "hello"');

});

あ、ちょっとAPIの形が違うのね。って思ったけど、 controller には変わりないよね。一旦試してみよう、さっき雑にapp/src/index.jsに書いていたreplyをこっちに移してみる

// botkit-hashtag/src/index.js
module.exports = (controller, options) => {
  controller.hears('hello', ['direct_mention'], (bot, message) => {
    bot.reply(message, 'Hello my friend!');
  });
};

// app/src/index.js
const botkit = require('botkit')
const controller = botkit.slackbot({ debug: true })

require('botkit-hashtag')(controller, {})

controller
  .spawn({
    token: process.env.SLACK_TOKEN
  })
  .startRTM(function(err) {
    if (err) {
      throw new Error(err)
    }
  })

f:id:o0h:20181014005003p:plain

おお〜〜、ちゃんと動いた〜〜〜!

  • When hearing a message
  • When matching patterns with hears(), after the pattern has been matched but before the handler function is called

ってあるから、ミドルウェアに関しては特別なのかもしれない?


あとは、実装は愚直に。しかしprettier最高すぎるな・・
このエントリーは一旦ここまで!折角だし、もっとミドルウェアっぽい機能を作ってみたいな。楽しそう

*1:いっそコーヒーでも奢ってもらいながらコーディング&インストールでもペアプロでもするか・・?とかよぎったけど、口実つけてお喋りしたがるムーブに自分の中のおっさんを感じた

フレームワークとどこまで骨を埋めるか問題 ( #phpgenba を聞いて)

問題〜とか言いつつ何も答えが出てない、どころかissueを見定められてないけど。ただの散文です。

#phpgenba を聞きまして。

php-genba.shin1x1.com

「フレームワークとの付き合い方」というトピックがありました。
これについて。正解もないし、良い視点で主張や議論ができるほどの経験値もないと思っているのだけど、まぁ「今の時点で感じていること」を言語化して残して置くことには面白い点もあると思うので。

「どこまでフレームワークの機能を使うか」「(自身で層を敷いて)線引き、責務分離をした上で付き合った方が辛くなりにくい」という話がありました。
DDD、クリーンアーキテクチャの立場から「実装と詳細の分離」という思想と捉えて良いのかな。

その感想を、今の自分なりに。
なお、ここでは「チームで開発する」とした時の「価値」を「自分だけでなく他人も書きやすい・読みやすい・分かりやすい」こと、と定義して思考します。
それを支える要素としては、

  1. PJ全体を通じてブレがない
  2. 具体的なプラクティスやディスカッションを多く仕入れやすい

というのがあると良いな、と思います。

さて、個人的には フレームワークを使うと決めたら、骨の髄までその流儀に乗っかって、旨みを享受する方が美味しい のでは、という立場。*1

支払った学習コストに対して横展開がきくので、少なくとも短期的にはスピードが出る。新規者において、公のソース*2から得られる情報の大きさゆえの学びやすさからだし、同じ理由で、既存メンバーからの指導のしやすがあるから。
この辺りは分かりやすいから良いにしても、自分なりに疑問なのが「フレームワークにロックインされる」ことがどれくらいリスク足り得るか?について。

podcast中で「新しくバンバンwebサービスが立ち上がって行くフェーズから、数年経ったプロジェクトやコードベースをお世話する場面が増えてきた。その背景があって、DDDやクリーンアーキテクチャといった概念が注目されるようになっめきたのではないか」という観点。これは、なるほどなーと思い、賛成で。

他方で、「ドメインに関しては依存したくない」「こっちはフレームワークの機能を使わないレイヤー、というのを決めて置くとうまくいきやすい」のかな?という部分。*3

さて、自分の場合において、「今書いているコードが5年生き残った場合に、(フレームワークべったりか否かで)どっちが親切で説得力があるか」をどう考えれば良いか。

まず、自分が充分に経験を積んだアーキテクト足りえるか?は大きい気がする。要するに、「辛い体験」の経験不足。これは否定しようがないし、今はその「身の丈」で物事を考えなければいけない。
その上で、「世界中で使われているOSSの設計者やコミュニティのほうが、質の高い"良さ"を持っているはずだ」という公算が高かろうな〜と思うところで。
私が考えたデザインと、フレームワークそのものが、「5年後に生き延びていて、かつ良くメンテナンスされている」ことの期待値はどっちが高い・・?

プログラマーは、概して、その本質として「自分の力より高い次元のことを要求される」ものだよな〜とは時々思う。もちろん出来る範囲のことでしかできないのだけど、もし「もっと出来たら」もっと良いデザインや良いやり方で「正解」を出すだろうなーっていう。
そう考えると、「自分の持つ実力を出せる方法があれば、そうしたい」という欲求が生まれる。巨人の方に乗る方法があれば、そうするのが賢いと思う。

自分の中で「フレームワークにのっかり、しゃぶりつくす」というのはそのための方法論の1つ・・・そして、「他のフレームワークに移るときのコストが」という話についても、(今の自分の考えでは)「そのタイミングというのは、これまでの常識で太刀打ちできない要求の変化が起きた」というトリガーがあると想像する。
奇しくも、短いような短くないような職業プログラマ歴の中で、自分は前職と現職で1度ずつ「フルスクラッチの改修」に関わっている。その時に、既存コードの部品を流用しようとはならなかった*4。なので、「この機能を使っちゃうと後々困るかもね」という懸念で、「フレームワークのフルパワーを引き出しながら日々の業務に取り組む」メリットを殺しに行くかなぁ〜というのが、あまりイメージできないなーと。。。正確に言えば、「ここからは独自に」という線引きをするための知識・経験・センスが足りていない・・・のかな。

と、書きながら、程度問題は絶対にあるなとも思った。
それでもソフトウェア/フレームワーク以上のレイヤーで「よくある」かはまだわからないのだけど、例えばデータベースの移行はつらそうだなぁ。。
「mongoすごい!使おう!!」「スキーマレス最高!!多次元構造最高!!」「スケールしていったらつらみが・・」「乗り換えるか・・・?」とかは、一筋縄ではいかないだろうなぁ。


今の自分の武器に盲目的になることはせず、守備範囲内外へのアンテナを貼りつつ、良いもの・悪いもののどちらも正しく批判しつつ、使う道具にはリスペクトを持つ!!

というスタンスでいたい。

*1:数年後には揺り戻しが来るだろうな〜という予感はする・・あくまで、今においてはというもの。

*2:githubも、slackなどのチャットも、stackoverflowもqiitaも。「ググれば出てくる」こと。

*3:この流れで出てきた、「節度」「治安」というのは良い概念だな〜と思いました

*4:cake2 -> cake3の移行は、「同じフレームワークの移行」とは数えないのが正解な気がする・・概念等は共有されているので、キャッチアップについては下駄を履けるのだけど、コードをそのまま使えるか?は・・

herokuでphp動かすためのDockerイメージを組んだ

「herokuでDocker使えるよ」って言うから試そうとしたらハマった - 大好き!にちようび というものを書いたじゃないですか。 あれ以来、「一旦Container registryでやるの諦めてアプリケーションだけ書いちゃおう・・・」となり放置、さらに他のことに浮気をしたりが重なりアプリケーション自体も書いていなかったのですが。

他のことが消化されたり、というのもあったので「久々に作るかー」となり起動したのでした。

で、結論、できた。

ということで、かなり参考にさせていただきつつphp72のものを組めた。今の所、php:7.2-fpm-alpineをベースとしてnginxを足した感じ。

o0ho0h/heroku-php72-fpm - Docker Hub

これを使って、例えば「PostgreSQLとxDebugを足したものを作りたいな」となったら、次のようなDockerfileを用意すれば立ち上がるしHerokuに載せられる。

FROM o0ho0h/heroku-php72-fpm
RUN apk add --no-cache \
    $PHPIZE_DEPS \
    postgresql-dev \
    && docker-php-ext-install pdo pdo_pgsql \
    && pecl install xdebug \
    && docker-php-ext-enable xdebug

ENV COMPOSER_ALLOW_SUPERUSER=1
COPY ./webapp /var/www/html
WORKDIR /var/www/html
RUN php composer install -o

構成イメージはこんな感じだ。

$ tree -L 2
.
├── Dockerfile
├── docker-compose.yml
└── webapp
    ├── composer
    ├── composer.json
    ├── composer.lock
    ├── index.php
    ├── public
    ├── src
    └── vendor

composerは本体をgitに入れて管理させちゃっても良いか、と思ったので入れてある。デプロイ周りの整え方によっては、composer/composer - Docker Hubを使っても良いかもしれない。

実際のアプリケーションを作ってみながらコチラも整えていこう、という気持ちでいるのでまずは「動くところまで」という着地。最終的には、気になっているところをちゃんと取り除きたい。
いま気持ち悪いのは以下

  • rootのままになっている。 docker-nginx-php-fpm-heroku を見ると ADDUSER はしているのだが、USER nonroot とはしておらず、さて・・?という疑問が。
  • 近い問題で、herokuでの起動時にfpmでの user group` ディレクティブが注意される。「superユーザーで実行しない限り効かないよ」と。無指定にすればlocalでの起動に失敗するので、今の所「書いておく、herokuに怒られているけど仕方ない」みたいな割り切り
  • run.sh に乗せている内容を、どうにかDockerfileに持ってこれないものか。理由としては、ベースイメージのCMDの中で実行される内容が肥大化すると、自分のDockerfileに細やかな処理が書きにくくなりそうじゃない?と思うから。

はぁ、それにしても「同じイメージをそのまま使える」のマジで便利。すごいと思う、革命や・・・ 前回apacheでうまく行かなかった理由は相変わらず謎のまま〜〜

Redash Meetup 3.0.0に参加しました #redashmeetup

もう1週間前のことですが。
たまたま知り合い経由で主催の id:ariarijp さんにお声がけをいただいて、Redash Meetupの第3回でお話をしてまいりました。

会全体的な振り返りは、こちらにまとめてくださっているので。 ariarijp.hatenablog.com

発表しましたですよ

で、わたくしめの話した内容はこちらの「minnaka-redash-wo-qi-chi-tiyokushi-uyarifang-wo-kao-eru-number」でございます。
speaker deckの生成するJP->ENなURL、好き。

speakerdeck.com

もともとは tech.connehito.com の記事を書いた時に「こういう内容、meetupで話してみたらどうですか!」と言われたのがキッカケだったので、エントリーの内容を肉付けしたり削ったりして組んだのが今回の発表内容。
正直なところ、これを以てウチの組織で「めちゃくちゃ上手く行っていて快適、ユートピア!」なんて状態はまだほど遠いのだけれど・・・

↓1番思うところはココでありまして。

f:id:o0h:20180711101342p:plain

当日、お話を聞いてくださった方々ありがとうございました。
人の前で話すの久しぶりすぎて、自分のターン終わって着席後に貧血ぽさ&吐きそうになったのは秘密です。

登壇内容で持ち帰ってきたもの

自分としてはAPI経由の操作やQueryRunner等「Redash自体の拡張」というのに手を出していなかったので、お話をされていた他の3名の内容が結構ビシビシ刺さった。

クエリのバックアップ/差分管理・・・そういうのもあるのか・・・とかビックリしたり。

JQL(mixpanel)のQuery Runnerとか書いてみたいな・・・JQL叩くとかチーム内で自分くらいしか使っていないけど、それにしたって自分が叩くのだから欲しい・・・。あとJS/JQL知識はあるのに!みたいなメンバーはいる状態なので、「pythonでリクエストしたり整形しなければいけない」というのが余計。これを是正すれば活用度合い広がりそうなので。やるかぁ。。

"Redash運用に付きまとう課題とその解決方法"が 「未来の話」ぽくて良かった

それとは別観点で、エウレカ大久保さんの話が、自チームよりはるかに先のステージで戦っている!!感があってとてもおもしろかったんですよ。なるほど、そうやって対処していくのか〜的な。

「課題は組織文化・規模等においてケースバイケースだと思う」というのは自分の発表においても述べたとおりなので、同じやり方をそのまま引っ張ってこれるか?についてはNOだと思うけれど。あと、例えば「命名規則管理」は結局・・・みたいな話も御本人がされていたので、これは「minnaka-redash-wo-qi-chi-tiyokushi-uyarifang-wo-kao-eru-number」のテーマとは確かに真っ向に立場を異としているよね!とか。

その中で、じゃあお前は何が「刺さった」といっているのか?というと、「Redashと周辺ツールの組み合わせ方」みたいなところで。
当然ながら「RedashのQueryをAPI経由でSpreadsheetに食わせられるよね」みたいなところは知っていたのだけども。Redash単体だと「ダッシュボード作成のために、似たようなクエリを複数書く必要がある」とか「簡単な集計をビジュアライズに含めるためにソース側に都度集計列を足す必要があったり」「PivotTable含め、集計結果を加工したものを用いてビジュアライズすることができない」とか。 これらが、「データソースから引っ張ってくる部分」と「ビジュアライズのための集計処理をする部分」と「ビジュアライズをする部分」が分離されるような構成にする事で、とても楽になるなぁ〜・・・・・と。*1
「知見や視点を1箇所にまとめたい」がためにRedashは魅力的なので、運用を考えないとなぁとは思うけれど、それでも「SpreadSheetに投げる」は納得感があり良さそうと感じた

あとは「古いクエリによる誤った情報の引き出し」も、たしかになぁ。。

その他、真似したいなぁ〜と思ったのは「ビジュアライズするときの色の使い方等のルールを定める」とか。「男性を表すのが、ものによって赤だったり青だったりすると混乱する」は確かに・・

懇親会で感じたもの

当然ながら自分が話したのが「運用どうしていくか」というものだったので、立ち話も運用どうですか〜〜みたいな話題も多かったのだけど。どの会社も大変そうだ・・w

  • データ分析専任ぽいファクターがあるところはまだまだ少なそうだけど、情シス的な機能や社内ツール的な機能を持つエンジニアが「データ出し」を代行したり管轄していたりすることが多いのかなぁという印象
  • 「非エンジニアがばりばりSQL書く」みたいなのはやっぱりハードルがありそう、そこに達しているだけでも結構恵まれている感じ
  • 「どのくらいの数のクエリやキィーがあるか」「触っている人数がどのくらいか」で求められているものが全く違いそうだな、と改めて

とかかなぁ

企画と会場提供とてもありがとうございました!

個人的にはずいぶんと久しぶりな勉強会登壇で、本番までずいぶんと気が重かったのですがw
発表してみたら会場の方々が温かい雰囲気で聴いてくださってよかった〜
そして会場がすごくキレイでおしゃれだった・・・アレほしい・・・

ということで、主催の有田さん・会場のエウレカさんありがとうございました!!
何かおもしろ知見溜まったらどっかでまた発信したいなー

*1:とはいえシズル感のあるダッシュボードを組むには、やっぱりTableauやDataStudio、もしくはRedash4.x的な「ダッシュボード作成」のための機能がほしいな〜とは感じつつ・・