really?

automatically documents check

Comment

アプリ名：Really?

概要

このアプリは自分が記入した書類をラインボットに送ると、
自分の記入に書き漏れや余分記入などの不備を教えてくれるというものである。

What it does

automatically documents check

使用方法

Image Galleryで提出しておいたQRコードをラインで読み取り、同じくImage Galleryで提示した画像をカメラで撮り、BOTに送信するのみ。 (※完成していないため、今はImage Gallery2種類の内どちらの書類なのかを表す%しか、画像を送った場合は表示されない。)

Inspiration

主に3つの経験から実用的で、かつ、多くの人に使っていただけるのではないかと考えた。

  1. ある時「○○さん、この書類のここが記入できてないので、買いてもう一回提出してください」と言われ、
    またある時は企業や役所や大学などに、書類を提出す時。
    「・・・・・・・・・・・・・・・・・・・・・・・・・・」と、時間をかけて書き漏れや余分記入が無いかどうかをチェックしている光景が、たやすくイメージできるだろう。

  2. 1の話とも繋がってくるのだが、私は日本学生支援機構から借金をしている。
    それに伴って大学の学費免除も受けている。
    それらを受けるにはある事をしなくてはならない。その一つが多くの書類に記入し、チェックし、日本学生支援機構や大学に提出する事である。 間違いがある書類を出すと印象が悪くなるので、入念なチェックをする。
    これは集中力を要するのだが、それを省くことができれば非常に嬉しいと思えたのだ。

  3. アルバイト先の本社に行った時、役員の人の机には多くの資料、そしてそれを見ている役員。
    私は「これ全部見ていってるのかぁ。めっちゃ集中力に割かないといけないだろうなぁ」と瞬間的に思った。

これらの事をこのアプリを創れば解決できるのではないか、
もっと時間と集中力を別の生産性の高い事に割く事ができるのではないか。
その他にも、個々人がチェックを簡単に、かつ、正確に行えるので、
一度提出した書類が出戻りで戻ってくるといった非常に非効率な事も起きず、受け取る側・渡す側双方の気持ちも、
"晴れやか"である。

以上の事より、私はこのアプリを創ろうと思ったのである。

参加の動機

主に4つ挙げられる。

  1. アルバイト先で"salesforce"の名前を聞き、知った企業になっていたから
  2. AI・人工知能EXPOでsalesforceのブースにお邪魔させていただき、公演を聞き、関心が高まっていたから
  3. Twitterでアプリコンテストをしている事を知ったから
  4. スキルレベル向上に最適だと思ったから

How I built it

システム概要

LINEBOTから画像を送信→heroku上のRails5が受け取ってEinsteinに画像の情報を渡す
→EINSTEINが解析をかける→記入漏れ・余分記入があるかどうかの結果をLINEに出力

Einstein側のシステム

対象書類の無記入画像を、予めEinstein Image Classifierを使い学習させる。
次に、読み込ませる書類それぞれの記入欄をEinstein Object Detectionを用いて学習させる。

heroku(Rails)側のシステム

Rails5を立ち上げておき、LINEBOTからwebhookで画像データを受け取り、
同Railsアプリ内のディレクトリに保存。Einstein Image Classifierで解析を書け、
結果のタグを取得する。
そのタグを元にどのEinstein Object Detectionを読ませるかを選択し、
適したモデルで解析をかける。 最後に結果をLINEBOTに送信する。

LINEチャットボットとの連携

webhookを有効にし、予め用意しておいたheroku上のRails5のURLへデータをなげる

Challenges I ran into

  1. 書類の記入箇所の検出
  2. LINEチャットボット + heroku + Einstein Vision 連携

に挑戦しようと考えている

現状

結論から言うと、完成はできていない。

現在は、2つの書類"雇用契約書"と"業務委託契約書"でEinstein Image Classifierで学習させ、 LINEBOTに画像を送ると、%の結果が返ってくる所までできている。 画像を返せるようにもできているが、まだその画像が完成できる状態ではないので、%の値を返すようにしている。 テストデータは、どのような状況でどのように文書チェックを行うか分からないので、 汎用性を持たせるため、紙の書類を写真で撮った画像や、PCに移った画像をスマホで撮った画像や、PCに映った書類をSnipping Toolで切り取ったものをどちらの書類にも入れて、構成されている。 Image Classifierの結果としては、2種類の書類ではあるが、正確に判断できている。 ※なお対象書類に関しては、Image galleryで提示している ※テストデータは http://zip-upload.herokuapp.com/public/index.html からダウンロード可能である。

将来性

これは、それぞれの企業で使用している書類を企業ごとに予め登録しておき、解析をかけて、検知できるようにしたいと考えている。なお提示方法は、一般消費者にも対応させるために、現在はLINEBOTにしてるが、提示方法は、問わないようにもできるので、あらゆる企業や消費者に対応できると考える。 さらに、大きく人が使う、決まったフォーマットの書類は無料で公開し、認知度を高めたり、消費者も大いに使えるアイデアになっており、LINEのBOTなので、アプリを入れるハードルを越える必要もないと考える。

審査に向けて

別の作業を優先してしまった結果、未完成のものを提出してしまう結果になってしまった事、誠に申し訳ございませんでした。 今よりも格段に多めに時間を割いて、より良いアプリにできるよう、精進します。

Built With

Share this project:

Updates