大量のデータを最速で処理する仕組みが欲しい Diary#09
みなさん、こんにちは。Vertysの山本です。
要件定義ができあがり、いよいよ実際に作る段階です。
ここで、また壁にぶつかりました。
製造データは、量がすごい
製造現場のデータ、なめちゃいけません。
ひとつのセンサーが1秒間に何百ものデータを吐き出す。
それが設備1台に何十個もついていて、
工場には設備が何百台もある。
年単位で億を超えるデータ量になることも珍しくない。
このデータを分析にかけるとき、処理の速さが命になります。
条件:普通のPCで動くこと
ここで大事な制約があります。
製造現場のPCは、高性能なマシンではありません。
数年前のデスクトップPC。場合によってはノートPC。
AI用の特別なチップ(GPU)なんて積んでいない。
「高性能なサーバーを用意してください」と言ったら、
それだけで導入のハードルが跳ね上がります。
普通のPCで、ストレスなく動くこと。
これは絶対に譲れない条件でした。
WESEEK、登場
正直に申し上げて、この課題は自分ひとりでは解決できませんでした。
FA畑30年の人間にとって、
ソフトウェアの内部構造(アーキテクチャ)の設計は専門外です。
ここで力を貸してくれたのが、WESEEK(ウィーシーク)。
画面まわりの設計と、ソフト全体の構造設計を担ってくれているIT専門の会社です。
そして、分析エンジンの心臓部は3人のAIエンジニアが開発。
- WESEEK → 画面設計&ソフトの構造
- AIエンジニア → 分析エンジン
- 佐藤社長 → 要件定義&壁打ち相手
- 私 → 現場目線での企画と品質チェック
このチーム体制で開発を進めた結果、
従来の一般的なツールと比べて、約10倍の処理速度を実現できました。
……中身は秘密です(笑)。
競争優位の核心部分なので、ご容赦ください。
ただ体感でお伝えすると、
数万行のデータを全手法で自動分析しても、
待っていてイライラしないレベル。しかも普通のPCで。
ただし、アルゴリズムや設定次第では、すごく時間がかかりますよ。
でも、500万円するツインGPUのPCとかは必要ないです。
「普通のPCで使える分析ソフト」。
この一言にたどり着くまでに、裏側ではかなりの技術的格闘がありました。
この記事へのコメントはありません。