画像: Lording

Blog

IMG SRC PROTOTYPES VOL.05 開催レポート

2019.11.01
/
  • Report

体験づくりには欠かせない、テクノロジーを使った表現やアイデア、デバイスの可能性などイメージソースの研究開発(R&D)活動の成果を発表するイベント「IMG SRC PROTOTYPES」が、2019年9月24日〜27日に東銀座D2C HALLで開催されました。5度目の開催となる今回は、合計7点のプロトタイプと自社開発プロジェクトを公開。デジタルコミュニケーションを広告やイベントなど幅広い領域に届け、一歩先の未来をカタチにする取り組みを体験いただくこの場に、250名もの多くの方にご来場いただき、共創の可能性を探りました。

NEW WORK 1

Pixel Field(ピクセルフィールド)
- マルチユーザーAR技術を応用した新しい体験の提供 -

『Pixel Field』は、Apple社のAR開発フレームワーク「ARKit」の最新機能をイメージソースが独自に応用し、マルチユーザーAR体験を具現化したプロトタイプです。マルチユーザーARとは、複数人で共通のオブジェクト(モノやキャラクターなど)をスマートフォンなどのデバイスを通して見たり触れたりすることを可能とした技術のこと。AR(拡張現実)を複数人で共有しそれぞれが同時操作できるこの技術は、今後さらなるARの活用に期待される分野です。今回のプロトタイプは、リリースされたばかりの「ARKit 3」を先行して活用方法について具現化し、発表しました。

『Pixel Field』の体験で会場を沸かせたのは、仮想ボールを打ち合うゲーム。それぞれがスマートフォンを持ち、AR空間の中に現れた仮想ボールを打ち合います。これには「ロボット vs. 人」「人 vs. 人」と大きく2つのモードがありますが、特筆すべきは「ARKit 3」の活用により可能となったマルチユーザー体験。複数人でゲームプレイをするなどの体験が可能となりました。

会場では、先端にスマートフォンを取り付けた2組のロボットアームが動き、体験者とプレイ。体験者はスマートフォンを手にし、周囲をスキャンすることで空間認識が完了、すると、ロボットが認識しているAR空間と自分のAR空間がリアルタイムにシンクロする「共有AR空間」になります。共有AR空間内には、仮想ボールと、各ロボットアームや体験者のスマートフォンを拡張するかたちで仮想パドルが出現、ロボットと体験者で仮想ボールをパドルで互いに打ち返して遊ぶことができます。

このプロトタイプのポイントは最新版の「ARKit 3」から可能になった Collaborative Sessions(同一空間を複数デバイスで共有)と People Occlusion(AR空間内で人物の背後にあるオブジェクトを見えなくする)をいちはやく組み合わせたことです。これにより下記の動作が可能となっています。

・複数デバイスからリアルタイムで同一空間を認識
・同一空間内で仮想ボールを共有
・仮想パドルを操作しボールを打ち合う

また、当初体験者が同時利用できるデバイス数は5台を想定していましたが、今回のプロトタイプでは同一空間のリアルタイム共有で遅延を感じさせないためと、現時点で実用可能な数を見極めるために台数を限定しています。しかしこれはリアルタイム共有を可能にする通信環境や開発期間などをクリアすれば、今後プロトタイプから発展させた実装をするなかで改善可能とみています。実際に開発をはじめた当初は、動作の遅延や画面のカクつき、通信そのものが落ちるといった問題に悩まされていたものの、ひとつひとつ地道に対処し、最適化を進めています。
「ARKit 3」は公開されたばかりでしたので、やはり情報の少なさは、開発にあたり苦労した点でもありました。ARアプリケーションはUnityを使って開発していますが、UnityからOS側のAR技術にアクセスするための開発パッケージ「AR Foundation」も現時点でベータ版のため、ネット上で得られる情報も限られています。しかしながら、新しい領域のテクノロジーにいちはやくチャレンジすることで、こういった技術情報やパフォーマンス最適化のノウハウを社内で共有し、いちはやく現場で活かせる貴重なナレッジを蓄積できたことは、大きな成果のひとつであり、R&D活動を続けるイメージソースの強みでもあります。

今回空間認識の精度と速度を高めるため、スキャン用に幾何学模様のタイルを作成しました。これは必須ではなく、環境によってはありのままの空間でも同期が可能です。ただ、今回のタイルに相当するものを使用することで、モールの片隅であれ学校の教室であれ、屋外やどこであっても、その空間をより精緻かつ高度なARインタラクションでオーバーレイする新しいメディアとして活用することが可能となります。

AR空間を介してロボットアームとリアルタイムにインタラクションできる既存のディスプレイに代わる新しいメディアが、例えば店頭に出現したら、これまでにない斬新な体験を消費者に提供できるでしょう。また、ロボットアームをドローンで置き換えるような発展も考えられるでしょう。このプロトタイプは、単なるARの最新技術のトライアルではなく、イメージソースが考えるより広範なメディアやインターフェイスへの取り組みの一部であり、イメージソースには、そういったことに会社全体で取り組むという文化があるのです。

『Pixel Field』制作者:吉井正宣(エンジニアチーム / R&Dチームマネージャー)

NEW WORK 2

KAXEL(カクセル)
- 独自開発デバイスで構築した「光を遮ることでみせるメディア」-

『KAXEL』は、「遮光」か「透過」を制御し、光学的に “隠すこと” を可能にした空間演出装置。透明なマス目がソフトウェア制御によって「遮光(=黒色)」か「透過(=透明)」の状態に切り替わることでさまざまな表情を見せ、背景が姿を見せたり隠れたりというように、環境と調和するこれまでにない光のメディアを作成しました。

『KAXEL』の表示はサイネージのようにプログラミングによって生成されたアニメーションのほか、前に立つことで深度センサーが感知した人の姿が影もしくは画面を透過するかたちで表示させることもできます。情報や映像を “隠すこと” によってみせる、これまでにない空間演出の方法を探求した結果、このプロトタイプが生まれました。

各マス目のひとつひとつは、溶接作業で激しい光から目を保護するためにも使う溶接面(マスク)に使われている調光機能付き遮光LCDを転用しており、なかでも遮光度が最大で95%のものを使っています。これによりほぼ完全に光を遮断し “隠すこと” を可能としています。「遮光(=黒色)」か「透過(=透明)」となる遮光LCDのオンオフの制御にはドットマトリクスLEDのコントローラーを流用、つまり一般的な既存の電子部品で基本的なユニットを構成しています。また、人の姿に反応する深度センサーにも一般的なモーションセンサーデバイス Kinect を用いていますので、例えば大型のウィンドウへ設置をするなど様々な実装の可能性が広がります。近年では大型の透過ディスプレイも入手可能になってはきましたが、このプロトタイプで使っている遮光LCDのような遮光率は望めないため、同様の質感を実現することは不可能でしょう。

『KAXEL』の構想をはじめ、各モジュール間の配線やマスターコントローラーの回路基板から什器自体の設計と制作、モジュールの制御システムや映像表示の為のソフトウェア開発までまで、すべて高野幹が制作しています。

プロトタイプの着想の原点は各個人により様々ですが、この『KAXEL』は、制作者である高野が、日頃から「アナログ=物質」に惹かれるという個性にあります。他の開発でもハードウェアを用いた制作を任せられることが多い高野のように、イメージソースではそれぞれが主体性をもって得意とする領域での知見を広げています。

頻繁に目にするサイネージのような「発光」という仕組みではなく「遮光」という、あえて物理的に光を遮る仕組みを使う物質的な表現に興味を持ったことから『KAXEL』は生まれました。カーテンの隙間をすり抜ける日差しや、木漏れ日が地面に複雑な影を落とすような、新鮮なアナログ感が、環境と調和する光のメディア『KAXEL』の魅力と言えるでしょう。

今回の会場では、8x8のマス目に区切られた窓枠のような什器が横に2台吊り下げられるかたちで構成しましたが、前述のように『KAXEL』は様々な応用が可能。店舗のウィンドウに導入し、内外に向けた深度センサーと組み合わせれば、たとえば昼間は店内への日光の入り方をコントロールし、夜間は明るい店内の一部だけが外から見えるようにして注目を集めるような使い方もできます。また、このプロトタイプを形状的に発展させ、遮光LCDで球体をまるごと構築し、内部に封じ込めた光源によって外の環境にプロジェクションするような仕組みなど、これまでになかった、情報を活用した空間演出を実現するための新しいメディアとしての役割が期待されます。さらに、モジュールを複数台組み合わせゾートロープのようにアニメーションを表現するような未来も想定しています。

こちらの『KAXEL』は、DESIGNART TOKYO 2019 でも展示しました。
これからもさらなる発展を遂げる『KAXEL』をご期待ください。

『KAXEL』制作者:高野幹(デザインエンジニア)

NEW WORK 3

Instant ARbooth(インスタントARブース)
- その場で自分が3Dになる、アプリいらずのインスタントフォトブース -

『Instant ARbooth』は、撮影したインスタントフォトがその場ですぐに3Dのモーショングラフィックスとなる体験を楽しめる、より実用性の高いサービスです。体験者は指定の場所に立ち、深度センサーが付属したカメラで撮影されると、ほんの数十秒で自分の写真が専用QRコードとともにプリントアウトされます。一見アナログなインスタントフォトから、そのQRコードをスマートフォンで読み込むとウェブサイトにアクセスでき、たったいま3Dスキャンされた自分が飛び出してくる、という斬新な体験を提供するフォトブースです。

その場で持ち帰れるモノをすぐに手に取れることと、自分の3Dアバターを見るのに専用のARアプリを必要としない「WebAR」技術を使用しているところが『Instant ARbooth』のポイント。ここでいうWebARとは文字通りウェブブラウザだけでAR表現を行うための技術の集まりで、最新版iOSのSafariなど、その機能が一部実装されているブラウザがここ数年で普及しています。WebARは、同様にVRを扱うWebVRとともに「WebXR」という名のもと、本格的な標準化に向けての取り組みが進んでいる技術なのです。

『Instant ARbooth』の仕組みは次の通り。人物を撮影するのと同時に深度センサー(Kinect)から深度情報(ポイントクラウドというセンサーからの距離を持った点の集まり)が制御用コンピューターに送られます。そこで生成された3Dモデルのデータはバックエンドのサーバーに送信され、モデル表示用のウェブページに組み込まれます。ウェブページのURLはQRコードに変換、写真のプリントアウトに含められます。

制御用コンピューターに搭載し、深度センサーをコントロールしたり、メッシュを作成するソフトウェアと、写真をプリントアウトするソフトウェアは、ともにイメージソース開発のもので、openFrameworks(以下oF)を使って開発されています。その点、イメージソースにはすでにoFのスキルの蓄積が豊富にあるため問題なくスムーズな進行が可能でした。いっぽう、3Dアバターをスマートフォンのブラウザー上に表示するクライアント側のテクノロジーに関しては、WebARのために用意されているJavaScriptライブラリ「AR.js」と、VR表現を簡単にするフレームワーク「A-Frame」を組み合わせることによって効率的にプロトタイピングすることができました。

また、『Instant ARbooth』の特長は、ただ単に自分の写真が3D化するだけではなく、そこに自由にカスタマイズした3Dのメッセージを組み込めることです。これも、単なる技術ショーケースとしてプロトタイプを作って終わり、ということに止まらず、企業のキャンペーンのような高度で大規模な商用利用と相性のいいWebAR技術の今後の発展を視野に入れたものとなっています。

『Instant ARbooth』制作者:石川達哉(デザインエンジニア)

OTHER WORK

今回のIMG SRC PROTOTYPES VOL.05では、この3点のほか、先日ACCブロンズを受賞した光のシャトルが都市を超える新感覚バドミントン『SPACE LIGHT SHUTTLE』、都市空間で楽しむデジタルサーフィン『BIT WAVE SURFIN’ SHIBUYA CROSSING』、有機的に振る舞う風のインスタレーション『FROLIC』、プロジェクションやサイネージをARで拡張した『AR MAPPING』が展示されました。

イメージソースでは、今後も『IMG SRC PROTOTYPES』を通じ、我々が実験的に取り組んでいる試作を、みなさまに触れていただく機会を作ります。そうして、たくさんの方々と共創しながら、ユーザーに楽しんでいただけるコンテンツを世に送り出していきたいと考えております。今回の発表作品やその他ご相談など、お気軽にお問い合わせください。

お問い合わせ
pr@imgsrc.co.jp

また、今後もこのようなお披露目の場作りを定期的に開催致します。詳しくは、弊社HPやFacebookも併せてご覧くださいませ。
最後までお読みいただき、ありがとうございました。