IMG SRC

体験づくりには欠かせない、テクノロジーを使った表現やアイデア、デバイスの可能性などイメージソースの研究開発（R&D）活動の成果を発表する取り組み「IMG SRC PROTOTYPES VOL.06」。6度目となる今回は、新たに3点のプロトタイプを公開。デジタルコミュニケーションを広告やイベントなど幅広い領域に届け、一歩先の未来をカタチにするイメージソースのこの取り組みをレポートします。

『Teachable Controller』は、従来エンジニアだけが持つ専門知識とスキルが必要だった機械学習モデルの生成をユーザーに開放することで、コンテンツの楽しみ方の幅を広げるためのプロトタイプです。

普段制作を手掛けるデジタルコミュニケーションを用いた案件のなかでも、インタラクティブな体験を提供するコンテンツは、かねてよりイメージソースが得意としており、年々ニーズの高まりを感じている領域です。ユーザーの表情やポーズなどを認識するゲームやフォトブースなどがその一例で、需要の高まるこれらの制作に役立つプロトタイプを考えました。

ゲームやフォトブースなどの体験型コンテンツで、ユーザーの表情やポーズなどを体験に反映させるには、まずカメラに映ったユーザーの身体のポーズや顔の表情などを解析し、何らかの入力値に変換するという処理と、その値がどういう特徴を持ったデータなのかを認識する処理が必要です。その2つの処理において使われているのが機械学習であり、そこでとりわけ重要なのが「学習モデル」というカスタムデータの生成です。このデータはいわば “秘伝のソース” のようなもので、目的に応じてエンジニアが時間をかけ機械に「学習」させて作成していきます。

体験型コンテンツをエンジニアが制作する際、通常はインタラクティブなプログラムを開発し、（例えばポーズによって映像や音が変わるコンテンツなど）その入力部分に適用する学習モデルまで作成、それらを組み合わせたものがシステムの完成形となりますが、『Teachable Controller』はそのモデルをユーザーが自分で定義できるようにしたものです。今回のプロトタイプでは、「画像」「音」「ポーズ」「手の形」「顔の表情」といった5つタイプを用意し、それらの自然入力をコンテンツ（今回は簡易的なゲームコンテンツとした）のコントロール入力として学習させ、キーバインド（「Aボタン」などへの割り当て）するデモを用意しました。

「手の形」の学習を例にとると、まずひとつめの段階として、手前にセンサーが置かれたPC端末の「学習」画面でボタン「A」「B」「C」それぞれに対応する手の形を覚えさせます。ここでは各ボタンを指定し、それぞれ手を好きな形（グー、チョキ、パーなど）にしてセンサー上にかざし、6秒間かけて形状を記録します。
次に「学習」ボタンを押すと、センサーが取得した手の位置情報から機械学習プロセスを経て特徴量を取得し、学習モデルを完成します。この数秒間、学習モデルの精度が収束されていく様子がグラフとして表示され、ユーザーはよりパーソナルな体験に落とし込まれた感覚に期待が膨らむでしょう。これで、センサー上に手をかざし、その形を変えていくだけでゲームの「A」「B」「C」ボタンに相当する入力が可能になり、デモでは「PONG」というシンプルなゲームの操作が実演されました。

これまでにないステップを踏むこの体験は、慣れない入力方法のため操作に手間取ることもありますが、『Teachable Controller』を使うことでシンプルなゲームの操作でも難易度が高まり、だからこそよりテクノロジーと調和した体験を楽しむことができると考えています。

このほか、カスタネットやマラカスのような鳴り物をゲーム操作に使い「音」を学習させるものなど、学習可能なものは構想次第で多岐に渡ります。
また、ゲーム操作は2人で行うことも可能です。キーバインドできる入力の数に制限はないため、グループで声を出し合いながら楽しくゲームすることもできそうです。

他にも応用例として、Chromeブラウザの拡張機能に『Teachable Controller』を組み込んだデモも展示しており、画像や音声で学習させることによって、例えば指でスクロール操作したり、声を使ってブラウザ操作するといったデモを実演されました。

加えて、今回の展示では『Teachable Controller』以外にも、『Style Transfer for 3D』という機械学習による生成タスクである画風変換技術を3Dオブジェクトに適用させるというプロトタイプも展示されました。デモではオリジナルの画風変換モデルが用意されており、スニーカーや車、服などの3Dモデルに対して、好きな画風を3Dオブジェクトのテクスチャに適用できる仕組みを用意しました。

機械学習をよりユーザーフレンドリーにするこのプロジェクトは、先進的なテクノロジーをより使いやすく、面白くするというイメージソースの得意分野を存分に発揮したものだといえます。

『Teachable Controller』制作者：田中誠也（エンジニア）
詳細はこちら

『Color +α』は、実世界にあふれるさまざまな「色」に合成技術で「+α」をすることで新しい体験を作り出すプロトタイプです。ベースとしているのは 現代では成熟した技術とも言えるクロマキー合成で、緑色など特定の「色」に別の映像をはめ込むものです。成熟した技術だからこそ、誰もが固定概念として持っているイメージを壊す意外性や、誰もが楽しめる体験の可能性を探りたいというのが、このプロトタイプ制作の出発点でした。

会場に用意されていたのは3つのデモ。ひとつめは、テーブル上に赤・青・緑それぞれ2枚ずつの正方形タイルが置かれた6ピースを使用した「Puzzleバージョン」です。スマートフォンアプリのカメラをかざして見ると、3つの異なる映像が3種のタイルの合成色にはめ込み表示され、映像の一部だけが見えるようになっています。そのタイル同士が正しく配置されるとひとつの映像が完成するという仕組みで、ジグソーパズルをイメージして制作されています。表示される映像は8秒間動いて8秒間静止することにより、デジタル版ジクソーパズルを組み立てる楽しさを演出しています。

ふたつめは暗室で行う「Lightバージョン」。緑・赤・白の懐中電灯で壁に光を投射することで、アプリ越しに3種の映像をミックスして楽しめるというものです。このデモでは花火などの映像が使われ、異空間のような体験を実感できるものでした。モノの色ではなく光の色を合成色に使うため、光が交差することで意図していない色が発生し、意外性を演出できることも魅力のひとつでしょう。仕組みとしては仮想的な球体の内側にユーザーがいて、その球体にマッピングされた3種の映像が合成されて表示されるというもので、その実現のためにアプリ（Unity）側でスマートフォンのジャイロセンサー(角速度センサー)を活用しています。ユーザーの空間位置を取得できるようになれば、前後左右の移動に追従させ、仮想空間をクロマキー合成して「覗く」ことも可能になります。

3つめのデモは「Boardバージョン」で、これはホワイトボードに赤・青・緑のマーカーで絵を書き、そこに映像をクロマキー合成させて実空間に自由に映像をはめ込めるというものです。各合成色にそれぞれ違う映像効果を適用し、異なった演出を加えることができます。例えば、緑色のパーカーを羽織ってカメラの前に立つと、アプリ越しに光学迷彩のように見せる表現や、映像ディレイをかけることで可能になったユニークな演出を楽しんでいただけるものを制作しました。

今回の展示では、制作者でエンジニアの梅園孝による3つの発想が形となっていましたが、液体の混ざり方のように人間ではコントロールできない物理特性がもたらす偶然を活かした表現や、イベント、映像演出、インスタレーションなどで活用できる可能性のあるプロトタイプです。

『Color +α』制作者：梅園孝（エンジニア）
詳細はこちら

『AR graphics』は、身の回りの空間にあるグラフィックを認識、あたかもそこから出現したように、シーンに即した3DCGのオブジェクトをAR表示するプロトタイプ。

会場では、プラモデルのランナーについたパーツのように配置されたアルファベット文字のポスターから、3DフォントがAR空間に出現する様子がデモされました。
これは、Adobe Aero（エアロ）というARを再生するアプリケーションを使用し、表示しています。特定のグラフィック画像をあらかじめAeroに登録し、「画像のアンカー」として設定しておくことで、アプリのカメラが実空間に置かれたグラフィックの位置と傾きを検出、そこを基準点として、クリエイターが意図したとおり正確に、3Dオブジェクトが実空間に重ねて配置されるという仕組みです。

制作者の小山潤はデザイナーであることも、今回のイベントでは新しい試みです。このプロトタイプの目的は、イメージソースが取り組みを強化している3DCG制作のスキルを活用し、単純に3DCG制作のクオリティを上げることはもちろん、AR制作のためのワークフローの理解など、制作にまつわる可能性を探ることにあります。今回、IMG SRC PROTOTYPESの制作者にデザイナーを適用しエンジニアの手を借りることなく企画立案からアウトプットまですべてを担当したことは、イメージソースの新しい強みとなると考えています。

今後の発展としては、3DCGオブジェクトにアニメーションを組み込むことによる、さらに踏み込んだ映像表現や、利用者がオブジェクトを自由に組み立てたり、組み合わせたりできるインタラクティブ性を持たせることが考えられます。
このようにデザイナーだけで完結できるコンテンツ作成や空間演出が可能になれば、これから生まれてくるARコンテンツもデザイナーのスキルとユニークな発想を活かした豊かなものとなることが期待できます。

『AR graphics』制作者：小山潤（デザイナー）
詳細はこちら

今回のIMG SRC PROTOTYPES VOL.06では、新作3点のほか、その場で自分が3Dになるアプリいらずのインスタントフォトブース『Instant ARbooth（インスタントARブース）』、ARの新たな活用法を提案する『Pixel Field（ピクセルフィールド）』 に関しても、更新と追加検証をしました。

詳細はこちら

詳細はこちら

イメージソースでは、今後も『IMG SRC PROTOTYPES』を通じ、我々が実験的に取り組んでいる試作を、みなさまに触れていただく機会を作ります。そうして、たくさんの方々と共創しながら、ユーザーに楽しんでいただけるコンテンツを世に送り出していきたいと考えております。またその他ご相談など、ぜひお気軽にお問い合わせください 。

お問い合わせ
pr@imgsrc.co.jp