シドニーと東京間の インタラクティブ・ボリュメトリックライブ

2024年1月23日

慶應義塾大学大学院メディアデザイン研究科（KMD）

世界初、ボリュメトリックビデオによる視聴者の自由な視点からの音楽ライブを海を越えて7800キロ離れた観客に届け、東京の演奏者とシドニーの観客が即興音楽を共創しました。通常のネットワークでは困難な、大量のデータを伝送するための安定した高速通信ネットワークは、複数の研究教育ネットワークの協力により提供されました。

慶應義塾大学大学院メディアデザイン研究科（KMD）、キヤノン株式会社、バスキュール株式会社、森ビル株式会社は共同で2023年12月15日にSIGGRAPH Asia 2023の”Super-Speed Connectivity for Digital Twins”と題されたクロージングセッションにおいて、研究教育用超高速インターネットを駆使してTOKYO NODEとシドニー国際展示場（ICC）間でリアルタイムによるパフォーマンスを実施しました。

東京のバイオリン演奏を、ポイントクラウドの空間映像と共にシドニーで楽しむ。

演奏者の周りを歩き回り自由に視点を移動

シドニーにいる観客の動きに合わせて即興で音楽を奏でる参加型の音楽共創

TOKYO NODE内ボリュメトリックビデオスタジオで演奏するバイオリン奏者

東京からバイオリン演奏をし、シドニーにいる観客の動きに合わせて即興で音楽を奏でる参加型の音楽共創を披露しました。バイオリニストの演奏を正面、横、背後から鑑賞したり、バイオリンに接近するなど自由に視点移動をすることを実演しました。

本パフォーマンスは、57台のカメラが設置されているグリーンスクリーンのTOKYO NODE内ボリュメトリックビデオスタジオからリアルタイムでストリーミングされました。撮影された映像からポイントクラウドの空間映像が生成されます。

本パフォーマンスにおいて利用されたTOKYO　NODEとシドニー国際展示場（ICC）間の研究教育用高速接続は、オーストラリアの学術教育ネットワークであるAARNet (Australia’s Academic and Research Network)、WIDEプロジェクトが運用する研究教育のためのアジア太平洋バックボーンネットワークであるARENA-PAC (Arterial Research and Educational Network in the Asia Pacific)、グアムを拠点とする教育研究ネットワークのためのオープンなインターネットエクスチェンジGOREX (Guam Open Research & Education eXchange)の相互協力により実現しました。

ボリュメトリックビデオ技術チーム

伊達 厚,荒谷 俊太郎 (キヤノン株式会社)  

朴正 義, 大澤 咲子 (株式会社バスキュール) 

杉山 央, 茂谷 一輝 (森ビル株式会社) 

青木 伸治 (株式会社日テレ・テクニカル・リソーシズ)

研究教育ネットワークチーム

Steve Maddocks (Director International, AARNet)

Luc Betbeder-Matibet (Director, Research Technology Services, UNSW)

Chris Zane (University of Hawaii / GOREX)

浅井大史、遠峰隆史、石原匠、小林茉莉子（ARENA-PAC / WIDE Project）

加藤大弥、有馬俊（KMD）

大川恵子（KMD / WIDE Project）

パフォーマンスチーム

Yuehui Yang (KMD)

伊東大地 (IBM)

Yamen Saraiji (SONY AI / ACM SIGGRAPH Hybrid Society adhoc Committee)

稲蔭正彦 (KMD / ACM SIGGRAPH Hybrid Society adhoc Committee)