三浦 剛

「Diorama Vision」（ジオラマビジョン）は、現地に行かなくても目的の周辺情報をARグラスを通して3Dジオラマ上で見ることができるソリューションサービスです。

観光案内所やホテルなど、観光の起点となる場所に設置し、現地のPRがより効果的に行えるようになることで、地方創生や地域活性化にも貢献します。地域の魅力を広く伝え、多くの人々がその魅力に触れる機会を提供することで、新たな観光需要を創出します。

迫田大翔

【世界初】グローブ型VRコントローラー

孤独な少年の耳に棲むものとは？　そしてなぜ少年の耳に!?︎

その少年は、毎日土を掘って、そこで見つけたものをクッキー缶の中に集めていた。そして少年のノートには、彼の人生と、拾い集めた物たちが発する孤独な声たちが記録されていた。そんな彼の耳の奥には、4 人の音楽隊と、レース状の偕老同穴に住む2 匹のエビが住んでいた。彼らは、少年が涙を流すたびに演奏とダンスをして少年を励ましてくれた。彼はお礼に、拾ったものが入ったクッキー缶を振る。そうやって少年は成長していった。

成人した少年は補聴器を売るセールスマンになり、孤独な声を拾い集めることも

涙を流すこともなくなっていた。ある日、彼はTVのニュース で見た、日系人強制収容所で見つかった手製の小鳥のブローチに魅了され、少年の頃を思い出し、再び孤独な声たちを拾い集める旅に出る。そこで彼が出会ったものは…？

株式会社moonshot

『Virtual Fashion Show 2023』は、「VRChat」などのソーシャルVRで用いられるアバターのランウェイショーです。

11の人気バーチャルブランドが集結し、様々なアバターが、多種多様な装いで登場しました。

最新のモーションキャプチャ技術を用いた高精細なモーションと、人気VTuberの軽妙なMCトークによって、VRやファッションに詳しくない人でも「メタバースファッション」の最前線を楽しめるイベントになりました。

株式会社ambr 代表取締役CEO 西村拓也

TOKYO GAME SHOW VR（TGSVR）は、世界三大ゲームショウの1つである「東京ゲームショウ」の公式VR会場です。開催2年目となるTGSVR2022は、「ゲームショウがゲームになる」というテーマの下、4日間の開催期間で延べ来場者数約40万人を記録しました。TGSVR2022の最大の特徴は、「バーチャルイベントゲーム体験」の実現であり、「空間設計」「ストーリー設計」「ゲーム設計」の3点に注力して設計されています。アバターカスタマイズ、ゲームクエストシステム等を導入し、大規模メタバースイベントにおけるインタラクティブなゲーム性を付与しました。「ダンジョン」から着想を得たストーリーに沿って会場内を探索し、ゲームの世界に入り込めるという、革新的なメタバースエンタメ体験を提供しています。

柴田展大

Memoriaは、メタバースを活用したマッチングアプリです。バーチャル上でアバターの姿を活用し会話をすることで、相手の外見やスペックに左右されずに、内面や相性を重視した恋愛が可能です。また、どこからでも参加できる気軽さと、仮想空間ゆえの安心・安全性、リアルでは体験できないようなバーチャルならではのデート体験を通じて、これまでにない新しい形の恋愛を提供しています。

ジョナサンハガード

１９６０年代から現在にかけてのロマンスカーの進化や、街並み等の車窓などを、ＶＲヘッドセットを通じた３６０°のアニメーション（１０分間）で振り返りながら楽しむことができるオリジナルコンテンツです。特に、すでに引退し小田急線を走ることのないＮＳＥ（３１００形）やＲＳＥ（２００００形）の乗車体験、昔の新宿駅や下北沢駅の様子などの風景は、お子さまには新しい、大人には懐かしいものであり、ぜひ親子で体験いただきたいと考えています。

岩﨑謙汰

TARGETは、HoloLens2を活用した新しい謎解き体験をお届けするコンテンツです。

ユニバーサルヒラメキゲームとは、言語や文化に依存しないヒラメキを追求したゲームです。

4人プレイのTARGETはエンタメ商業施設「ヒラメカ下北沢」によって体験ができ、現在約1000名以上に体験していただいています。

秦 優

「めじゃにまる」は、ARで動物や人を計測単位にすることで、長さや面積、体積を視覚的に計測して楽しめるエンターテイメント計測ツールです。

・あの建物の高さはキリン何頭分かな？

・テーブルの上に寿司を何貫置けるかな？

・このベッドに何匹の猫を乗せられるかな？

・この部屋には友達が何人並べるかな？

などなど、色々な動物ツールを使って長さを測ったり、自分や家族、友達を3Dスキャンして建物の高さを測ったり、使い方は十人十色。いろいろな物を計測して楽めるツールです。

木下 顕志

■企画概要

「新宿感触動物園 HapticZoo」は、ライオンの肉球やカバのお腹といった、通常ではさわることが難しい動物のさわり心地や動きの感触を体感することができる“感触の動物園”です。

力加減や物の表面の感触を正確に記録することができる技術を活用して、動物園や動物プロダクションの協力のもと実際にライオン、カバ、ゾウ、ワニ、ヘビ、タカの感触を計測し、再現できるようにしています。

さらに、感触の計測と同時に計測部位にさわる様子を撮影しておき、感触と映像を連動して再現デバイスに搭載することで、触覚と視覚の複合XR体験を実現しました。

また、どんな動物のどんなアクションをコンテンツ化するか検討するにあたっては、「体験したい」と「計測・再現できる」と「体験しておもしろい」を兼ね備えたものを考案しました。

※実際にコンテンツ化したアクションリストは下記外部リンクのプレスリリースをご確認ください。

https://prtimes.jp/main/html/rd/p/000000001.000119258.html

■結果

イベントには56組、計165人に参加いただきました。体験者アンケートの結果は以下の通りです。

・「感触がリアルだった」：86.5%
・「新しい発見があった」：93.5%
・「また体験したい」：96.1%

中橋　篤

・「スグバース」は、世界初の店舗型VRCHAT体験をご提供する商業サービスです。

・VRChat社と正式に業務提携しており、VRCHATの便利な機能や豊富なコンテンツをそのまま活用。ハードもソフトもアカウントもアバターもおすすめワールドも、全てスグバース側でご用意しますので、VRCHATがどなたでも手軽にすぐにご体験いただけます。

・最大の特徴は、VRCHAT内でお客様を接客する「バーチャルアテンダント」の存在。VRChat内での操作方法をレクチャーしてくれるのはもちろん、メタバース内で一緒に遊んでくれる「初めてのともだち」となって、VRソーシャルプラットフォームとしての魅力を最大限にお伝えします。

・またスグバースは、バーチャルアテンダントやワールド＆アバター制作者への対価の支払いによって、既存のメタバースに足りていなかった「雇用と経済」を積極的に創出してまいります。これにより、物理的な距離、年齢や性別、身体機能、などを問わない、新しい働き方がいよいよスタートするものと確信しております。

・サービス開始（2023年秋予定）の当初は、週末や祝日はtoCの店舗型サービスとして、平日はtoBの企業様向け出張体験サービスとして、稼働率を高めて運営してまいります。（終）

株式会社 JVCケンウッド・デザイン

「Forestverse」は日本各所の森の音・映像をライブ配信する仮想空間です。自分の顔を投影した動物の姿になってそこに集い、今の森を体感しながら対話を楽しむことができます。

操作では、体験者の顔の向きをトラッキングし、空間内を直感的に移動できるUIを実現しています。ヘッドマウントディスプレイやコントローラーを使用しないため年齢制限なくどなたでも体験できます。

飲食が可能になるなど、普段と同じ状態で気軽に楽しむことができます。

紹介動画内でも、お菓子を食べながら楽しんでいる様子があります。

また、物理的な距離・年齢・性別の違いなどを壁とせず、人と自然、人と人がデジタルにつながることができるインクルーシブな場所です。相手の意思を汲み取れるアバター表現を模索し、顔の映像・手の動き・心拍、そして表情から解析された感情の色を動物アバターに反映しています。

様々な手段で感情の微妙なニュアンスを伝え合える空間を目指しました。

REALITY XR cloud株式会社　代表取締役社長　春山 一也

「バーチャル大阪駅 うめきたワールド」は、JR西日本グループが仕掛けるメタバース空間活用をした、新しい駅舎を事前体験するワールドです。

2023年3月18日（土）の「大阪駅（うめきたエリア）」開業に先駆けて、2023年3月8日からバーチャル上で、先行開業。「大阪駅（うめきたエリア）」のシームレスな次世代移動サービス体験をいち早く提供しました。

実証実験中の「顔認証改札機」や世界初設置の「フルスクリーンホームドア」、関空特急はるか(281系)への乗車体験や記念撮影などの体験コンテンツと、再現度の高い「大阪駅（うめきたエリア）」を提供。結果として、Z世代を中心に盛りあがりをみせ、約50日の開催期間で約600万人の来場者数（REALITY稼働史上最大）を記録しました。

イベント開催後のユーザーアンケートでは、体験者の内53%が、本ワールドを体験したことで、「大阪駅（うめきたエリア）」の開業を知ったと回答し、認知拡大に大きく繋がりました。再現度の高い公式駅ワールドで、バーチャル上の「駅で友達と遊ぶ」という新しいエンターテイメントを創りだしました。

彭子威 Andy Peng

A Virtual-reality based platform that focuses on education. It allows school teachers to have a relaxed online classroom anytime and anywhere. SurrealmEdu provides school members a full package for class management, which makes it easier to manage courses and learning history. By utilizing different types of classrooms, students are able to have cooperative learning and achieve better result.

Pumpkin VR 南瓜虛擬科技股份有限公司

Full-Spectrum Medical Training Powered by VR

TianYen-DavidNi

Mirrorworld: The Future of 3D Interactive Projection system is an innovative product that leads the technological trend. Our product combines the latest 3D autostereoscopic technology with interactive projection, delivering an unparalleled immersive experience to users.

Vicky Chen

Audience is a low-latency live streaming technology that enables the transmission of 180/360-degree content in both platform and SDK formats. This technology has two primary applications: the first is the transmission of virtual world content to physical world audiences through a virtual camera, while the second is the transmission of physical 360-degree camera content to audiences. The biggest advantage of Audience is that compared to the expensive cloud rendering, Audience can provide high-quality 360-degree content to a large audience at a low cost, particularly in the context of XR devices not yet being widely available. Additionally, it also enables a certain level of virtual-real interaction between the streamers and their audiences in the real world, further enhancing the overall experience

OSENSE Technology Co., ltd

AI tech-related Solutions range includes virtual spaces and Al technology-related solutions. The Image Technology Solutions, which helps brands to create high-quality virtual spaces. Also, our AI tech-related Solutions, Qubby , which utilize Al technology to create Virtual Anchors、Virtual Assistants、Virtual Customer Service, helping users to gamifies interactive experiences.

Chean Wu

Amass is in real-life 3D Capture. We integrate revolutionary methods for capturing the real world as volumetric depth and using this as data for tracking, biometrics, behavior, and holographic reconstruction media. Our specialization allows cutting-edge services for people, objects, and smart environments. Using a single depth camera, no extra setup, no green screen, and no markers, the customized 3D content is made in place by capturing, creating, and presenting at once, enabling us to reduce the cost by 10-100 times for our clients.

尾上兼透

・屋内規模のAR空間

・都市規模のAR空間

・VR空間

・現実空間

これら全ての前提条件が異なる空間同士のセッションシステムを構築しました。

家でもAR体験ができる
特定の場所でもできる
VR空間からの交流もできる

そんなわがままを詰め込みました。

41h0&haku

「RYUNOS」は遭難したどり着いた島を探索し、脱出を試みるVRロッククライミングアクションゲームです。 時の経過で少しづつ景色が変わっていく美しい島を探索しましょう。 この島の脱出のカギは岩山に住むドラゴンが握っているようです。

慎重に岩山を登り、ドラゴンに会いに行きましょう。

@_mathken

『VR Action Game Kit』はVRゲーム開発未経験者を後押しする無料VRゲーム開発キットです。

自分がVRアクションゲームを作る際に、取っ掛かりとなるサンプルがなかったという経験から開発しています。

オープンソースで提供し、商用利用を含めて自由に活用いただけます。

動画の通りUnity公式アセットを活用していたのですが、オープンソースとしての活用がNGだったので

利用可能な素材でリブート中です。

SaRaN

「時間とは何か」をテーマに制作しました。

このワールド上では「時計」「ライオン」「蝶」「蝋燭」、そしてそのワールドへ訪れた「わたしたち」が存在し、各々の時間の流れを表現しています。

・「時計」が動いているとき「ライオン」は静止し、「時計」が静止した時「ライオン」は動き出す。

・「蝶」「蝋燭」は「時計」にかかわらず動き続けている。

・そして「わたしたち」はどこの「時間」で過ごしているのか。

VRソフト「TiltBrush」を用いて3D上に作品を描き、そこへアニメーション＆BGMを作成・追加しVRChatへワールド化しています。

今井　啓三郎

迷路をVR用にアップデートしました

Gakki (キンミライガッキ現代支部)

空間に描いたシンボルを認識して対応した「キンミライガッキ」を召還できるAR音楽アプリです。キンミライガッキは、同名プロジェクトが実際に提唱・開発している別時空の新しい楽器達。実際にプロダクト・作品化されるまで現代に存在していません。そうした”未”現実の楽器達をAR空間に召喚し、演奏が出来るアプリケーションです。

【操作・体験方法】

本ARアプリは、スマートフォンを用いて体験できます。

・AR空間上に軌跡を描き
・軌跡から特定のガッキを生成し、
・生成されたARガッキに触れて演奏する

3段階の体験によって構成されています。

画面中央のアイコンを押している間、スマホを動かすと軌跡を描くことが出来ます。

軌跡の角度や長さからシンボルを認識、対応するガッキを生成します。

現在認識できるシンボルは以下の3種類です。

　〇　「円」=　Observer　(ドラム)
　 /　「直線」　＝HUSHI　（弦楽器）
　⚡　「ジグザグ（雷型）」　＝Blitz Valve（スパーク音）

召喚されたガッキはタッチや、スマホを直接当てることで鳴らすことが出来ます。

描くシンボルの大きさで、召喚されるガッキの大きさと音の高さが変わります。

生成したガッキは画面上でタッチして動かすこともできます。

【コンセプト】

ARという、個人個人それぞれの端末から覗ける世界は、各々の環世界であり、物質化以前のイデア空間に近いと考えています。

私は楽器・装置の開発者として、3DCADによるモデリング・設計(=非物質的な創造)を行った後、現実世界で再構築する手法で製作しているため、現実世界に完成する以前にイデアが存在しているかのような感覚を覚えています。

その根幹に触れるため、オリジナルのCGモデルを直接演奏し、XR表現でありながら体験者の現実の身体の動きを誘発する体験を製作しました。

LAUTRIV（ラトリブ）

バーチャルロックバンドLAUTRIV（ラトリブ）のオリジナル曲「存在のメロディ」

全編VRChatで撮影されたミュージックビデオです。

インターネットの音楽シーンでよくみられる歌詞のタイポグラフィを多用したリリックビデオではなく、メンバーそれぞれの動きと、ダイナミックなカメラワーク、カット割りを意識した構成で、現実のロックバンドで見られる演者が主体となったミュージックビデオに仕上げています。

ギター、ベースの3Dモデルのネック部分をキャラクターモデルの左手に追従させるように設定を施したり、ドラムは演者が実際に叩いているリアルのドラムと同じサイズ、形状の3Dモデルを用意し、現実の動きと違わない自然な演奏姿を再現しています。

VRChatでは第三者から見た動きがモーション補間により、もたついた動作になってしまうことから、メンバー個々のカメラでも録画を行い、それぞれの見せ場となるカットではよりきびきびとした動きを見せられるように演出的な工夫も行っています。

特に手数が多いドラムはモーション補完の影響が他のパートより顕著に影響が出るため、この工夫がより活かされています。

今回はミュージックビデオでの応募ですが、わたしたちはVRChatなどのメタバース空間でリアルタイム生演奏でライブ活動を行っています。

メタバース空間での音楽活動はまだまだ世の中には知られておらず、このような活動があることをより多くの方に知っていただきたいという意味も込めて、今回応募させていただきました。

少しでもこのような活動にご興味を持っていただけましたら幸いです。よろしくお願いいたします。

ぬこぽつ

2022年11月にVRSNS「VRChat」でシェイクスピアの悲劇「マクベス」を上演しました。

来場者は120名。YouTubeの配信の視聴者は200名を越えました。

❐メタバース空間でシェイクスピアを演じるということ

キレイはキタナイ、キタナイはキレイ」シェイクスピアの名作「マクベス」の有名なセリフです。栄光の裏は血なまぐさい行為があり、物事は表裏一体であるというもの。

「VRChat」をはじめとするVRSNSでは、ユーザーが好きな姿になれ、外見の選択肢が存在します。

アバターの外見について熱心に語る一方で、そのアバターの中に存在するのは、まぎれもなく生身の私たちです。

そんな私たちが、己の欲望のために禁忌を犯すような醜いマクベスを演じたら、どうなるのか。

仮想現実で演劇をすることで、役者はその身に3つの人格を宿すと僕は考えています。

HMDをかぶっている物質現実の人格。

アバターに身を包む仮想現実の人格。

そして古典戯曲に登場する役の人格。

かわいいがひとつの価値として定着している世界で、 マクベスのような醜悪な役の人格が先の2つの人格を凌駕できるのか。

凌駕したとき、"かわいい"アバターは、観客からはどのように見えるのか。

そんなことを追い求めて制作しました。

❐VR演劇が解決する課題

アバターをまとい上演する演劇活動は、現実の演劇とはかけ離れているかもしれません。しかし、アフターコロナ後のこの世界でさまざまな活動の課題を解決すると考えます。

コロナによるパンデミックで、劇場がやむなく閉鎖され演劇から離れていった多くの若者がいました。彼らがふたたび演劇を志す場をVR演劇は提供します。

身体的にハードルのある方が気軽に演劇に加わることができます。金銭的にも現実の公演と比べて非常にリーズナブルに活動ができます。

リアル演劇活動とのダブルスタンダードとして広く認識されるように、VR演劇を広めてまいります。

長峰慶三

「Tamashoot」はARデバイス(Meta Quest Pro)を装着して公園をステージとした舞台で行う、新しい玉入れ遊び／競技です。

この作品は「公園withARハッカソン」にて「公園の遊びをアップデートする」というテーマのもと制作されました。

誰でも簡単に楽しめるように、コントローラーは使用せずハンドジェスチャーで実際に手でタマを引っ張る→狙う→放つだけの直感的な操作で遊べる体験になっています。

ステージに設置された発射スポットから順番にカゴをめがけてシュートし得点を競うシンプルなルールですが、地面や障害物にあてて入れることで得点が加算され高得点を狙うこともできる競技要素も含んでいます。

公園内にいくつもステージを設置することで、普段は行かない公園の新しい場所を知り、魅力を再発見するきっかけになってほしいという意図もこめて制作しました。

安全面の配慮として「狙って放つというゆっくりとした動作」「決まったスポットから発射するというルール」これらにより激しいプレイや危険な場所への立ち入りを防ぐといった設計になっています。

また、日中の屋外でプレイしやすいようにカメラパススルー型のARデバイスを使用しており、時間や季節などの環境変化によらず安定した位置合わせができるようハンドトラッキングによる独自の位置合わせ手法を用いてもいます。

マルチプレイ対応で、簡単な操作とシンプルなルールでありながら、一球入魂の真剣さとカゴに入るかどうかのドキドキワクワクを感じられる今までにないAR体験、それが「Tamashoot」です。

鈴木あいれ

# 企画について

## 概要

東京を拠点に活動する劇団「コメディアス」が、2023年6月11日にソーシャルVRプラットフォーム「VRChat」上のVR劇場「Drama Hall」で上演したVR演劇作品です。

## 背景

劇団コメディアスでは、演劇を単に「見るもの」ではなく「体験するもの」であると位置づけ、VR空間の劇場でのリアルタイム上演を2021年より開始しました。過去の上演ではコロナ禍で失われかけた「劇場で観劇する」という体験をVR空間で再現・拡張することに成功。VRと現実を演劇でつなぐことを劇団の一つの活動目標として創作に取り組んでいます。

## 課題

過去2年の創作では、舞台美術や衣装などについてはVRChatでの活動実績のあるクリエイターと共同で創作していたものの、俳優に関しては劇団員のみで構成していました。

「VRと現実を演劇でつなぐ」ことを達成するためには、単に一方的にコンテンツを提供するのではなく、創作の裾野を広げ、より多くの人が気軽に演劇に関われる土壌を形成することが重要だと考えました。

そこで3年目となる本作では、これまでの「観劇する体験」に加えて「舞台に立つ体験」をVR空間で楽しんでもらうことを目標に設定し、創作に取り組みました。

## 創作過程

まず、演劇創作への障壁を下げるために、2023年2月に劇団初となる未経験者に向けたVR演劇ワークショップ『コメディの稽古場』を実施しました。

これまで劇団が現実とVRで培ってきた演出手法・俳優の技術などを実演と座学を織り交ぜつつ共有し、楽しみながら自然に舞台に立つ第一歩となる構成としました。

次に、このワークショップ参加者の中から希望者を募る形で本作品『Bの悲劇』の出演者5名のキャスティングを行いました。

俳優の中にはこれまで演劇経験のない者も含まれましたが、2か月の稽古期間で基礎から応用に至るまでの演劇を作り上げるうえで必要になる技術を網羅的に共有し、作品を完成させました。

## 成果

2か月の稽古で5名すべての俳優が上演作品の要求するレベルに到達し、過去の劇団作品と比較しても遜色のないレベルの作品が完成しました。

その結果として計4回行われた本番公演は全ステージ満席を記録、劇団のVR公演では最多の動員となりました。

劇団の俳優ではない身近な人物が高いレベルの作品を作り上げたという点も相まって反響も非常に大きく、特に上演中は観客席から声援やツッコミが入るなど現実の劇場では見られないレベルで客席と舞台の距離が近い公演となりました。

## 今後の取り組み

初の取り組みということもあり今回の公演は俳優5名、上演時間30分と比較的小規模なものでした。

今回の上演後に出演の希望を何件か受けたことに鑑みますと、「舞台に立つ体験」に対する需要は現実以上に大きいと思われます。

そこで次回は、俳優10名以上、上演時間も1時間半程度の大規模なVR演劇の上演を行うことで、より多くの人に演劇を作る楽しさを届けられればと考えています。

# 作品のあらすじ

Bの頭文字を持つ人物が犯人――
探偵がそう結論づけようというとき、容疑者の一人が口を開いた。
これ⻖（こざとへん）じゃないですか？」
コメディアスがお送りする、なすりあいサスペンスコメディ！

今井健人

XRAYBODYは、透過と反射の機能を併せ持つハーフミラーの特性を利用し、現実空間において、体験者自らの呼吸に合わせて上半身内部に存在する各種の骨格を透視できる生理的な感覚に強く根差したインタラクション作品である。

具体的には、VRトラッカー、圧力センサー、LEDテープ等を組み合わせたシステム設計によって、寝転んだ状態の体験者の呼吸の位相を腹部の動きからモニターし、大きく吸い込んだ呼気が全身に充満するのに呼応して、首元から腹部そして股関節までの体表面が徐々に透過されていく。加えて、自らの手で直接に触れた体表面付近も局所的に透過可能である。

2022年11月の展示会では、XRAYBODYを体験した83人中65人（78%）が、「自分の身体の内部を見ている」「呼吸によって自分の身体を透過している」感覚に強く同意しており、錯覚効果の頑健性を確認している。

成澤 俊輔・宮川 伸吾・山本 大

成澤俊輔には視覚がない。徐々に視覚を失っていき今は光を感じるのみ。

ある日、彼は１枚の絵画を購入した。彼に絵画は見えないが、共に絵を見る人との対話を介して鑑賞する。

人との対話を豊かにするためにアートの力を借りるのだという。

同じ絵をみて、ある人は優しい絵だという。ある人は懐かしい絵だと言う。ある人は怖い絵だと言う。

絵と対話によって引き出された言葉は、対話相手自身を映す。

そこに浮かび出てくるものは、成澤俊輔と対話者による別のアート作品のようだ。

本プロジェクトでは、このアートを使った対話にテクノロジーの力を添え、成澤俊輔のアートとして完成させた。

成澤俊輔が発する言葉で生成AIを使って絵画を作り出しWebAR化、QRコードを印刷したカードとして持ち運べるようにする。

絵画を生み出すプロンプトは、成澤がこれまで膨大な対話の中で紡いだ言葉である。深く人を洞察する成澤俊輔らしさのある言葉である。絵を一度も目にしていないが、込められた魂は紛れもなく成澤俊輔のものだ。

自分が作り出した絵を使って対話のアートを生み出すことで成澤俊輔の対話のアートが完成した。

【対話セッション参加者の声】

・対話相手が成澤の目の代わりになることで溶け合うような感覚が感じられた

・同じ絵なのに、見る人によって全く違う感想が感じらた

・対話者の心境や考えていること、メンタルバランスなどで対話の内容が大きく変わるのでカウンセリング的でもあった

・対話相手と成澤が二人で作った作品のような感覚を覚えた

AIや社会保障が究極に発達して生きるコストが大きく下がる未来、人生は大いなる”余暇社会”となる。

人は生来、対話や人との繋がりによって豊かさを感じる。しかし、生存のための労働がない余暇社会では、対話のきっかけが乏しくなる。きっかけを生み出し、体験を創造・共有して、豊かな対話を生み出す装置の一つがXRといえる。

未来人は、XRを触媒に人との対話を築き、対話によって人生を深掘り、叡智を深め、新たな価値を創造するだろう。

人と人の関係性の拡張にテクノロジーを使う。

これが成澤俊輔の拡張現実である。

みっつ

「どこかの星のCUBE型アンドロイドが最期に見た夢」

という背景のパーティクルライブワールドを、メタバースプラットフォーム cluster に公開しました。

より多くの人がパーティクルライブという作品群について自らの体験をもって認知し、今後様々な作品に触れて楽しむきっかけを作ることを目的として、

① iphone, Androidなどのモバイル端末でも参加可能な描画負荷で制作すること

② 楽曲の途中で語られるストーリーや、鑑賞中に観客が舞台の中を移動する体験設計を用いて、鑑賞者が深い没入感を得られるようにすること

を重視して制作しました。

広くの人が体験可能な本制作物をもって、メタバースにおけるパーティクルライブのみならず、3D空間を用いたMusic Videoの制作やライブ演出などといった、関連する領域の創作活動へ興味をもつ人々を増やすことに寄与する作品の位置づけとなればよいと考えています。

orange

3DCG制作には欠かせない「マテリアル」

AIが注文通りの「マテリアル」を作ってくれる機能を開発しました！

メタバース上でモデリングができる「Neos VR」では日常的にマテリアルの需要がめちゃくちゃ高いんです。

あんなマテリアルが欲しい！と思ったらすぐにAIに作ってもらいましょう。

凹凸感を表現する「ノーマルマップ」もついていて質感抜群！

佐々木智也

VR吹き矢は、ヘッドマウンテッドディスプレイ（HMD）1つで、手軽に楽しく吹き矢を使った呼吸エクササイズができるコンテンツです。一般に、吹き矢はレクリエーションの用途だけでなく、高齢者の呼吸機能や嚥下機能のトレーニング、コロナ患者のリハビリテーションへの利用が期待できます。しかし、実際に吹き矢を行うためには、専用の道具の準備や広い空間が必要になり、準備に手間がかかります。そこで、誰でも手軽に吹き矢ができるVRシステムを開発しました。

HMDなどのVR機器の普及で、没入型VRを活用した身体機能や認知機能のトレーニングサービスが提供されはじめています。しかしながら、呼吸機能や嚥下機能のようなリハビリテーションを目的としたVRエクササイズはほとんどありません。このようなエクササイズは、超高齢社会の健康寿命の延伸やQOLにおいて今後普及が期待されます。VR吹き矢は、加齢、活動性の低下、栄養不足、疾病、悪液質、医原性などの要因によって影響を受ける呼気機能のエクササイズができます。

VR吹き矢では、吹き矢に特徴的な強く息を吹く動作「呼気」を検出するためのアルゴリズムを開発しました。呼気検出には、HMDに内蔵されたマイクをセンサとして使います。マイクから取得した音声を信号処理し、スペクトル解析によって発声と呼気の判別、呼気強度の計測を行います。これにより、使用者の呼吸の強さを推定します。特殊な装置を取り付ける必要がないので、一般的なHMDがあれば使用でき、非接触センシングなので衛生的です。

VR吹き矢は、高齢者介護施設でのレクリエーション、呼吸疾患を持つ患者のリハビリテーション、日常的な呼吸エクササイズとして、様々な状況で誰でも手軽に楽しみながら使えます。将来的には、VR吹き矢を使った呼吸機能のアセスメントや予防プログラムを開発し、サービスを提供します。

岩﨑謙汰

初学者による野球のキャッチボールやゴロの練習は、ボールが怖い、1人だと練習できないなど課題があります。

HoloLensを使ってボールをキャッチする練習をすることで、ボールに慣れる練習をしつつ、1人で楽しみながらキャッチの練習をすることができます。

こちらNoMaps SPORTSにて展示

MISOSHITA

GLITCH RAVEはメタバースクリエイターMISOSHITAによる、XR、ブロックチェーン、AIなどの最先端領域と漫画、音楽、ゲームなどのカルチャーを掛け合わせ、新しい表現を提示していく次世代IPプロジェクトです。

本作品GLITCH RAVE ZEROはFORTNITE上にアップロードしたUnreal Editor for Fortnite (UEFN)制作のゲームです。

ゲームジャンルはバーチャルLIVE×ゲームを体験できる「ゲーミングRAVE」という新概念を提示しました。

VtuberなどのバーチャルLIVEとも所謂音ゲーとも違う楽しみ方が可能になっています。

本作のトラック作成にはAI技術が使われ、作詞、歌唱もMISOSHITAが行っています。

ゲームの世界観に沿った漫画の連載、フィジカルでのギャラリー展示、グッズ制作とGLITCH RAVEの世界観をカルチャー×テクノロジーで展開中です。

また第二弾以降のゲームもコラボアーティストを迎え展開していきます。

チーム「NEO-SUSHI」

自動化された理想の寿司屋を作るゲーム。NeosVRで遊べます。

troposphere

【概要】

長い時を揺蕩うプロダクトには、製造の歴史や所有者との関係など見えない要素の積み重ねによって生まれる存在感がある。私たちはその存在感を、実際に感じることは出来るが視覚的には捉えることが出来ない、仮想的な[物質]であると考えた。

長火鉢は、部屋の中心で長年にわたり人々の生活を見つめてきた道具であり、その痕跡に潜む仮想的な[物質]を多分に含む記憶媒体である。そこから生活の断片として取り出された、”長火鉢とかつて対峙した人々の行為”は繰り返すことで積み重なる時間の象徴であり、デジタルに視覚化されたそれらの情報は、手触りのあるコンテクストとして現実のプロダクトに重畳される。

今作品は、記憶媒体である長火鉢の、曖昧で存在感のある記憶を刹那的に呼び起こす再生装置である。

【制作手法】

骨董品店で偶発的に出会った長火鉢に、ロボットアームとモニターを組み合わせている。

ロボットアームはTouchDesigner による制御のもと、かつて客人をもてなすための文化であった"灰均し" の所作を再現しており、モニターに映し出されるのはUnityによるリアルタイム制御の粒子が長火鉢を使う人間の手の表情を形作る様子である。

このように、本作では長火鉢に関するリサーチを基にこれらの電子機器の動作を制御することで長火鉢に内在する記憶を顕在化させている。

また、鑑賞者にとってのその実在感を担保するために、Kinectを用いた顔認識による疑似立体視を用いて粒子の三次元的な存在感を表現している。

作品詳細資料：

https://drive.google.com/file/d/1XlYYKxxaJpwQHtxqlRLzXcUH-bwydE92/view?usp=sharing

松本　新

空間的に配置されたディスプレイは、その先に広がる世界を垣間見る覗き窓のように作用する。パフォーマーは目的もなく、ただひたむきにディスプレイを動かし続けている。投影される映像は、現代物理学によって覆された時間概念の翻訳である。再構築された時間概念を受け入れた時、我々の生活はどのように変容するのだろうか。

time event<5 frames>は、時間概念の再構築を目的としたパフォーマンスのためのフレームワークである。

会場には5つのモニタが空間的に配置され、それぞれモニタアームによって位置、回転が可変状態にある。パフォーマーはこれを動かし、鑑賞者の視覚体験を演出する。モニタに映る映像は、物理シミュレーションによって再現される、ふたつスケールの異なるシーンをシームレスに往来する。ひとつは地表面における剛体運動のシーンだ。同程度の大きさの球が相互に作用しながら運動する。これらの球はディスプレイ間を自由に行き来しながらも、ディスプレイの底面に衝突するという特徴を持つ。

もうひとつが宇宙空間における天体運動のシーンだ。ディスプレイごとにひとつの惑星が割り振られ、その周りを多数の衛星が周回する。

これらの映像はは重力と熱という、時間の流れを構成する重要なキーワードに着想を得て、ミニマムに構成した。

鑑賞者からモニタの各ピクセルまでの物理的距離が離れるほど光の到達時間は長くなる。本作品においては、天体運動のシーンにおいて仮に光速度を1m/sとおくことによってこの現象を誇張した。

当作品はいわゆるHMDを使用するような没入型の体験ではない。現在において特化され定着したVRの概念を一般化し、固定的なVRの作品形態に対してオルタナティブな視点を提案するものである。

ディスプレイの物理的なフレームは鑑賞者の身体から切り離された場所に存在するが、それらはただその先に広がる世界を垣間見るための覗き窓のように作用する。そのため、ディスプレイを動かしても、その先にあるオブジェクトの運動はこちら側の物質的世界に束縛され、フレームはだんだんと透過する。しかし時折、オブジェクトは物理的なフレームの底面に反発し、鑑賞者は改めてフレームの存在に気付かされる。これはディスプレイの歴史におけるフレームの消失の流れ、ひいてはテクノロジーの発達における脱身体化の流れを示しているが、そこには何かしらの制約が残されることを暗示している。テクノロジーの発達により脱身体的生活が実現しつつある今、人々は精神と身体、ヒューマニズムとポストヒューマニズムとの間で揺れ動く。それは覗き窓であると同時に自分たちを写す鏡でもある。これからVR表現はどこへ向かうのか。そのまま一層脱身体化を進めてゆくのか。そうでない道も存在するのではないか。当作品も例に漏れず、精神と身体の間を彷徨う作者の葛藤をそのまま反映したのである。

当作品におけるもう一つのルールとして、仮想空間内の物理法則を恣意的に書き換えられることがある。例えばこのバージョンでは、光速度を極端に遅くした（1m/s）。これにより、目に入ってくる光はディスプレイの各ピクセルから鑑賞者の眼球までの物理的な距離に応じて、人間が認識できるほどにズレ、目に映る像を歪ませるようになった。これにより、鑑賞者は他者と共有している現在という体験が、光速度に対して十分に狭い地球という枠組みにおいて近似された幻に過ぎないことに気づく。自分自身が知覚している現在と、遠く離れた星の現在を同じものさしで測ることは不可能なのだ。それは今目の前にいる私とあなたの関係性についても同じことが言える。

工藤聖央

私たちはメタバースプラットフォーム「VRChat」におけるサラウンドシステム「TSUYAOTO Surround System」の開発、実験、運用を行っています。

現状のメタバース空間上での音楽ライブイベントでは、モノラルやステレオでしか体感できなかったために、ライブハウスやホールで視聴するような臨場感が無く、また、演者や機材環境によって音質や反響音が異なるため、ライブでの没入感を損なっていました。

「TSUYAOTO Surround System」は、ライブイベントの臨場感を高めるために、視覚情報にサラウンド化された聴覚情報を組み合わせて演者の存在感を強調する事で従来では体感できなかった没入感のある新しい音楽体験を提供するシステムです。

本システムは、演者から送信された音源をサラウンド化する「サラウンド化サーバ」と多数のクライアントにサラウンド化した音源を配信する「多地点配信サーバ」から構成されます。

具体的には、「サラウンド化サーバ」はWindows Server2022上に独自の調整を行った２種類のDAWにプラグインを実装し、環境ノイズ除去、音源損失の修復、サラウンド音源化処理を行います。

「多地点配信サーバ」は，Linux上でRTSP(Real Time Streaming Protocol)ベースのMediaMTXソフトウェアで実装しています。

2種類のサーバを独立させた構成によって、イベントの規模により「多地点配信サーバ」を可搬し配信用のネットワーク接続箇所を自由に選べるようにしました。

物理的に離れたサーバ間でセキュアに演者からの音源データを配信する仕組みを実装しており、メタバース空間上での荒らし行為(ストリームハッキング等)の対策も行っています。

さらに、サラウンドシステムだけでなく、サラウンド環境に合わせて新規にワールドを制作することでより没入感のある演出を可能にしています。

メタバース空間上の多数のクライアントのさまざまな端末に安定的に配信する実証実験のために、神奈川工科大学の協力を得て、学術情報ネットワーク SINET6（Science Information NETwork6の略。国立情報学研究所が構築運用している学術情報基盤） に100Gbpsで接続された実験ネットワーク上に「多地点配信サーバ」を設置させていただきました。

本環境を用いて2023年7月22日に開催されたライブイベント（MVSIA×BOOTHTOREMUSICSUMMERFES2023）では、ワールドの製作から、サラウンド音響作成、ネットワークの構築までを一括したパッケージとして行いました。

7.1ch低遅延無圧縮マルチキャスト配信を行い、トータル184人規模での配信の安定動作を確認しました。

今後は，「サラウンド化サーバ」を複数台設置し、端末の聴覚特性（スピーカ・ヘッドホン，再生可能な帯域）に合わせた複数パターンのサラウンド化を行い、端末から最適なサラウンド音源を選択可能にする事を考えています。

また、「多地点配信サーバ」により数千人から数万人規模の配信性能を実証し、演者が気軽にメタバース空間上のサラウンド化された高臨場感配信を実現可能なシステム化を目指します。

古川雅也

（概要）

本作はインターネットに接続されたMRデバイスと触覚デバイスを装着して体験する複数人参加型作品です。各体験者は自身が存在する実空間「いま・ここ」で遠隔の他の体験者のハンド・アバターと共に次のような体験が可能です。1)自身の人差し指同士を触れ合わせるか、または他の体験者の人差し指と自身の人差し指を触れ合わせることでノートオブジェクトを生成できます。2)ノートオブジェクトに触れるとオーディオビジュアルと触覚フィードバックが発生します。3)シーケンサー・ユニットを自由に生成できノートオブジェクトと組み合わせることで音楽的断片を実空間に自由に構成できます。4)他の体験者と手のひら同士を合わせると暖かい触覚と持続音やアルペジオサウンド及びビジュアル効果が生成され、手を離さずに動かすとそれらに変化を与えることができます。5)XLSシステムでノートオブジェクトの影と自身の影を融合させることができます。

（コンセプト）

本作で展開する遠隔MR体験はARマーカーを共有空間アンカーとして用いる“実空間ベース・メタバースの一種”です。VPS等を使用するものとは異なり、各体験者が体験する複合現実の“現実”の部分はそれぞれ異なるため、“体験者間のMR体験は非対称”となります。この“不完全な共有体験”のあり方はある程度のコミュニケーションの齟齬や各実空間の攪乱を生み出しそうです。一方で、各々の体験者は自身が慣れ親しむリアルな空間で自身のリアルな身体を使ってバーチャルな他者とバーチャルでリアルな交流ができるオルタナティブ・リアリティ(別種の現実感)を体験できるというメリットがあると考えています。“隔たれた複数の空間(閉鎖系)が音楽的行為によって繋がり、また、攪乱を生み出す(”相互浸透”的)” 。XR技術が生み出し得る今後のコミュニケーションの可能性について“遊び”を通して思索できる場の構築を目指しました。

佐野風史

本作品は、巨大な生命体に見立てた、8つの振動スピーカーと4つのペルチェ素子、LEDが内蔵されたビーズクッションに頭・手・足を差し込み、音・光・振動・温度の刺激を受け、段々と一体化していく中で、スピーカーから聴こえる音の変化や想起する情景の変化に意識を傾ける体験である。体験中は、ビーズを介した振動によって身体の輪郭が曖昧になったり、心拍が巨大な生命体と同期したりしていくことによって、人が巨大な生命体と一体化し、自分ではない大きな何かになって音の空間に没入することができる。自分の身体以外の生命に接続されていると感じることによって、思い出される経験や知識が、未知なるものの記憶と仮想的に結びつくことを目指す。

逆路 直樹

-概要

『静寂に捧ぐ祝詞』は、VR-TRPGサークル「ぐだぐだぶとん」が制作した「孤独」と「郷愁」をテーマにした2人用VR-TRPGです。

-背景

VR-TRPGとは、その名の通りVR空間上でTRPG (Table Talk Role-Playing Game)を遊ぶ試みで、想像により紡がれていた物語の世界をVR空間上に再現し、その世界の主人公を演じながら探索や戦闘を行う没入型マルチプレイストーリー体験です。

当サークルは他に先んじて2020年からVR-TRPG開発に着手し、最高の主人公体験を実現するため2023年現在で計7作品を公開してきました。

-内容

最新作である『静寂に捧ぐ祝詞』では、プレイヤーは夜の小学校を探索しながら、かつて起きた神隠し事件の真相、その地で行われてきた信仰に迫っていきます。

高いストーリー強度やマルチプレイ性を持つVR-TRPGだからこそ演出できる孤独と郷愁が、PLをより主人公に没入させ、主人公の立場になって物語を紡ぐTRPGの楽しみを増大させるでしょう。

-展望

自分の言葉で演じ自分の力で探索し、それが物語を左右する。

そして、その主体的な楽しみを友人と共有する。そういった主人公体験の為に、TRPGの楽しみをVR-TRPGでどう工夫するか。各作品で開拓・提示しながら、我々はVR-TRPGを作り続けています。

小説、映画、ゲームなどのストーリー体験で叶えられなかった、自分が物語の主人公になるという願いを最高の体験として叶える未来に繋がっていくでしょう。

有富 伯玖(アリトミ ハク)

「Re:Re」は、日本の近代怪談の1つである「ひとりかくれんぼ」から着想を得て制作した、VRホラー脱出ゲームです。

人より優れた霊感を持つあなたは、研究者である親友の「しほ」から怪奇現象解決の手助けを求められ、研究所へと向かいます。

研究室内にある写真やホワイトボード・モニターなどから謎を解くヒントを手に入れ、怪奇事件の真相究明に辿り着いてください。

斧田悠

“Transcale”の世界では、歩きながら頭を動かす動きに合わせてユーザーのスケールをシームレスに変更することができる。本体験は、身体が変化する実感を損なわずに、異なるスケールにトランジションすることを試みた体験である。

明石穏紀

本作品では「現在には，過去が畳み込まれており，未来が内包されている」というコンセプトを空中立体結像技術で表現しました．

通常の鏡では虚像がその奥側に作られるのに対して，本作品が用いている実像鏡（今回用いた製品はASKA3D）は，“実像“を鏡の手前，つまり（質量がないため感触はないが）触ることのできる空中に浮いた分身（空中像）を作り出します．

空中像は目の錯覚ではなく，光が物理的に集まっているため，カメラや動物にも同じように見えます．

本作品には照明以外の電気は用いていません．空中像は，物理現象によって生まれたバーチャルな分身が，物理空間において実物体と関係性をもつMR技術なのです．

本作品では実像鏡1枚と通常の鏡2枚，同じ桜の木から手折った枝と青葉と枯れ葉，それから（季節の都合で花の実物を入手できないため）造花を用いています．

まず実像鏡によって花と青葉と枯れ葉を空中像化します．3つの空中像は本来は別々の位置に生じますが，花と枯れ葉を通常の鏡によってそれぞれ反射することで青葉と全く同じ位置に重畳させます．その位置に枝を置くことで，見る方向によって枝から葉が生え，または花が咲き，または枯れ葉がぶら下がっているように見えます．

このようにして，実物体として存在する「落葉した冬の枝」（現在の姿）に，春の花，夏の青葉，秋の枯れ葉という，その枝の内にある異なる時間の姿を描き出しています．

体験者は作品の周囲を歩きながら，春夏秋冬と移り変わる枝を目にしますが，これは体験者の位置をセンシングして表示するものを変えているのではなく，見る方向によって異なるものが見えるように光路が分けられているだけで，すべてが同時に，同じ場所に結像し続けており，前景化していないときも既に常にそこにあります．三人が別々の地点に立てばその見え方は三者三様であり，仮に目が三対あったなら，枝の全ての姿を同時に見ることができたでしょう．

夏の青葉は，春の花を想起させ，秋の枯葉を予期させる．過去は過ぎ去って消えてしまうものではなく，未来は現在と無関係の夢想でもない．空中像を用いて，存在と時間についてのそのような考え方を現前させることを目指しました．

小松尚平

ウクライナの被災地を地元クリエイターが収録した3Dデータをデジタルツインにマッピングし、VRと連携させることで、実際の被災状況を体感できる「戦災VR」。

一方、「ヒロシマ・アーカイブ」の古写真内を、自らの身体を3Dスキャナーでスキャン後、1945年の広島の被災風景を自らのアバターで歩くこともできる「古写真VR」。

これらの両作品を通じて、歴史的な出来事の真実と感情を再演するコンセプトで作ったプロダクトが「戦災VR」になります。

「戦災VR」は、歴史的な出来事や災害の深刻な影響を実感的に伝えるためのツールです。

これらの技術を通じて、過去の悲劇やその時代の背景を体感することで、記憶の継承と深い理解を促進します。

山田和弘

Forte System(フォルテシステム)は、VRChatアバターに導入可能な音源再生システムである。楽器・曲・SEを状況に応じて、最大255種の音を同時に展開でき、いつでも・どこでも他者と共有する場において音の場を作り上げられる。

VRChatには、アバターに楽器オブジェクトや音源などを仕込んでおくことで、ワールドに依存せずその場で音を鳴らす技術を探求するユーザーがいる。本システムはこれをより導入しやすくしたものであり、また色々な音との関わり方を探求する基盤となるものでもある。

本システムは、ユーザーが自身の発想に基づいて音源とその見た目、および再生方法を自由に設定することを可能にする。

人と人の交流を、いろんな音が混ざって彩ることのできるこのシステムは、VRChatというひとつのプラットフォームだけで留まることのないものだと考えている。

本作品は、.unitypackageファイルでの頒布を当面の目標としている。現在開発途中であるため、本システムが実装されたサンプルアバターの体験をもって応募とさせていただいており、公開用リンクは、その体験が可能なVRChatワールドである※。

※VRChatユーザー向けに言うと、アバターペデスタル・操作説明動画が閲覧可能なiwasyncが配置されている。

石川寬

本企画では、マルチスレッドの同時並列処理を人体で体感できます。体験ではゲーム形式で、暗算と同時に右手と左手で別々の指示に従いボタンを押してもらいます。体験者は指示内容を把握できますが、暗算集中状態で実際に正解ボタンを押すのは困難です。そこで押す過程を機器に代行させ、かつ「自分で押したように感じさせる」ことで3タスクの同時並列処理感覚を生みます。具体的には、指先へ圧覚を提示し、振動、正解音等のフィードバックを加える事で、予測通りに正解ボタンが押される感覚を生み、タップ動作に運動主体感を生じさせます。更に、3タスクへの意識の分散は主体感発生を助長します。マルチタスクに対する人間の感覚・想定の心理的拡張が期待されます。