captiveX （キャプティブエックス）
A new dimension of Mixed Reality FPS.
The player shoots and breaks the empty cage, freeing the mysterious X.
The unleashed X attack, forcing the player to fight back. But at a certain moment, X’s life gauge reverses.
Instead of violence, the player must restore their life gauge through music and make them dance.
Shooting releases, selects, and combines music items to perform music.
An interactive audiovisual experience that blurs the line between reality and virtuality, redefining FPS.
新次元のMixed Reality FPS。
プレイヤーは「空の檻」を撃ち壊し、謎の「X」たちを次々に解き放っていく。
解き放たれた多種多様な「X」たちは攻撃を仕掛けてくるため、射撃によって倒していく必要がある。だが、あることをきっかけに「X」のライフゲージが反転する。
プレイヤーはこれまでの暴力ではなく、音楽によって「X」のライフゲージを回復させ、踊らせなければならない。
撃つことで音楽アイテムを解き放ち、選択し、組み合わせて音楽を演奏していく。
現実とバーチャルの境界を揺るがし、FPSの概念を問い直す、インタラクティブなオーディオビジュアル体験。
Game Controls
Start Game / Shoot: Trigger Button
OK: A Button
Sound Effect: Left Grip Button
Speed Change: Right Grip Button (Non-Game Mode Only)
Settings
Area Mode (Start Screen Only): Room / Cage (2.7m × 2.7m × 2.7m)
Game Mode: Game / Non-Game
Color Mode: Color / B&W 1 / B&W 2
Table of Contents
- Concept of the Work
Innovation and Redefinition of The Fusion of Game and Music Expression
– Fusion of Game Elements and Non-Game Elements
– Creativity Beyond Traditional Rhythm Games
– Nonlinear Structure Enabling Improvisational Game and Music PerformanceInnovation and Redefinition of Audiovisual Expression
– Restoration of Physical Engagement Through VR Head-Mounted Display
– A New Audiovisual Experience Through Active Interaction and Musical PerformanceConclusion
目次
- 作品コンセプト
- ゲームと音楽表現の革新と体験の再定義
・ゲーム的要素と非ゲーム的要素の融合
・ 従来の音楽ゲームの枠を超えた音楽の創造性
・非リニアな展開による即興的なゲームと音楽プレイ - オーディオビジュアル表現の革新と体験の再定義
・VRヘッドマウントディスプレイの活用による身体性の回復
・能動的なアクションと演奏行為による新たなオーディオビジュアル体験 - 結論
1. Concept of the Work
In recent years, there has been a global surge in self-righteous and overzealous justice, blindly enforced by those who place absolute faith in the justice dictated by their respective social systems and communities. However, such unilateral pursuits of justice lead only to futile conflict.
In response, I created a Mixed Reality Audiovisual First-Person Shooter (FPS) to liberate players from perspectives confined by rules, customs, common sense, and justice—allowing them to adopt a more multifaceted viewpoint.
By incorporating a resettable game system with continue and restart functions, players experience an FPS game where life and death are repeatedly cycled. This, combined with an immersive experience that blurs the boundary between reality and virtuality through MR technology, deeply unsettles the player’s conventional perception of reality.
Furthermore, this work seeks to achieve its goal by seamlessly transforming the act of FPS violence into an audiovisual experience that incorporates bodily engagement through musical performance.
1. 作品コンセプト
近年、それぞれが属する社会システムや、共同体における正義を信仰する人々による正義の暴走が、世界的に増えてきていると感じている。 そうした一方的な正義の暴走は、不毛な争いしか生まない。そこで作品の体験者が、規則や慣習、常識、正義などに囚われた視点を解き放ち、多角的な視点を獲得することを目的としたミックスドリアリティ・オーディオビジュアル・ファーストパーソン・シューティングゲーム作品を制作した。
コンティニューやリスタート機能を搭載したリセット可能なゲームシステム内で、生死を繰り返すFPSゲーム体験。MR技術による現実とバーチャルの境界を舞台にした没入体験。それらを組み合わせることによって、作品体験者のこれまでの現実感を揺るがす。 そして、能動的な暴力行為によるFPSゲーム体験を、音楽演奏行為による身体性を伴うオーディオビジュアル体験へと自然に転換させることによって、目的を達成することを試みる。
2. Innovation and Redefinition of The Fusion of Game and Music Expression
– Fusion of Game Elements and Non-Game Elements
This work integrates game mechanics involving risk, reward, and strategic decision-making with the non-game element of musical performance, which exists outside conventional game systems. Players must engage in tactical decision-making while simultaneously constructing and performing music, leading to an entirely new gaming experience.
The most noteworthy aspect of this game’s fusion of game and music expression lies in its improvisational music generation process in the final stage. In this stage, music is composed in real-time as the player interacts with a game system governed by probabilistic randomness. Rather than relying solely on chance, the player’s in-game decisions and their interactions with game mechanics directly influence the timing and structure of the music, creating an experience that extends beyond conventional improvisational performance. This enables players to generate music through gameplay, introducing a new form of real-time musical improvisation.
– Creativity Beyond Traditional Rhythm Games
Existing rhythm games typically require players to synchronize their actions with pre-arranged musical compositions, effectively making them subordinate to the given music. However, in this work, players themselves can construct, perform, and create music, breaking free from conventional constraints.
– Nonlinear Structure Enabling Improvisational Game and Music Performance
Traditional game design often enforces a fixed, linear progression, where players advance along predefined routes. In contrast, this work adopts a system that allows players to freely revisit previously cleared stages (enemies encountered) at any desired moment.
This nonlinear structure enables improvisational gameplay and musical composition, akin to how a DJ selects and manipulates tracks in real time. As a result, the gameplay itself evolves into a form of performance.
2. ゲームと音楽表現の革新と体験の再定義
・ゲーム的要素と非ゲーム的要素の融合
本作は、リスクとリターン、駆け引きを伴うゲーム的要素と、ゲームシステムから逸脱した音楽演奏という非ゲーム的要素を融合させている。プレイヤーは戦術的な選択を行いながら、同時に音楽を組み立てて奏でるという新しいプレイ体験を得ることができる。
本作におけるゲームと音楽表現の融合の中で、最も特筆すべき点は、ラストステージにおける即興的な音楽生成プロセスである。ラストステージでは、プレイヤーが確率に支配されたランダム性を有するゲームをプレイすることによって、即興的に音楽が組み立てられていく。偶然性だけに依存するのではなく、プレイヤーによるゲーム上での選択や、ゲームメカニクスとの相互作用によって導き出されるタイミングも、音楽の構造に影響を与える。これらは従来の即興演奏にはない要素であり、ゲームのプレイヤー自身が音楽を生み出す新しい即興演奏体験である。
・従来の音楽ゲームの枠を超えた音楽の創造性
既存の音楽ゲームは、あらかじめ用意された楽曲にプレイヤーが従属し、タイミングを合わせる形でプレイするのが一般的である。しかし本作では、プレイヤーが自ら音楽を組み立て、演奏し、創造することが可能である。
・非リニアな展開による即興的なゲームと音楽のプレイ
従来のゲームデザインでは、プレイヤーは固定された進行ルートを辿ることが多い。しかし本作では、プレイヤーが一度通過したステージ（敵）を好きなタイミングで行き来できるシステムを採用している。これにより、プレイヤーはDJが選曲するように即興的にゲームと音楽を展開することが可能となり、ゲームの展開そのものがパフォーマンスへと昇華される。
3. Innovation and Redefinition of Audiovisual Expression
Audiovisual expression has historically evolved with the goal of fusing sound and visuals. Among them, many audiovisual performances have been conducted in nightclub environments, integrating with dance music.
Music, particularly dance music, inherently involves a strong sense of physicality. However, conventional audiovisual performances rely heavily on flat screens and displays, which impose restrictions on the viewer’s gaze, ultimately diminishing their bodily engagement.
While live performances and dance performances have long existed as forms of visually integrated musical expression, audiovisual performances, in particular, fix the audience’s gaze on a flat screen or display rather than a three-dimensional space such as a stage, leading to a severe limitation of bodily engagement.
As a result, rather than achieving the intended fusion of music and visuals, the visual element paradoxically undermines the intrinsic power of music.
– Restoration of Physical Engagement Through VR Head-Mounted Display
One solution to this issue is the use of VR head-mounted displays. By eliminating restrictions on head movement, players’ bodies are freed from physical constraints, enabling a bodily immersive audiovisual expression.
– A New Audiovisual Experience Through Active Interaction and Musical Performance
Furthermore, through the active engagement of players (game participants) in actions and musical performance, players can reclaim their sense of bodily engagement within the audiovisual experience.
3. オーディオビジュアル表現の革新と体験の再定義
オーディオビジュアル表現は、音と映像を融合させることを目的として発展してきた。その中でも、これまでのオーディオビジュアル・パフォーマンスの多くは、ナイトクラブという環境においてダンスミュージックと組み合わされて行われてきた。
音楽、特にダンスミュージックは、本来鑑賞者の身体性を伴うものであるが、従来のオーディオビジュアル表現は、平面スクリーン／ディスプレイに依存しているため、視線の自由が制限され、結果として鑑賞者の身体性を奪うという根本的な問題を抱えている。
生演奏やダンスパフォーマンスなど、視覚を伴う音楽表現は古くから存在する。しかし、オーディオビジュアル・パフォーマンスは、鑑賞時にステージなどの3次元空間ではなく、平面スクリーン／ディスプレイに視線が固定されるため、特に身体性が制限される。その結果、音楽と映像の融合を目指すはずの表現が、かえって音楽の持つ本来の力を損なうという逆説に陥っている。
・VRヘッドマウントディスプレイの活用による身体性の回復
この問題を解消する手段の一つが、VRヘッドマウントディスプレイの使用である。ヘッドマウントディスプレイにより、視線の固定が解除され、頭部の自由な動きが可能となることで、身体が解放され、身体性を伴うオーディオビジュアル表現が実現する。
・能動的なアクションと演奏行為による新たなオーディオビジュアル体験
さらに、体験者（ゲームプレイヤー）の能動的なアクションや演奏行為が加わることで、身体性を取り戻すことができる。
4. Conclusion
captiveX is a Mixed Reality First-Person Shooter that fuses gaming, music, and audiovisual expression.
This work transcends the boundaries of the FPS genre, blurring the lines between game and music, violence and creation, reality and virtuality, life and death, and creating a new experience where these elements intersect and merge. Designed to allow players to move fluidly between fighting, making choices, and performing music, this game challenges preconceived notions, prompting players to recognize the fluidity of their own perspectives and acquire a more multifaceted awareness.
The defining feature of this work lies in its seamless transformation of the FPS game experience as an act of violence into an act of musical performance. The gameplay process itself is elevated into a bodily interactive audiovisual performance.
With the advancement of digital technology, we are becoming increasingly dependent on visual information while simultaneously losing our sense of physical engagement. By utilizing the interactive nature of gaming and Mixed Reality technology, this work presents a new form of expression in which the player actively generates music. By going beyond the mere fusion of sight and sound, it aims to redefine audiovisual performance, making the player’s body itself an integral part of the expression and pioneering the future of audiovisual performance.
4. 結論
「captiveX」は、ゲーム、音楽、オーディオビジュアル表現を融合させたミックスドリアリティ・ファーストパーソン・シューティングゲームである。
本作は、FPSというゲームジャンルの枠を超え、ゲームと音楽、暴力と創造、現実とバーチャル、生と死といった対立や境界を曖昧にし、それらが交錯する新たな体験を生み出すことを意図した作品である。
プレイヤーが「戦う」「選択する」「演奏する」といった行為の境界を行き来しながら、無意識に受け入れていた固定観念が揺さぶられ、自己の視点が流動的であることを実感し、多角的な認識を獲得することを目指して設計された。
本作の最大の特徴は、暴力行為としてのFPSゲーム体験を、音楽演奏行為へとシームレスに転換することにあり、ゲームプレイの過程そのものが身体的でインタラクティブなオーディオビジュアル・パフォーマンスへと昇華される点にある。
デジタルテクノロジーの発展によって、私たちはますます視覚情報に依存し、身体性を失いつつある。本作は、ゲームというインタラクティブな形式とミックスドリアリティ技術を活用し、体験者自身が能動的に音楽を奏でる新しい表現の形を提示する。視覚と聴覚の融合を超え、体験者の身体そのものを表現の一部とすることでオーディオビジュアル・パフォーマンスの未来を切り開く試みである。