サービス

スマホでフルトラッキングVTuberになれるアプリ「ミチコンPlus」が11月21日にアップデート！新機能“ARモード”でキャラクターをより身近に！

～マーカレスで全身モーションキャプチャ～

2019年11月21日 16:00

株式会社ネクストシステム(本社：福岡県福岡市、代表取締役：藤田義生)は、スマートフォンだけで全身をモーションキャプチャし、任意のキャラクターに反映して動かすことが可能なiOSアプリ「ミチコンPlus」に新たにARモードを搭載した新バージョンを11月21日(木)にリリースしました。このARモードは、背景をカメラ映像にすることでお気に入りのキャラクターがまるで現実空間にいるかのような演出が可能になります。VTuber配信用途や、手軽なモーションキャプチャアプリとしてご活用いただけます。今後はUI面など含め、より使いやすいアプリとなるよう開発を進めてまいります。

ミチコンPlus ARモード

▼アプリはこちらからDLできます。

https://itunes.apple.com/jp/app/id1468862870

■フルトラッキングのVTuberに簡単になれる「ミチコンPlus」とは？

ミチコンPlusとは、人物の全身の動きを当社開発の人工知能エンジン「VisionPose(R)(※1)」で捉えて3DCGキャラクターに反映する、最新技術を利用したモーションキャプチャアプリです。モーションデータの書き出し、VRoid Hubと連携することでVRoid Hub上に投稿された任意のキャラクターへの変更等にも対応しています。(※2)

通常、モーションキャプチャを行う際はカメラを複数台用意し、対象にマーカー等のデバイスを装着する必要がありますが、当アプリではスマートフォン・タブレットのカメラに全身を映すだけでマーカレスの全身モーションキャプチャが完結できます。

また、リアルタイムでのモーションキャプチャだけでなく、端末に保存された動画ファイルからモーションを読み込み、キャラクターに反映する方法もご用意しています。(※3)

動画読み込み機能を利用することで、端末によりリアルタイムでのモーションキャプチャが難しかった場合でも、ご利用いただくことが可能です。(最大15秒)

※1 VisionPose、及びVisionPoseロゴは、NEXT-SYSTEM co.,Ltd.の登録商標です。

※2 キャラクター変更、モーションデータ書き出し機能の利用にはアップグレード(370円/月)が必要となります。課金体系は自動更新ではなく、非更新型のサブスクリプションです。

※3 端末によっては、読み込みに時間がかかる場合がございます。全身が写っている動画ファイルをご利用ください。

ミチコンPlus利用風景

■ARモード追加でキャラクターをより身近に

本アップデートでは、キャラクターの背景を背面カメラの映像にできる、ARモードを搭載しました。本機能を利用すると、キャラクターがまるで現実空間にいるかのような体験が可能になります。(※4)

ミチコンPlusでは、前面カメラの映像、または動画ファイルから、人間の動きをモーションキャプチャし、背面カメラに映った映像をキャラクターの背景として描写することでARモードを実現しています。

※4 ARモードの利用には端末に制限がございます。利用できる端末は、iPhone 11/11 Pro/11 Pro MAX、iPhone XR、iPhone XS/XS Max、iPad Pro(第3世代)です。

ミチコンPlusのARモード図説

ミチコンPlusのARモード切り替え方法

■ミチコンPlusに利用している技術「VisionPose(R)」について

当社では、カメラのみで複数人の骨格の深度情報を検出可能なAIエンジンを含む、国内唯一のSDKパッケージ製品である「VisionPose(R)」を提供しています。リハビリ支援用ロボットの姿勢確認機能などに利用されるほか、スポーツのフォームチェックアプリへの利用、工場や店舗での人の流れや動作の確認、医療、エンタメなど、幅広い分野で導入実績を築いています。

ミチコンPlusでは、VisionPoseシリーズの1つであり、カメラ1台だけで骨格を検出できる「VisionPose Single3D for iOS」を利用してモーションキャプチャを可能にしています。

また最近では、VisionPoseシリーズから、より手軽に骨格情報を検出できるオールインワンパッケージとして「VisionPose Nano」をハードウェア込み98,000円にて発売を開始しました。姿勢推定技術を利用するハードルを下げることで、さらなる技術の発展を促し、基幹技術の1つとして社会に貢献していきたいと考えています。