Motion Analysis of Ballet Movementsクラシックバレエにおける個別筋骨格解析を活用した動作解析

Focus研究焦点

Motion Analysis of Ballet Movementsクラシックバレエにおける個別筋骨格解析を活用した動作解析

This project addresses the challenge of quantitatively evaluating ballet posture and movement quality through computational methods grounded in subject-specific musculoskeletal simulation. Classical ballet is a highly technical art form where the quality of posture — including joint angles, muscle coordination, and limb alignment — is traditionally assessed by trained experts according to established aesthetic and functional criteria. However, such expert evaluation is inherently subjective, time-consuming, and difficult to scale. The long-term goal of this research is to develop an objective, automated assessment system capable of producing posture evaluation scores that are comparable in quality to those given by domain experts, thereby supporting dancer training and reducing injury risk.

The proposed methodology relies on the integration of three complementary sources of information: medical images, motion capture data, and subject-level attributes. Medical imaging — such as MRI — is used to extract morphological data about each individual, including muscle shape and volume. This information is combined with joint angle trajectories derived from motion analysis, as well as demographic attributes such as age, height, and weight. Together, these inputs feed into a multimodal deep learning model that is trained to regress posture evaluation scores from the joint representation of all three data streams. The multimodal design is motivated by the observation that posture quality in ballet depends not only on the motion itself, but also on the underlying anatomical structure of the performer, which varies significantly between individuals.

A critical upstream component of the pipeline is the reconstruction of individual musculoskeletal models from partial imaging data. In many clinical or research settings, full-body MRI acquisitions are not available, and only partial scans covering specific regions — such as the lower limbs — are accessible. The project therefore includes a dedicated module for skeletal estimation from partial images, which leverages statistical shape models and deep learning-based approaches to infer the complete body skeleton from incomplete volumetric data. This allows the pipeline to function even when the available imaging data is limited.

During training, the model learns to associate multimodal representations — derived from attributes, images, and motion signals — with ground-truth scores provided by professional ballet evaluators. These scores are obtained from structured evaluation sessions in which expert judges assess the technical quality of specific ballet movements. The model architecture processes each modality independently through dedicated encoding branches before fusing their representations for final score prediction. This fusion strategy allows the model to leverage complementary information across modalities and to compensate for potential limitations in any single data source.

At inference time, the trained model receives the same multimodal inputs and directly outputs a posture evaluation score without any expert involvement. This enables fast, consistent, and reproducible assessments that can be integrated into dancer training workflows. The anticipated clinical and practical benefits of this technology include improved injury prevention, as the system can detect postures that deviate from biomechanically optimal configurations, and enhanced training feedback, providing quantitative metrics that can guide targeted corrections.

本研究は、個別筋骨格シミュレーションに基づく計算手法を用いて、バレエの姿勢と動作の質を定量的に評価することを目的としています。クラシックバレエは、関節角度・筋肉の協調動作・四肢のアライメントなど、姿勢の質が伝統的に専門家による評価に委ねられてきた高度に技術的な芸術形式です。しかしながら、専門家による評価は本質的に主観的であり、時間がかかるうえ、スケールアップが困難です。本研究の長期的な目標は、専門家と同等の精度で姿勢評価スコアを自動生成できる客観的システムを開発し、ダンサーのトレーニング支援と負傷リスクの軽減を実現することです。

提案する手法は、医用画像・動作キャプチャデータ・被験者属性という三種の補完的情報源を統合するものです。MRIなどの医用画像から筋肉の形状・体積などの形態学的データを抽出し、動作解析で得られた関節角度の時系列データ、および年齢・身長・体重などのデモグラフィック属性と組み合わせます。これらの入力を統合したマルチモーダル深層学習モデルが、姿勢評価スコアを回帰推定します。この設計は、バレエにおける姿勢の質が動作そのものだけでなく、個人によって大きく異なる解剖学的構造にも依存しているという観察に基づいています。

パイプラインの重要な前処理コンポーネントとして、部分的な画像データからの個別筋骨格モデルの再構成が挙げられます。臨床・研究環境では全身MRI撮影が困難な場合も多く、下肢など特定部位の部分スキャンしか利用できないことがあります。そのため、統計的形状モデルと深層学習を活用し、不完全な体積データから全身骨格を推定する専用モジュールが含まれています。

学習時、モデルは属性・画像・動作信号から得られたマルチモーダル表現と、プロのバレエ評価者が付与した正解スコアとの対応関係を学習します。評価スコアは、専門家の審査員が特定のバレエ動作の技術的品質を評価する構造化セッションから取得されます。モデルアーキテクチャは各モダリティを専用エンコーダで独立処理した後、表現を融合してスコアを予測します。

推論時、学習済みモデルは同じマルチモーダル入力を受け取り、専門家の介入なしに姿勢評価スコアを直接出力します。これにより、ダンサーのトレーニングワークフローに統合可能な、高速で一貫性のある再現可能な評価が実現します。本技術の実用的効果として、生体力学的に最適でない姿勢の検出による負傷予防の向上と、定量的な指標を提供することによるトレーニングフィードバックの強化が期待されます。



Project 2
Pelvic Tilt Estimation Using Depth Maps from a Single Plain Radiograph
一方向単純X線画像からの深度画像を用いた骨盤傾斜角推定
Depth Map Estimation
Landmark Detection
2D-to-3D Reconstruction
Pelvic Analysis
Surgical Planning