İnsan Hareketini Hareket Yakalama Verisi Kullanarak İzleme (2009)

(Cmpe699 projesi, şekiller için dosyaya bakınız)

Giriş

Bir insan bedenini aktif bir şekilde takip etmek ve video üzerinden yaptığı hareketi anlamak oldukça karmaşık bir problemdir. Psikolojik deneyler göstermiştir ki, insan denekleri bir videodan kişinin ne yaptığını, cinsiyetini, duygusal durumunu, kimliğini ve hatta kişinin kendisi olup olmadığını belirlemek gibi birçok değişkeni kolayca ayırt edebilirler; üstelik bunu sadece az miktardaki dinamik bilgiyle yaparlar. Bu, insanlarla empati kurmaya yönelik doğuştan gelen mekanizmaları içeren ve yılların deneyimini uyumlu bir şekilde harmanlayan biyolojik görme ve biliş sistemi sayesinde mümkündür. Bu nedenle, kendimiz zeki sistemler inşa etmek istiyorsak, insan bedeninin fiziksel doğası ve farklı insan aktivitelerinin dinamik yapısı hakkındaki bilgiyi algoritmik olarak sisteme dahil etmenin bir yolunu bulmamız gerekmektedir.

İnsan hareketi analizi, çeşitli alanlarda ve çeşitli uygulamalar için çalışılmıştır; bu çalışmalarda hareket yakalama verisi, temel materyallerden biridir. Hareket yakalama teknolojileri, insan hareketini, kesin vücut konfigürasyonlarının zaman sıralı verisi olarak kaydetmeye olanak sağlar. Açık hareket yakalama veri tabanları, CMU veri tabanı [1] gibi, 144 kişiden yakalanmış 2605 sekans içeren beden duruşları gibi zaman sıralı pozlar içerir. Bu veriyi kullanarak, yürüme, koşma, oturma ve ayakta durma gibi insan hareketleri matematiksel olarak analiz edilebilir ve insan hareketinin izlenmesini iyileştirmek için algoritmalarımız geliştirilebilir. İnsan vücut hareketinden bilgi çıkarma, aşağıdaki gibi çeşitli uygulama alanlarına yardımcı olabilir:

İnsan Bedenini İzleme, model uyumundaki doğruluğu artırarak mantıksız beden duruşlarını elemeye yardımcı olur.
İskelet Animasyonu, ayrı ayrı yakalanan anahtar kare animasyon sekanslarını inandırıcı bir şekilde harmanlar.
Hareket Yakalama İşleme, karmaşık hareket yakalama sekanslarını otomatik olarak bireysel hareketlere böler.

Hareket yakalama verisiyle çalışırken temel bir sorun, bilginin yüksek boyutluluğu ve fazlalığıdır. Hareket verisi, vücut pozunu büyük vektörlerle temsil eder. Örneğin, bir CMU yakalamasında her bir zaman adımı için insan bedenindeki 29 eklemi 3B uzayda konumlandıran 62 boyutlu bir vektör bulunmaktadır. Bu yakalamalar, başparmak ve ayak parmağı açısını, diz ve dirsek açısını içermektedir. Bu açılardan bazıları, insan aktivitesini algılamada alakasızdır. Ayrıca, birçok insan aktivitesinde bu açılar yüksek oranda ilişkilidir ve bu durum ham hareket yakalama verisindeki fazlalığı ortaya çıkarır. Bu boyutluluğun azaltılması, (a) daha az boyutlu veri işleme için zaman-mekân karmaşıklığını düşürmek açısından her alanda yararlı olabilir. Aynı kaynak miktarıyla daha büyük bir veri kümesinin temsilini saklayabilir ve kullanabiliriz. Ayrıca, (b) gözlemlenen insan hareketinin karmaşıklığının aslında çok karmaşık hareket desenlerini esnek bir şekilde öğrenebilen içsel bir sinirsel mekanizmanın sonucu olduğunu biliyoruz. Boyutluluğun azaltılması, insan motor sisteminin davranışını simüle eden modeller oluşturmak için kullanılabilir.

Temel Bileşenler Analizi (PCA), veri setlerinin boyutluluğunu azaltmak için kullanılan iyi bilinen bir matematiksel yöntemdir. Bazı çalışmalarda, PCA, hareket yakalama verisini tekil hareketlere bölmek için [2], [3] ve iskelet-kas sistemlerindeki serbestlik derecelerini ölçmek için [4] uygulanmıştır. Ayrıca, PCA, Olasılıksal PCA [3] veya Noktasal Boyut Tahmini [4] gibi farklı yöntemlerle karşılaştırılmıştır.

Bu projede, hareket yakalama verisini kullanan bir insan izleyicisi için gerekli temel unsurları incelemeyi amaçlıyorum. Ayrıca, yürüme gibi periyodik ve düzenli bir örnek hareket türünü ele alarak insan hareketi analizini araştırıyorum. Boyutunu azaltarak ve farklı kişilerin yürüme yakalamalarını karşılaştırarak, hareketi tanımlayan genel özellikleri, yürüyüş tarzının neden olduğu kişisel özelliklerden ayırabiliriz.

Bu proje, aşağıdaki aşamaları içermektedir:

İnsan yürüme hareketini analiz etmek için PCA uygulama
Tek sabit kamera kullanarak yürüyen insanları izlemek için kullanılabilecek bir model oluşturma yöntemlerini araştırma

Önceki Çalışmalar

İnsan hareketinin dinamik analizi uzun zamandır incelenmektedir. İnsan hareketi verisini analiz etme motivasyonlarından biri, 1976’da Gunnar Johansson tarafından yapılan bir dizi psikolojik deneydir. Johansson, insan vücudunun birkaç noktasına ışık kaynakları eklemiş ve yalnızca hareket eden ışık kaynaklarının göründüğü çeşitli eylemleri filme almıştır. Azaltılmış bilgiye rağmen, filmdeki insan kolayca tanınmıştır. Bu deney, insan hareketinin dinamiklerinde kodlanmış büyük miktarda bilgiyi ortaya koymuştur. Daha sonraları, bu hareket eden ışık kaynaklarından cinsiyet, duygu durumu ve kişinin kimliğinin bile anlaşılabildiği gösterilmiştir. Sadece hareket eden ışık kaynaklarına bakarak %63 oranında erkeklerin kadınlardan ayırt edilebildiği gözlenmiştir. İlginç bir bulgu ise, film ters çevrildiğinde deneklerin eğiliminin tersine döndüğüdür; erkeklerin kadın, kadınların ise erkek olarak algılandığı görülmüştür. Omuz mesafesi, kol sallama ve gövde hareketi gibi cinsiyeti ayırt etmeye yardımcı olabilecek küçük özellikler incelenmiştir. Ancak, bu özelliklerin hiçbiri istatistiksel anlamı açıklayamamış ve hareketin doğallığı bozulduğunda bu özelliklerin hiçbiri tanımaya yardımcı olmamıştır; bu da daha bütüncül bir biyolojik tanıma mekanizmasını ima etmektedir.

Troje, bu psikolojik bulguları gözden geçirmiş ve hareket eden eklemler tarafından temsil edilen, hareket eden ışık kaynaklarına benzer şekilde yürüyüş hareket verilerini analiz ederek erkekleri kadınlardan ayırt edebilen bir algoritma geliştirmiştir [5]. 20 erkek ve 20 kadının yürüyüş hareketlerini kaydetmiş ve ilk adımda, her bir hareket dizisine PCA uygulayarak bir “eigenposture” (öz duruş) temsilini elde etmiştir. Bu temsil, bir ortalama duruş ve periyodik zaman serileriyle dört öz vektörden oluşmaktadır; bu da projede uygulanan yapıya benzerdir. İkinci adımda, bu yeni temsiller ikinci bir PCA işlemine tabi tutularak, farklı yürüyüş tarzlarını ayırt etmeye olanak sağlayan “eigenwalker” (öz yürüyüş) temsilini elde etmiştir.

Das ve arkadaşları tarafından yapılan başka bir çalışmada iki aşamalı PCA uygulanmış ancak farklı parametreler kullanılmıştır [6]. Troje’nin çalışmasından farklı olarak, yalnızca eklemlerin 3B konumları değil, aynı zamanda eklemler arasındaki 3B açılar ve açısal hızlar da analiz edilmiştir. Ayrıca, veriyi bacaklara odaklanmışlar ve sadece uyluk ve dizlerin açısal hızlarını ve açısal değerlerini içeren altı bileşen kaydetmişlerdir. İlk aşamada, yürüyüş döngülerinin savurma ve pivot (dönme) fazlarını ayırt edebilen iki bileşen elde etmişlerdir. İkinci aşamada ise, bu iki bileşen içinde yakalanan yürüyüş döngüleri tek bir veri örneği olarak ele alınmış ve ikinci bir PCA işlemiyle yürüyüş, koşu, jogging gibi farklı yürüyüş döngülerini yüksek doğrulukla ayırt etmeyi başarmışlardır.

Hareket yakalama verisini izlemeye kullanabilmek için şunlara ihtiyaç duyarız:

3B insan bedeni dinamik modeli, anlamlı eksen yönleriyle farklı bir durum uzayına dönüştürülmüştür; örneğin, aktivitenin doğası ve o aktivitedeki mevcut faz. Bu model, dikkatlice seçilmiş, hizalanmış ve dinamik modelimizde anlamlı aktivite bilgisini içerecek şekilde analiz edilmiş hareket yakalama verisi ile oluşturulmaktadır.
Gerçek zamanlı olarak yakalanan bir dizi görüntü. Bunlar, tek kamera uygulamaları için insan siluetleri olabilir veya stereo kamera bilgisayarla görme sistemleri ile yakalanan nokta bulutları olabilir. Tipik olarak, gerçek zamanlı veriler, dinamik modelimizin önceki bilgisiyle filtrelenmesi gereken birkaç hata içermektedir.
Model ve görüntüleri karşılaştırma yöntemi. Bu, bir üretici model veya parçacık filtresi gibi olasılıksal bir yöntem olabilir veya bir diferansiyel amaç fonksiyonunun optimizasyonu gibi deterministik bir prosedür olabilir.

Bir olasılıksal nesne izleme yöntemi olan Markov Zinciri Monte Carlo (MCMC) yöntemlerine dayalı veriye dayalı bir olasılıksal yöntem [7] tanımlanmıştır. Alan uzayının yüksek boyutluluğu, nesne alanları ve daha da küçük atomik alanlar olarak bölünmüştür. Diğer bir deyişle, nesne alanı, atomik özelliklerin (örneğin, kenarlar ve renkler gibi) birleşimi olan birkaç atomik alanın Kartezyen çarpımıdır; bir sahne alanı ise sahnede bulunan her bir nesneye karşılık gelen nesne alanlarının Kartezyen çarpımıdır; her alan, temsil ettiği nesne sınıfına bağlı olarak farklı bir yapıya ve boyutluluğa sahiptir. Nesne alanlarına ek olarak, sahne alanı bir renk alanı ve her bir nesneye atanan görüntü piksellerinin bir eşlemesini içerir. Son olarak, her zaman adımında sahne uzayındaki parçacıkları dönüştüren bir Markov Zinciri tanımlanır. Bu geçişler, nesnelerin kendi kendine dönüşümünü, yok olmasını, yaratılmasını, birleşmesini ve bölünmesini içerir ve her geçişte sahne alanının boyutluluğu değişir. Bir MCMC sisteminin gereklilikleri, ergodiklik ve periyodik olmama (aperiyodisite) içermektedir. Ayrıca, nesne doğum/ölüm gibi ters geçişlerin dengeli ve tersinir olması gereklidir. Her geçiş olasılığı, geçişin doğasını seçmeye (örneğin, nesne doğumu veya ölümü) ve bu geçişin nasıl uygulandığına (örneğin, hangi nesnenin öleceğine) bağlı iki olasılığın birleşimidir. Her geçiş için, bu olasılıkların birleşik etkisini dengelemek için Metropolis-Hastings yöntemi ile bir kabul olasılığı hesaplanır. Parçacık kümesi güncellenirken, yeni sahne parçacıkları gerçek dağılımdan en az Kullback-Leibler sapması olacak şekilde seçilir. Bu ölçüm, yüksek boyutlu parçacık kümesinin tek bir maksimuma hapsolmasını engeller ve gerçek dağılımın çok modlu yapısını temsil etmesini gerektirir. Veriye dayalı MCMC’ye dayanan bir model temelli poz tahmini [8] sunulmaktadır. Bu yöntem, genel özellikleri (örneğin, nesne sayısı) bireysel vücut kısımlarını algılamak için kullanılan yerel görüntü özelliklerine ilişkilendiren hiyerarşik bir yapı oluşturur. İnsan vücudu pozisyonu, şekli ve giyimi ayrı olarak modellenmiş ve çok katmanlı ve heterojen yapıda olan bu olasılıksal modelde dengelenmiştir.

Bir deterministik beden izleme yöntemi [9] olasılıksal yaklaşımlardan farklı olarak sunulmaktadır. İskelet modelinde her bir beden parçasının eliptik mesafe fonksiyonlarının toplamıyla bir skaler alan fonksiyonu tanımlanmıştır. İnsan derisi, bu alan fonksiyonunun bir seviye set yüzeyi olarak tanımlanır. İzlenen kişilerin 3B nokta bulutları, her 3B noktanın en yakın beden parçasının derisine olan mesafeleri hesaplanarak deri yüzeyiyle karşılaştırılır. Bu, doğrudan gradyan inişi veya benzer yöntemlerle optimize edilebilen bir türevlenebilir amaç fonksiyonu verir. Ancak, hiyerarşik beden modeli çok karmaşıktır (bir küresel pozisyon-yönelim ve birkaç eklem açısı içerir) ve ek bir insan aktivite bilgisi, hareket yakalama verisinden yararlanılarak entegre edilmelidir. Bu amaçla, bazı deneklerin yürürken ve farklı hızlarda koşarkenki hareketlerini kaydetmişler ve bu hareket alanını, bu verilere PCA uygulayarak daha düşük boyutlu bir alana dönüştürmüşlerdir. PCA, tüm hareketlerin örnek kümesine uygulanmıştır, tıpkı Troje tarafından tanıtılan “eigenwalkers” gibi. Hem faz hem de stil ile ilgili bilgiyi çıkarmak için farklı periyodik hareketler sabit bir zaman aralığında hizalanmıştır. Hareket döngülerinin fazları zaman içinde hizalandığından, bileşenleri azaltılmış hareket alanında değiştirerek yürümeden koşmaya geçişi simüle edebilmişlerdir. PCA sonrası, türevlenebilir amaç fonksiyonu, stil ve hareket türünü (yürüme, koşma, yavaş, hızlı vb.) ve yürüyüş döngüsündeki mevcut fazı (pivot veya savurma fazı vb.) kodlayan azaltılmış bileşenlere uygulanır.

Hareket Yakalama Formatı

Carnegie Mellon Üniversitesi Hareket Yakalama veritabanından alınan ASF/AMC hareket yakalama dosyalarını kullandık. Bu, binlerce hareket dosyasını içeren geniş bir veritabanıdır ve [1] adresinde mevcuttur. ASF, iskeletin hiyerarşik yapısını, başlangıçtaki kemik açılarını ve kemik uzunluklarını içeren Acclaim iskelet dosyasıdır. AMC ise, her bir kemik için her eksende her zaman adımında hareketin yönelimlerini içeren Acclaim hareket yakalama dosyasıdır. Detaylar için [10]’a bakılabilir.

Hareket verisi, iskelet üzerindeki kemiklerin değişen açılarını içermektedir. Her kemiğin farklı eksenlerde farklı serbestlik dereceleri vardır. İskeletin kemikleri aşağıda gösterilmiştir. Tx, x ekseni boyunca öteleme ve Rx, x ekseni etrafında dönmeyi ifade eder.

Beş farklı deneğin ileri yürüme hareketleri PCA deneylerinde kullanılmıştır. Hareket analizinde, hareket yakalama dosyalarına gömülü olan açısal hareket temsilini kullanıyoruz. Ön işleme aşamasında açıları, etkiledikleri yay uzunluğunu yaklaşık olarak ağırlıklandırarak modifiye ettik. Hareket dizilerinin her karesinde açısal hızları ve ivmeleri sayısal olarak hesaplamak ve entegre etmek de mümkündür; ancak proje kapsamına dahil edilmemiştir.

3B Modelin Projeksiyonu

İskelet modelini kullanarak insan hareketini izlemeye yardımcı olabilecek bazı pratik yöntemleri inceleyeceğiz. Bu yöntemler genel bir izleme yaklaşımını oluşturmamaktadır, ancak farklı düzen ve çerçevelerde kullanılabilirler. Bu nedenle, bu yöntemleri kullanarak sistematik bir deney dizisi gerçekleştirmedik.

Yakalanan görüntüleri 3B beden modeliyle karşılaştırmak için, ilk olarak beden modelini eklem açıları yerine her bir eklemin 3B pozisyonuna dönüştürmemiz gerekmektedir. Kameranın sabit olduğunu varsaydığımız için, iskelet modelinin 3B eklem pozisyonlarını 2B görüntü pozisyonlarına dönüştürmek için kullanılabilecek belirli bir kamera kalibrasyon matrisi bulunmaktadır. Bu matris, iskelete perspektif projeksiyon uygular, böylece modelimizi izlenen alanın herhangi bir yerine süperpoze etmek için kullanabiliriz. Ayrıca, birden fazla kameramız varsa, aynı 3B hareketi tüm bu kameralardan yakalanan görüntülere süperpoze edebiliriz.

Aşağıdaki şekil, çoklu kameralar tarafından yakalanan birkaç görüş üzerinde süperpoze edilmiş bir yürüyen 3B modeli göstermektedir. Kalibrasyon matrisi ve görüntüler INRIA algılama grubunun video veritabanından alınmıştır [11].

Kemiklerin Serbestlik Dereceleri:

Kök: Tx, Ty, Tz, Rx, Ry, Rz
Baş, Üst Boyun, Alt Boyun, Göğüs, Üst Sırt, Alt Sırt: Her biri Rx, Ry, Rz
Sol ve Sağ:
Köprücük Kemiği: Ry, Rz
Kol Kemiği: Rx, Ry, Rz
Radius: Rx
Bilek: Ry
El: Rx, Rz
Başparmak: Rx, Rz
Parmaklar: Rx
Kalça Eklem: Yok
Uyluk Kemiği: Rx, Ry, Rz
Kaval Kemiği: Rx
Ayak: Rx, Rz
Ayak Parmağı: Rx

Model Pozisyonunun Tahmin Edilmesi

Matris, Y=0 düzlemindeki 3B noktaları (X, 0, Z) yere yakın görünecek noktalara dönüştürür. Böylece, modelimizin küresel pozisyon-yönelimindeki 6 boyutlu bilgiyi, sadece bedenin yerdeki konumunu (X, Z) ve yöneldiği açıyı (Θ) kodlayan üç boyuta indirgemiş oluruz.

Aşağıdaki grafiklerde:

a) Kişinin siluetini izleyerek elde edilen yürüme hareketinin 2B dairesel yörüngesi gösterilmektedir. Kırmızı, yeşil ve mavi çizgiler, kamera kalibrasyon matrisi ile tanımlanan X, Y, Z ekseni yönlerini ifade eder.
b) 2B konumların her birinin kamera ışınlarının 3B yer düzlemi Y=0 ile kesiştirilmesi işlemi ile elde edilen “projeksiyon kaldırılmış” 3B yörüngenin XZ grafiği yer alır.

Yan profilden bir görüntü silueti ile kişinin altındaki yer tabanını (örneğin, ayakların pozisyonu) yaklaşık olarak bir 2B görüntü noktası olarak tahmin edersek, bu 2B noktayı Y=0 yer düzleminde olduğu varsayımıyla 3B’ye “projeksiyonunu kaldırabiliriz”. Bu şekilde, her bir zaman anında X ve Z’yi yaklaşık olarak hesaplayabiliriz. Bu pozisyonlar, yürüme hareketinin 3B yörüngesini çizer. Konunun ileri doğru hareket ettiğini varsayarsak, Θ’yı, her zaman aralığında hız (vX,vZ) yönünde olan 3B yörüngenin teğetine eğim olarak tahmin edebiliriz. Ayrıca, zamanla seyahat edilen mesafeyi entegre ederek kişinin gerçek seyahat mesafesini elde edebiliriz. Bu, modelimizi güncellemek ve aynı mesafeyi kat etmesini sağlamak için kullanılabilir. Ancak, bu değişkenler gürültüye maruz kalır, dolayısıyla doğrudan kullanılmamalıdır; ancak bir olasılıksal modelle filtrelenebilir ya da bir amaç fonksiyonunu optimize eden bir algoritmada başlangıç değerleri olarak kullanılabilir.

Bu yöntemleri izleme amacıyla kullanmak için, mantıklı bir insan vücudu duruş modeli tanımlamamız ve geçerliliği sağlamak için hareket yakalama verisini dahil etmemiz gereklidir. Bu nedenle, bir sonraki bölümlerde, beden duruşlarını daha az boyutlu ve daha anlamlı bir alanda temsil etmenin bir yolunu inceleyeceğiz.

Temel Bileşenler Analizi

PCA, N boyutlu bir veri setine uygulanan matematiksel bir yöntemdir. PCA, bu veri setini M boyutlu bir sete lineer olarak dönüştürmek için kullanılır ve bu sette, veri varyansının çoğunu temsil etmek için yalnızca M < N bileşen gereklidir. Deneylerimizde, 62 boyutlu yürüme verisine sahibiz ve bunu 4 boyutlu bir alana dönüştürmek için PCA kullandık. Bu işlem, veriyi dört adet 62 boyutlu özvektör kullanarak dönüştürmeyi içerir. Bu dört bileşenin temsil kapsamları, Troje’nin tanımladığı “eigenpostures” (öz duruşlar) ile benzer şekilde dört özdeğerle temsil edilmektedir.

Hareket verimizi kullanmadan önce, değerlerdeki eşit değişimlerin hareket üzerinde eşdeğer etkiler yaratmasını sağlamak amacıyla veriyi modifiye etmemiz gerekmektedir. Bu, gereklidir çünkü PCA, bileşenleri etkilerine göre ilişkilendirir. Orijinal verimizde hem ayak parmağı açıları hem de diz açıları bulunmaktadır. Ayak parmağı açısının analizimiz üzerindeki etkisinin diz açısına göre daha az olması gerekmektedir. Bu amaçla, açı değerlerini etkiledikleri kemiklerin toplam uzunluğuyla çarptık. Bu değer, hareketle yaratılan yay uzunluğunu yaklaşık olarak belirler. Örneğin, ayak parmağı açıları sadece ayak parmağı uzunluğuyla, uyluk açıları ise uyluk, kaval kemiği, ayak ve ayak parmağı toplam uzunluğuyla çarpılmıştır. Bu ön işleme olmadan, ilk 12 özvektör varyansın %99’unu kapsayabilirken, ön işleme sonrasında sadece 4 özvektör yeterli olmuştur ve bu dört bileşen niteliksel olarak farklı özellikler yakalamıştır.

Deneyler

Deneylerde, CMU veritabanında numaralandırılan beş deneğin (07, 08, 35, 37 ve 38) yürüme hareketleri kullanıldı. Bu deneklere A, B, C, D ve E olarak atıfta bulunacağız. Veri önce ön işleme tabi tutulmuş ve dört özvektör ve özdeğer elde edilmek üzere PCA uygulanmıştır. Deneylerimiz, PCA’nın ilk dört bileşeninin varyansın çoğunu kapsadığını ve beşinci özdeğerin önemli ölçüde daha küçük olduğunu (dördüncü özdeğerin yarısından az) göstermektedir. Bu bileşenler c1, c2, c3 ve c4 olarak adlandırılmıştır. Tablo, tüm denekler için farklı özvektörlere karşılık gelen kapsama oranlarını göstermektedir; c1 ve c2 genel olarak hareket desenini oluştururken, c3 ve c4 hareketin ayrıntılarını ince ayar yapmaktadır. Toplam yüzde, ilk dört özdeğerin toplamının tüm özdeğerlerin toplamına bölünmesiyle hesaplanmıştır.

	A	B	C	D	E
c1	68	63	85	78	73
c2	22	28	10	14	20
c3	6	4	2	3	4
c4	2	2	2	3	3
Toplam %	98%	97%	99%	99%	99%

Tüm deneylerde, ilk bileşen (c1) gövde hareketinden bağımsız olarak yürümenin bir sonucu olan küresel pozisyon değişimini temsil etmektedir. Bu, periyodik olmayan bir bileşendir. Zaman içindeki tipik c1 değişimi grafikte gösterilmektedir. Bu davranış tüm denekler için benzerdir.

İkinci bileşen (c2) periyodiktir ve kök ile gövde yönelimi arasındaki uzuv açısını temsil etmektedir. Bu grafik, yalnızca süre ve kapsam değişiklikleriyle tüm deneklerde benzerdir.

Üçüncü bileşen (c3) genellikle hareketin belirli fazlarında dirsek ve dizlerdeki zıt uzuv hareketlerini temsil eder. Bu bileşen de periyodiktir, ancak daha az düzenli bir davranışa sahiptir. C3, denekler arasında farklılık göstermekte olup yürüme tarzı hakkında bilgi taşıyabilir. Bu özelliği kontrol etmek için, aynı denek C’nin beş farklı yürüme oturumundan c3 grafiklerini karşılaştırdık ve benzer olduklarını gördük. Aşağıda farklı deneklerin c3 grafiklerini görebilirsiniz:

c1 minimum olduğunda: vücut başlangıç pozisyonundadır.
c1 maksimum olduğunda: vücut bitiş pozisyonundadır. (Denekler: A, B, C, D, E)
c2 minimum olduğunda: sol bacak ve sağ kol öne, sağ bacak ve sol kol arkaya hareket eder.
c2 maksimum olduğunda: sol bacak ve sağ kol arkaya, sağ bacak ve sol kol öne hareket eder. (Denekler: A, B, C, D, E)
c3 minimum olduğunda: sol diz bükülür, sağ diz açılır ve kollar c2’ye ters şekilde hareket eder.
c3 maksimum olduğunda: sol diz açılır, sağ diz bükülür ve kollar c2’ye ters şekilde hareket eder. (Denekler: A; B’de daha küçük etkiyle, C, D ve E’de bazı asimetrilerle gözlemlendi.)

Dördüncü bileşen (c4) genellikle hareketin fiziksel, yerçekimiyle ilgili yönlerini kapsar. Grafik çizildiğinde, her periyotta iki zirve içeren bir periyodik fonksiyon görülür. Bu, zıplama/yaylanma hareketini temsil etmektedir. Yürürken, sol ayağımızı yere koyduğumuz iki an arasında iki kez sıçramaktayız. Grafikler denekler arasında benzerdir, ancak birinci ve ikinci sıçrama zirvelerinin yüksekliklerinde ve bazen minimum ve maksimum değerlerde terslik görülmektedir.

Her denek için, bileşen 2 ve 3’ün düzlemdeki değişimi çizildiğinde, azaltılmış PCA alanında yürüyüş döngüsünün şekli görülebilir. Aşağıdaki grafiklerde, c3 yatay eksende ve c2 dikey eksendedir. Tüm yürüme deneklerinde benzer bir desen gözlemlenmiştir.

c3 minimum olduğunda: vücut sağa eğilir. (Denek: B)
c3 maksimum olduğunda: vücut sola eğilir. (Denek: A)
c4 minimum olduğunda: vücut hafifçe yukarı kalkar ve geriye eğilir, dizler bükülür, bacaklar hafifçe öne eğilir.
c4 maksimum olduğunda: vücut normaldir, dizler açılır, bacaklar düzdür, ayak yere temas eder. (Denekler: A, B, C; D’de bazı asimetrilerle, E’de gözlemlenmiştir)

Deneyler göstermektedir ki, yakından incelendiğinde, yürüme hareketinin PCA analizi hareketin kendine özgü bazı özelliklerini ortaya koymaktadır. Yürümenin periyodik ve düzenli doğası da analizde yardımcı olmaktadır.

Hareket Abartımı

PCA analizinin doğrudan bir uygulaması, animasyon amaçları için yakalanan insan hareketini abartmaktır. PCA dönüşümünden sonra, seçilen bir bileşenin yoğunluğunu artırabilir, diğerlerini azaltabilir ve bu değiştirilmiş diziyi eklem açıları orijinal alanında yeniden oluşturabiliriz. Bu işlem, abartılmış hareket desenlerini içeren bir hareket dizisi oluşturur. Örneğin, c2’yi artırırsak, bacaklar ve kollar daha fazla sallanır; c3’ü artırırsak, dizler daha fazla bükülüp açılır; c4’ü artırırsak, model zıplayarak ve dizleri aşırı açarak yürür. Bu yöntem, çizgi film karakterlerini canlandırmak için kullanılabilir. Bu uygulama, PCA’ya dayalı bir insan izleme algoritması uygularsak, çizgi filmvari ve abartılı hareketleri de izleyebileceğimizi ortaya koymaktadır.

Sonuç

Bu projede, insan izleme için kullanılabilecek bazı pratik yöntemleri inceledik. Bu problem çok karmaşık olduğundan, birkaç alt problem katmanını içerir ve tamamen kapsayan tek bir küresel yaklaşım mevcut değildir. Bu nedenle, zıt yaklaşımlar bile ortak görüşleri ve yöntemleri paylaşmaktadır. Bu projede incelediğimiz boyutluluğun azaltılması ve 2B görüntüler ile 3B iskeletler arasında dönüşümler elde edilmesi, insan bedeni izleme konusundaki bir ders kitabı veya kursta yer alacak yöntemlerden bazılarıdır.