前言：本站為你精心整理了音樂可視化管理范文，希望能為你的創(chuàng)作提供參考價(jià)值，我們的客服老師可以幫助你提供個(gè)性化的參考范文，歡迎咨詢。

音樂可視化的實(shí)現(xiàn)形式與解決方案可謂精彩紛呈。音樂可視化有著廣泛的應(yīng)用:音樂分析、信息檢索、表演分析、音樂教學(xué)、音樂認(rèn)知、情感表達(dá)、游戲娛樂?；诓煌膽?yīng)用，會(huì)有不同的系統(tǒng)設(shè)計(jì)方案。在教學(xué)領(lǐng)域，可能會(huì)強(qiáng)調(diào)音符、樂器、旋律、和聲方面;在音樂廣場(chǎng)，通過控制的相關(guān)技術(shù)來(lái)實(shí)現(xiàn)音樂噴泉，著重表達(dá)噴水的花型組合變化、水柱高低、遠(yuǎn)近變化等;在大型表演、酒吧、展覽現(xiàn)場(chǎng)，可能會(huì)更強(qiáng)調(diào)畫面帶來(lái)的強(qiáng)烈的視覺沖擊;在游戲領(lǐng)域，可能會(huì)著重表現(xiàn)音樂自身包含的情感因素，通過虛擬角色的面部表情、動(dòng)作變化及場(chǎng)景的變換來(lái)實(shí)現(xiàn)，等等。

4.1用戶接口及系統(tǒng)構(gòu)架

本系統(tǒng)設(shè)計(jì)為基于情感識(shí)別的實(shí)時(shí)交互式音樂可視化系統(tǒng)，采用一個(gè)可選的虛擬角色進(jìn)行情感動(dòng)作表達(dá)。系統(tǒng)需要減少系統(tǒng)負(fù)載和同時(shí)能夠?qū)崟r(shí)性地進(jìn)行一音樂分析和可視化表演，從現(xiàn)場(chǎng)表演的麥克風(fēng)和電子琴的音樂輸入中提取出來(lái)的音樂特征通過相關(guān)信息處理和數(shù)據(jù)過濾，然后發(fā)送到音樂動(dòng)畫腳本和引擎，最后通過虛擬角色進(jìn)行音樂情感的動(dòng)作表達(dá)。本文希望允許用戶與虛擬角色有一個(gè)沉浸式的交互體驗(yàn)，計(jì)算機(jī)的顯示屏幕無(wú)法滿足大型展覽、表演現(xiàn)場(chǎng)的要求，虛擬現(xiàn)實(shí)的沉浸感也要求突破計(jì)算機(jī)顯示尺寸的限制，使用大屏幕顯示，可以采用圓柱型、洞穴狀、或者矩形塊拼接的大屏幕進(jìn)行逼真顯示，強(qiáng)制性制造出強(qiáng)勁的可視化效果。為了滿足這個(gè)要求，可以把這個(gè)虛擬環(huán)境顯示到一個(gè)大屏幕上，比如矩形塊拼接的大屏幕或洞穴狀的大屏幕，該屏幕可以提供實(shí)體大小的立體圖像，希望大屏幕立體顯示和人們的自然的用戶輸入方式可以縮短虛擬與現(xiàn)實(shí)之間的距離，通過這種方法，用戶可以體驗(yàn)到這種與三維實(shí)體大小的虛擬場(chǎng)景的現(xiàn)實(shí)性的交互而產(chǎn)生的幻覺，允許用戶與觀察者體驗(yàn)這種表演者與虛擬角色之間的真正的交互而產(chǎn)生的強(qiáng)制性的沉浸感。能用一種很自然的音樂表達(dá)方式與虛擬角色進(jìn)行交互也是很重要的。因此，本文應(yīng)該確保一旦設(shè)計(jì)為該方式的系統(tǒng)運(yùn)行起來(lái)，用戶僅僅需要提供MIDI控制器或者麥克風(fēng)的音樂輸入方式就可以與程序進(jìn)行交互。麥克風(fēng)與MIDI控制器應(yīng)該放置在特定的位置，以便當(dāng)用戶實(shí)時(shí)表演時(shí)可以很方便地觀察到虛擬角色的反應(yīng)。能夠體現(xiàn)音樂情感，同時(shí)又具體極強(qiáng)的可觀賞性和趣味性的音樂可視化系統(tǒng)是本文的追求。本文將圍繞音樂情感為中心建立一個(gè)音樂可視化系統(tǒng)，可以用來(lái)音樂分析和音樂可視化，通過對(duì)現(xiàn)場(chǎng)表演的實(shí)時(shí)語(yǔ)音及MIDI處理輸入，通過處理、分析，最后映射到虛擬角色中。系統(tǒng)以麥克風(fēng)和電子琴作為輸入?yún)?shù)，通過處理，提取出相關(guān)的音樂特征，隨后進(jìn)行情感檢測(cè)處理，實(shí)時(shí)性地用虛擬角色面部表情和動(dòng)作變化、虛擬場(chǎng)景的變換來(lái)表達(dá)情感因素，最后通過大屏幕進(jìn)行顯示。

圖4一2音樂感知過濾層流程圖

音樂感知過濾層的作用是雙方面的。一方面，系統(tǒng)需要分析復(fù)雜的音樂數(shù)據(jù)輸入流，以便提取有意義的音樂特征來(lái)準(zhǔn)備后面的相關(guān)工作。另一方面，為了保證能模擬人類對(duì)音樂的情感反應(yīng)的要求，系統(tǒng)需要采用前人對(duì)音樂情感方面的研究方法來(lái)組織這些特征。為了使角色得到音頻信息流中的有用信息，系統(tǒng)需要將這種流變成一種簡(jiǎn)單的格式。因此本文在系統(tǒng)框架中添加了這種額外的音樂感知過濾層。在這一層中系統(tǒng)通過分析輸入的音頻信息，提取出重要的音樂特征，然后再將該層的結(jié)果作為輸入傳送給角色及場(chǎng)景認(rèn)知層。為了對(duì)現(xiàn)場(chǎng)音樂表演中進(jìn)行特征提取，系統(tǒng)對(duì)麥克風(fēng)和電子琴的輸入進(jìn)行處理。本文采用MIDI接口和錄音設(shè)備從現(xiàn)場(chǎng)音樂輸入流中提取重要的特征，通過一系列變換處理，可以得到感興趣的特征如歌聲的音高、歌聲的振幅、歌聲的音調(diào)、描述歌手音色的數(shù)據(jù)等。同時(shí)，系統(tǒng)也對(duì)電子琴輸入的特定的和音感興趣，可以將輸入的MIDI信息與預(yù)定義的和音信息相比較，然后提取出匹配的和音信息。這樣，對(duì)現(xiàn)場(chǎng)原始數(shù)據(jù)進(jìn)行處理之后，就生成了音樂的數(shù)字化描述。最后再將這些提取出來(lái)的音樂特征發(fā)送到特征記錄器中進(jìn)行下一階段的處理，以便滿足復(fù)雜的實(shí)時(shí)的音頻分析的要求。

4.2.1特征提取

西方調(diào)式音樂，至少是由一系列音高、持久度和振幅組成，都是由一些和聲結(jié)構(gòu)的規(guī)則約束的。通過Hevner、Famsworth等人140，4’l的研究實(shí)驗(yàn)表明，音樂是可以表達(dá)情感的，即使對(duì)不懂音樂的人來(lái)說，他們也會(huì)感知到音樂中的一些潛在的和聲規(guī)則產(chǎn)生的音樂情感，同時(shí)做出相關(guān)的情感反應(yīng)。在此音樂可視化系統(tǒng)中本文采用這些情感規(guī)則來(lái)處理音樂輸入，讓虛擬角色獲得認(rèn)知技能。在認(rèn)知層中，本文假定輸入的音樂是有調(diào)的，這樣可以方便在認(rèn)知層中對(duì)音樂情感意義的處理。因?yàn)樵搶犹崛〕鰜?lái)的音樂特征在表演者和虛擬角色的整個(gè)交互過程中是最重要的，所以本文把主要精力放在對(duì)該感知層的處理上，在介紹該層時(shí)需要不少篇幅。對(duì)于電子琴的和音輸入，處理方法比較簡(jiǎn)單，利用電子琴通過MIDI接口將音樂信號(hào)發(fā)送到計(jì)算機(jī)，根據(jù)電子琴的參數(shù)規(guī)格可以很方便地得到現(xiàn)場(chǎng)彈奏的音高、持久度、速度、力度等信息。樂音體系首先是由于唱歌實(shí)踐的結(jié)果而形成的，因此樂音體系中大部分的音是人的嗓音可唱的音。由于器樂的發(fā)達(dá)，就得用每秒鐘振動(dòng)16次到4000次之間的若干音來(lái)補(bǔ)充樂音體系。雖然如此在樂器上最富于表現(xiàn)力的音域和人聲唱歌的音域是近乎一致的(頻率范圍大約為60到l000Hz)。

對(duì)于麥克風(fēng)輸入的歌聲的處理，系統(tǒng)可以通過錄音設(shè)備得到的數(shù)據(jù)，分析其頻率和振幅，參考國(guó)際標(biāo)準(zhǔn)音高(即鋼琴上小字一組的A)對(duì)應(yīng)的頻率為440Hz，每一個(gè)八度之間頻率增加一倍，比如C比上一音階的C，D比上一音階的D的頻率增加一倍。中間的頻率，按照十二平均律公式算出來(lái):由此可以得到所有音高。振幅與音量、持久度有關(guān)，音量可以由系統(tǒng)自定義，將處于某一范圍的振幅認(rèn)為是音高對(duì)應(yīng)的音量，持續(xù)的時(shí)間即為音高的時(shí)值，或稱持久度。

4.2.2特征組織

為了組織和音內(nèi)容的輸入，本文采用現(xiàn)在通用的音樂編碼系統(tǒng)【59]。該編碼系統(tǒng)的核心是采用一種字母表的概念，選定一個(gè)參考的字母元素，其它所有元素就可以通過與這個(gè)參考元素的關(guān)系來(lái)描述出來(lái)。本文的音樂可視化系統(tǒng)需要編碼現(xiàn)場(chǎng)音樂輸入的特征信息，因此，本文選擇調(diào)的主音來(lái)作為參考音符。所有的后面感知到的音符都將使用該參考元素進(jìn)行編碼，因?yàn)樗鼈兌寂c調(diào)式音階的主音相關(guān)。下面舉一個(gè)例子來(lái)說明這種編碼系統(tǒng):在C調(diào)音樂中，主音音符C，將作為參考音符。如果選擇的字母表是半音階(一個(gè)音階包含12個(gè)半音)，D(即c上的

大二度)將用字母表中在主音參考音符之上的2步來(lái)代表，而喇即C上的小三度)則用字母表中在主音參考音符之上的3步來(lái)代表。音符是由音高和持久度組成的，上面描述的音樂編碼系統(tǒng)是針對(duì)音高的，再結(jié)合在電子琴中彈奏的持久度，系統(tǒng)可以描述每一個(gè)歌聲片斷中的音符。為了決定哪一個(gè)音符是被表演者強(qiáng)調(diào)的，本文可以采用這樣的方法:當(dāng)某音符有別于周圍其它的音符的時(shí)候就可以認(rèn)為該音符是被強(qiáng)調(diào)的，比如增大的音量或者高低音符間的突然的轉(zhuǎn)變。通過第三章提出的螺旋模型和調(diào)性確定算法，分析音高序列的前面若干個(gè)音高事件，確定該音樂的調(diào)性、節(jié)奏和速度，然后將特征提取階段得到的音高序列轉(zhuǎn)換為旋律，得到的所有這些數(shù)據(jù)就放到特征記錄器中，以便為下一階段的處理做好準(zhǔn)備。

4.3角色及場(chǎng)景認(rèn)知層

基于該層的感知處理，角色評(píng)估接收到的數(shù)據(jù)，決定應(yīng)該如何反應(yīng)。角色需要分析它們接收到的輸入和決定一個(gè)大致的反應(yīng)行為。在該層中，角色的個(gè)性是由如何感知事件進(jìn)而影響角色的內(nèi)部狀態(tài)來(lái)定義的。本節(jié)將描述系統(tǒng)的動(dòng)畫角色是如何模擬一個(gè)對(duì)感知到的音樂特征的情感的理解的。

4.3.1情感檢tll

在認(rèn)知層中，由感知層發(fā)送過來(lái)的信息需要被接收和分析，用來(lái)模擬虛擬角色的內(nèi)部狀態(tài)。特征組織器中包含了這些現(xiàn)場(chǎng)音樂表演的信息(歌聲音程、每個(gè)歌聲音符的重要性數(shù)據(jù)、關(guān)于歌聲節(jié)奏的信息以及用戶彈奏的和音數(shù)據(jù))。然后本文需要模擬一個(gè)對(duì)感知數(shù)據(jù)的認(rèn)知意識(shí)，因?yàn)榻巧枰幸粋€(gè)通過動(dòng)作表達(dá)出來(lái)的感興趣的內(nèi)部狀態(tài)。音樂表演的認(rèn)知意識(shí)可以采取多種形式。當(dāng)聽到一個(gè)關(guān)于愉快的特別的旋律時(shí)，角色可能會(huì)感覺到快樂，或者當(dāng)接收到一系列感覺恐怖的特定的和音，角色則可能會(huì)進(jìn)入一個(gè)恐懼的狀態(tài)。為了給角色的認(rèn)知?jiǎng)?chuàng)建一個(gè)有意思的和靈活的認(rèn)知層，本文選擇了Cooke在文獻(xiàn)[431中對(duì)音樂的研究，特別是對(duì)音樂情感的研究。Cooke在文獻(xiàn)[43}中的經(jīng)典研究為本文提供一個(gè)全新的視角來(lái)觀察音樂和情感之間的更一般性的關(guān)系。為了實(shí)現(xiàn)這種像角色喜歡一些特定的旋律而不喜歡另外一些，系統(tǒng)可以創(chuàng)建一個(gè)針對(duì)音樂理論特征的足夠靈活的角色用來(lái)模擬情感反應(yīng)。Cooke己經(jīng)從大量的音樂片斷中識(shí)別特定的特征，使用一種更一般性的方法提出使用在調(diào)式音樂中的一些特定的特征用來(lái)表現(xiàn)特定的情感概念Cooke識(shí)別出音階中所有十二個(gè)音符的基本的表達(dá)功能。如果一個(gè)旋律里包含很多小三度的實(shí)例，Cooke認(rèn)為這些片斷的恰當(dāng)解釋應(yīng)該是表達(dá)出“難以接受的”或者是“悲傷的”情感。很多著名的包含小三度的表達(dá)悲傷情感的音樂作品實(shí)例可以映證這個(gè)結(jié)論，例如Strauss的《蒂爾小丑》中蒂爾被處死的地方。相

反，Cooke引用美國(guó)流行歌曲《Polly一woll夢(mèng)doodle》來(lái)說明大三度是代表“和諧的”或者“愉悅的”情感。通過應(yīng)用這種對(duì)音樂旋律的規(guī)則，系統(tǒng)可指定現(xiàn)場(chǎng)音樂表達(dá)的認(rèn)知意義。系統(tǒng)的音樂感知過濾層通過特征提取，對(duì)現(xiàn)場(chǎng)音樂的上下文描述了所有的音樂旋律中的音符。了解這些以后，本文可以很容易地將音高關(guān)聯(lián)到Cooke提出的情感上下文。這種情感上下文可以用來(lái)修改動(dòng)畫角色的內(nèi)部狀態(tài)并月.觸發(fā)相關(guān)的反應(yīng)行為。該音樂動(dòng)畫系統(tǒng)使用一個(gè)“驅(qū)動(dòng)系統(tǒng)”來(lái)控制角色的行為。很多電腦游戲玩家都很熟悉這種機(jī)制，即這樣的驅(qū)動(dòng)系統(tǒng)是操作在一定原則之上的，那就是一旦特定角色特征的級(jí)別達(dá)到了一個(gè)觸發(fā)的最大值或者最小值，角色的行為就被觸發(fā)。例如，當(dāng)角色的能量驅(qū)動(dòng)達(dá)到最小值時(shí)，它就趴下睡覺，而當(dāng)能量驅(qū)動(dòng)達(dá)到最大值時(shí)，它就馬上爬起來(lái)。系統(tǒng)的角色就是使用這種驅(qū)動(dòng)系統(tǒng)來(lái)表達(dá)它們的情感狀態(tài)的。根據(jù)Cooke的理論，小三度意味著悲傷，而大三度則表示快樂。系統(tǒng)的角色可以有一個(gè)“快樂驅(qū)動(dòng)”，當(dāng)歌手唱出一個(gè)包含很多大三度的旋律時(shí)，這個(gè)級(jí)別值就增加，而如果是小三度則減小。既然系統(tǒng)的感知層也可以分配相應(yīng)的意義值到每一個(gè)歌唱音符，“快樂驅(qū)動(dòng)”的增加量或者減少量也可以由音符的意義值決定。提取出來(lái)的其它的音樂特征，如和音、歌唱音色等，也可以用來(lái)影響角色反應(yīng)的驅(qū)動(dòng)。在現(xiàn)場(chǎng)音樂表演期間，對(duì)音樂輸入的認(rèn)知處理允許動(dòng)畫角色維持一個(gè)變化中的情感狀態(tài)。音樂動(dòng)畫表達(dá)層使用動(dòng)畫來(lái)可視化角色行為，這種情感狀態(tài)隨后可以通過表達(dá)層傳達(dá)給觀眾。4.3.2其它因素的認(rèn)知

在情感色彩方面，調(diào)式是音樂的一種極重要的表現(xiàn)手法，因?yàn)樗鼙憩F(xiàn)內(nèi)容的某引起重要情調(diào)。在這方面說來(lái)，每一調(diào)式由于它的表現(xiàn)能力而在各種類型的作品中被應(yīng)用。調(diào)式和內(nèi)容的各種關(guān)系是極少有例外的。例如普通總是以大調(diào)來(lái)表現(xiàn)勝利，小調(diào)來(lái)表現(xiàn)悲傷、憂愁?？墒钦{(diào)式能如此廣泛應(yīng)用還是因?yàn)樽髌分械膬?nèi)容是由許多手法，如調(diào)式、旋律的方向、旋律中的音程、節(jié)奏、速度、音的強(qiáng)弱變化、音的力量、音區(qū)、音色等的結(jié)合來(lái)表現(xiàn)的，而式在這必需的結(jié)合中不

過是手法之一。完美的可視化呈現(xiàn)需要考慮多方面的因素，除了上述因素對(duì)情感方面的表現(xiàn)力之外，還應(yīng)考慮它們對(duì)其他心理感受的表現(xiàn)力。例如高的音高與低的音高相比，表現(xiàn)為亮、高、輕、小、敏捷;強(qiáng)的音比弱的音相比，表現(xiàn)為大、重、近;慢的音與快的音相比，表現(xiàn)為大、重、慢、穩(wěn)重;快的起音與慢的起音，表現(xiàn)為生硬、果斷、急躁、兇狠t421。

4.4角色及場(chǎng)景表達(dá)層

角色需要展示可視化的動(dòng)作來(lái)表明它們認(rèn)知的狀態(tài)。當(dāng)一個(gè)動(dòng)畫角色己經(jīng)處理了感知的數(shù)據(jù)并且決定做出怎樣的身體反應(yīng)行為時(shí)，這些行為將會(huì)通過動(dòng)畫的形式表達(dá)出來(lái)。該音樂動(dòng)畫系統(tǒng)在運(yùn)行時(shí)生成了這些動(dòng)畫，可以通過一種過渡的動(dòng)畫來(lái)逐步地添加到各種不同的預(yù)定義的姿勢(shì)之間。動(dòng)畫的行為在情感或強(qiáng)度之間變化，從而體現(xiàn)出虛擬角色的認(rèn)知狀態(tài)。本節(jié)將描述角色和場(chǎng)景表達(dá)層是如何工作的。

4.4.1將音樂映射到行為

在認(rèn)知層中，角色的內(nèi)部狀態(tài)被定義好了。然后這種內(nèi)部的狀態(tài)通過表達(dá)層中自動(dòng)生成的動(dòng)畫來(lái)實(shí)現(xiàn)可視化。為了完成這種音樂可視化效果，系統(tǒng)需要?jiǎng)?chuàng)建一種足夠復(fù)雜的角色用來(lái)產(chǎn)生行為，這種行為被使用者和觀察者認(rèn)為將是音樂輸入的及時(shí)反應(yīng)。角色需要監(jiān)視感知層的數(shù)據(jù)，從而決定如何反應(yīng)。每一個(gè)角色需要注意特定類型的數(shù)據(jù)并且忽略其它的數(shù)據(jù)。有些角色可能對(duì)所有的歌聲的音高和振幅感興趣，而其它的角色僅僅關(guān)心從鍵盤輸入的大小和弦。這些決策是由設(shè)計(jì)出角色的程序設(shè)計(jì)者做出的，即角色只對(duì)特定數(shù)目的特征感興趣。下面就以一個(gè)角色來(lái)舉例說明。當(dāng)用戶唱出一個(gè)高于中央C的音高，在為該事件負(fù)責(zé)的音樂感知過濾層中，就在特征記錄器的旋律中就寫下該音高事件的發(fā)生。該角色監(jiān)視旋律中的音高信碩十學(xué)位論文第四章音樂可視化系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)息，當(dāng)感知到該事件的時(shí)候，它的注意力就馬上集中起來(lái)。該過程是由一段動(dòng)畫來(lái)表示的，即角色當(dāng)事件的發(fā)生時(shí)轉(zhuǎn)變?yōu)楸磉_(dá)出一個(gè)“專心的”狀態(tài)。如果該角色長(zhǎng)時(shí)間地沒有聽到任何歌聲，則它變得很無(wú)聊，然后開始趴下睡覺。只有當(dāng)用戶選擇發(fā)出另一個(gè)相似的音高，它才醒來(lái)，在這段時(shí)間里它的注意力不太集中，會(huì)忽略掉一些小小的噪聲。這種行為控制類型被稱為驅(qū)動(dòng)機(jī)制，即對(duì)角色的每一個(gè)狀態(tài)都匹配一個(gè)驅(qū)動(dòng)。更完善的驅(qū)動(dòng)機(jī)制是，每一個(gè)驅(qū)動(dòng)都有一定的級(jí)別值，驅(qū)動(dòng)系統(tǒng)監(jiān)視每一個(gè)狀態(tài)的當(dāng)前的級(jí)別，當(dāng)?shù)竭_(dá)閉值時(shí)刁‘觸發(fā)相應(yīng)的行為。在上例中，與角色內(nèi)部狀態(tài)相關(guān)的是“無(wú)聊的”級(jí)別值，當(dāng)角色的“無(wú)聊的”驅(qū)動(dòng)達(dá)到一定的閩值時(shí)，它就開始睡覺。當(dāng)它聽到用戶發(fā)出相關(guān)的聲音時(shí)這種“無(wú)聊的’，級(jí)別值就減小，而當(dāng)用戶不發(fā)聲的時(shí)候該級(jí)別值就增大。這是在用戶輸入與角色行為之間的一個(gè)很簡(jiǎn)單的映射例子。如果角色能夠展示更加復(fù)雜的行為，那將是更有趣的事情。例如，當(dāng)聽到一個(gè)低音的音高時(shí)，角色就慢慢地扭轉(zhuǎn)頭，而當(dāng)它感知到一個(gè)很具攻擊性的聲音時(shí)，當(dāng)就突然轉(zhuǎn)移它的注意力。在感知到高音C時(shí)它甚至捂住耳朵。當(dāng)然，這些行為都是角色設(shè)計(jì)者設(shè)定的。設(shè)計(jì)者選擇角色的動(dòng)作來(lái)模擬音樂輸入，同時(shí)也決定著如何進(jìn)行急劇的或是平滑的過渡用來(lái)展示音樂情感。

4.4.2動(dòng)畫的實(shí)現(xiàn)方法

計(jì)算機(jī)動(dòng)畫是計(jì)算機(jī)圖形學(xué)和藝術(shù)相結(jié)合的產(chǎn)物，綜合利用了計(jì)算機(jī)科學(xué)、藝術(shù)、數(shù)學(xué)、物理學(xué)和其它相關(guān)學(xué)科的知識(shí)，在計(jì)算機(jī)上生成豐富多彩的虛擬真實(shí)畫面。一般來(lái)說，計(jì)算機(jī)動(dòng)畫分為關(guān)鍵幀動(dòng)畫、變形動(dòng)畫、過程動(dòng)畫、關(guān)節(jié)角色動(dòng)畫和基于物理的動(dòng)畫。過程動(dòng)畫指的是動(dòng)畫中物體的運(yùn)動(dòng)或變形由一個(gè)過程來(lái)描述。最簡(jiǎn)單的過程動(dòng)畫是用一個(gè)數(shù)學(xué)模型去控制物體的幾何形狀和運(yùn)動(dòng)，如水波隨風(fēng)的運(yùn)動(dòng)。較復(fù)雜的則包括物體的變形、彈性理論、動(dòng)力學(xué)、碰撞檢測(cè)等。基于物理模型的動(dòng)畫技術(shù)考慮了物體在真實(shí)世界中的屬性，如具有質(zhì)量、轉(zhuǎn)動(dòng)慣矩、彈性、摩擦力等，并采用動(dòng)力學(xué)原理來(lái)自動(dòng)產(chǎn)生物體在各個(gè)時(shí)間點(diǎn)的位置、方向及其形狀。此外，動(dòng)畫師不必關(guān)心物體運(yùn)動(dòng)過程的細(xì)節(jié)，只需確定物體運(yùn)動(dòng)所需的一些物理屬性及一些約束關(guān)系，如質(zhì)量、外力等，引入了轉(zhuǎn)動(dòng)慣量、彈性系數(shù)和阻尼等概念，把分析計(jì)算分解為水平和垂直兩個(gè)獨(dú)立的方向，通過這種簡(jiǎn)化，系統(tǒng)可以進(jìn)行實(shí)時(shí)模擬，為了達(dá)到實(shí)時(shí)的效果，在一定假設(shè)條件下化簡(jiǎn)模型和運(yùn)動(dòng)求解是非常必要的。本文的系統(tǒng)可以綜合運(yùn)用上述幾種方法。角色模型若是基于彈性關(guān)節(jié)的骨架模型，這就是關(guān)節(jié)動(dòng)畫。動(dòng)作姿態(tài)的變換若是由動(dòng)態(tài)方程控制的，交互控制和碰撞檢測(cè)都用到了無(wú)質(zhì)量的彈簧模型，這就是基于物理的動(dòng)畫方法。系統(tǒng)的腳本是姿態(tài)的順序編排，可以把腳本的每一行看作是一個(gè)關(guān)鍵幀，但這里的插值過程是系統(tǒng)根據(jù)物理原理自動(dòng)完成的。其實(shí)用交互控制模型以設(shè)計(jì)姿態(tài)，也可以看作是模型由靜止?fàn)顟B(tài)的變形過程。

4.5系統(tǒng)的模擬實(shí)現(xiàn)

為了論證本文中主要的算法、解決方案的正確性與可行性，本節(jié)簡(jiǎn)化了前面提出的系統(tǒng)并模擬實(shí)現(xiàn)了該系統(tǒng)。該模擬系統(tǒng)的相關(guān)設(shè)計(jì)與顯示結(jié)果如下所述。以Microsoft叭suaiC十+6.0作為開發(fā)環(huán)境，選擇基于對(duì)話框的MFC應(yīng)用程序進(jìn)行模擬。采用MIDI文件模擬現(xiàn)場(chǎng)音樂信號(hào)輸入，即便如此，本節(jié)仍實(shí)時(shí)分析音樂數(shù)據(jù)流，而不是對(duì)輸入的音樂全篇處理后再進(jìn)行分析，并在特定時(shí)間觸發(fā)相應(yīng)事件。只考慮音高特征，忽略速度、力度等特征。只考慮音樂在情感方面的表現(xiàn)力，忽略其對(duì)其它心理感受的表現(xiàn)力。在情感檢測(cè)方面，只考慮本文第二章中提到的基本術(shù)語(yǔ)的情感色彩，對(duì)單個(gè)的音程、和弦不予考慮。采用圖片集模擬角色的腳本動(dòng)畫庫(kù)。

4.5.1數(shù)據(jù)結(jié)構(gòu)

音高事件(即音符)主要包括音高、起音、落音、時(shí)值、力度等信息，因此自

(1)調(diào)性確定算法

基于本文第三章提出的螺旋模型和調(diào)性確定算法進(jìn)行實(shí)現(xiàn)，在音高事件的個(gè)數(shù)到達(dá)預(yù)定義的數(shù)目時(shí)調(diào)用該調(diào)性確定函數(shù)，其偽代碼如圖4一6。初始化音效中心poiniCE為原點(diǎn);初始化當(dāng)前總Tick數(shù)nTicksum為0;

(2)情感匹配算法

在情感匹配之前，需要預(yù)定義一些情感術(shù)語(yǔ)，本模擬系統(tǒng)參考本文第二章中的情感術(shù)語(yǔ)如圖4一7。與死相聯(lián)系著的絕望的情感，白外返回的痛苦情感，即對(duì)悲哀的接受或屈服、消極的忍受或與死亡相聯(lián)系的絕望圖4一7情感匹配術(shù)語(yǔ)然后再對(duì)音樂的實(shí)時(shí)旋律進(jìn)行情感匹配，以小調(diào)為例，其偽代碼如圖4一8。試確定的調(diào)性的調(diào)式為小調(diào))道

4.5.3模擬結(jié)果

運(yùn)行后的模擬界面如圖4一9(a)?！氨O(jiān)聽”用來(lái)打開MIDI文件，模擬角色對(duì)現(xiàn)場(chǎng)音樂信號(hào)輸入的監(jiān)聽，當(dāng)演奏的音符數(shù)超過預(yù)定義的個(gè)數(shù)16時(shí)，點(diǎn)擊角色所在的圖形區(qū)域，程序以消息框的形式提示當(dāng)前音樂采用調(diào)性確定算法得到的調(diào)性，如圖4一9(b)。通過實(shí)驗(yàn)，該模擬程序?qū)Ω饕魳返那?6個(gè)音符確定的調(diào)性如下:巴赫的《C大調(diào)賦格曲》，C大調(diào);巴赫的《E小調(diào)賦格曲》，E小調(diào);巴赫的《G小調(diào)賦格曲》，G小調(diào);貝多芬的《熱情奏鳴曲》，G小調(diào);德彪西的《月光》，Db大調(diào);李斯特的《圣誕之歌》，F(xiàn)大調(diào);肖邦的《雨滴》，Db大調(diào)。通過本模擬程序，進(jìn)一步驗(yàn)證了螺旋模型和調(diào)性確定算法的正確性。

圖4一9模擬界面及調(diào)性確定

確定了該首音樂的調(diào)性之后，系統(tǒng)就開始對(duì)音符序列進(jìn)行情感匹配，并實(shí)時(shí)更新各情感驅(qū)動(dòng)的級(jí)別值，當(dāng)某情感驅(qū)動(dòng)的級(jí)別值到達(dá)它的閩值時(shí)就觸發(fā)相應(yīng)的動(dòng)作。如圖4-10(a)，貝多芬的《熱情奏鳴曲》是在法國(guó)大革命時(shí)期英雄主義思想的啟示下創(chuàng)作的，其中那明晰生動(dòng)的節(jié)奏，那熱情奔放的旋律，那星馳電擊的電流，無(wú)不深刻地體現(xiàn)了“人類的良知”，充分顯示了在戰(zhàn)斗洗禮中的英雄們那悲壯激烈、堅(jiān)貞不屈的崇高精神。又如圖4一10偽)，李斯特在他的作品《圣誕之歌》中，極力表現(xiàn)一種天使和孩子們的天真、純潔和純粹的幸福。圖4一10模擬系統(tǒng)的情感表現(xiàn)

4.6本章小結(jié)

本章首先簡(jiǎn)述了現(xiàn)有的音樂可視化系統(tǒng)的實(shí)現(xiàn)技術(shù)，指出其相關(guān)的應(yīng)用領(lǐng)域。然后著重闡述了本文擬采用的音樂可視化系統(tǒng)的解決方案，提出了系統(tǒng)處理流程，并對(duì)各個(gè)環(huán)節(jié)如音樂感知過濾層、角色及場(chǎng)景認(rèn)知層、角色及場(chǎng)景表達(dá)層進(jìn)行了比較詳細(xì)的介紹，描述了相關(guān)的實(shí)現(xiàn)原理及處理方法。由于麥克風(fēng)輸入的歌聲數(shù)據(jù)量很大，所以本文提出的系統(tǒng)只對(duì)這些數(shù)據(jù)提取一些主要的音樂特征如音高、振幅等，從而滿足實(shí)時(shí)性的要求。對(duì)于電子琴輸入的和音信息，系統(tǒng)也只對(duì)其中特定的信息感興趣，那就是與角色動(dòng)作相關(guān)的情感信息。實(shí)現(xiàn)了模擬系統(tǒng)，進(jìn)一步論證了螺旋模型和調(diào)性確定算法的正確性以及系統(tǒng)解決方案的可行性。角色的多樣性、動(dòng)作集、碰撞檢測(cè)、花草山水、風(fēng)雪煙霧、顏色變化等問題，有待進(jìn)一步研究。

第五章結(jié)論

現(xiàn)代社會(huì)，隨著工作節(jié)奏的加快和工作壓力的增加，人們愈加需要休閑和娛樂。信息技術(shù)的娛樂應(yīng)用也就成為計(jì)算機(jī)應(yīng)用的一個(gè)重要發(fā)展方向。同時(shí)，隨著計(jì)算機(jī)技術(shù)的發(fā)展，音樂可視化日益得到研究機(jī)構(gòu)和公司的重視，出現(xiàn)了各種音樂可視化系統(tǒng)。音樂可視化有著廣泛的應(yīng)用:音樂分析、信息檢索、表演分析、音樂教學(xué)、音樂認(rèn)知、情感表達(dá)、游戲娛樂。

5.1工作總結(jié)

本文通過對(duì)基于情感識(shí)別的實(shí)時(shí)交互式音樂可視化研究的初步探討，工作總結(jié)如下:

(l)研究了國(guó)內(nèi)外現(xiàn)有的音樂可視化系統(tǒng)。詳細(xì)地論述了音樂可視化的相關(guān)內(nèi)容，重點(diǎn)介紹了音樂可視化的研究?jī)?nèi)容、研究進(jìn)展。

(2)總結(jié)和分析了音樂情感方面的研究。圍繞音樂到底是一種怎樣的藝術(shù)、表現(xiàn)了一種什么樣的世界、能否表達(dá)情感以及如何表達(dá)情感等問題進(jìn)行描述，對(duì)音樂的心理學(xué)也作了簡(jiǎn)單介紹。

(3)提出了螺旋模型及調(diào)性確定算法。提出了一種螺旋模型，在此基礎(chǔ)上提出調(diào)性確定算法，并通過理論及實(shí)例論證了模型和算法的正確性和實(shí)用性。(4)提出了系統(tǒng)設(shè)計(jì)方案及實(shí)現(xiàn)了模擬系統(tǒng)。闡述了本文的系統(tǒng)采用的解決方案，描述了系統(tǒng)流程及處理機(jī)制，并實(shí)現(xiàn)了一個(gè)系統(tǒng)簡(jiǎn)化版本的模擬系統(tǒng)，有著較好的效果。

5.2研究展望

(l)音樂特征的提取

音樂中有各種各樣的特征，如頻率、振幅、音色、音調(diào)、音高、音長(zhǎng)、和弦、速度、響度、節(jié)拍及近來(lái)提出的一些新的特征，如能量、過零率、頻譜矩、頻譜流、帶寬、帶周期、噪音幀率等。音樂中有如此多的特征，對(duì)每種特征都進(jìn)行提取是很耗費(fèi)時(shí)間的，也是很不現(xiàn)實(shí)和沒有必要的。因此，應(yīng)該根據(jù)音樂可視化的應(yīng)用方面的要求，提取出音樂中的那些必要的特征，忽略或者去除那些不必要的特征，從而縮短程序運(yùn)行時(shí)間，達(dá)到實(shí)時(shí)性等方面的要求。在交互式的音樂可視化系統(tǒng)中，對(duì)于不同輸入設(shè)備(如麥克風(fēng)和MIDI輸入設(shè)備)得到的數(shù)據(jù)，對(duì)其特征提取的方法也應(yīng)該是不一樣的。此外，音樂的風(fēng)格也是多樣化的，最大的分類是嚴(yán)肅音樂和流行音樂，而流行音樂下有鄉(xiāng)村音樂、民謠、爵士樂、搖滾樂、流行美聲等分類，如果能在對(duì)音樂的特征提取過程中得到音樂的分類，然后采用不同的可視化風(fēng)格來(lái)反映這些不同的音樂風(fēng)格，效果一定會(huì)更好一些。因此，在特征提取過程中得到音樂風(fēng)格的特征，是音樂可視化進(jìn)丫步的追求目標(biāo)。

(2)對(duì)音樂的情感檢測(cè)與情感表達(dá)

音樂既是一種娛樂方式，也是抒發(fā)作曲者和歌手情感的手段。情感因素是音樂中的一個(gè)重要的特征，在音樂可視化研究中越來(lái)越受到重視。因此，必須建立一個(gè)完善的情感檢測(cè)以及情感表達(dá)機(jī)制。這種情感檢測(cè)機(jī)制應(yīng)當(dāng)是綜合性的，包括對(duì)音樂風(fēng)格的分析、對(duì)音樂與情感關(guān)系的準(zhǔn)確刻畫、聯(lián)覺中的各音樂特征與情感的對(duì)應(yīng)。情感表達(dá)機(jī)制還應(yīng)擴(kuò)充表達(dá)情感的角色的動(dòng)作集，盡可能準(zhǔn)確地表達(dá)出盡可能多的情感。

(3)以用戶為中心的系統(tǒng)設(shè)計(jì)

應(yīng)用系統(tǒng)的設(shè)計(jì)應(yīng)該以用戶為中心，也就是說要有靈活的圖形用戶界面(GuD，實(shí)時(shí)性地反應(yīng)用戶的操作，用戶的操作和輸入的方式要盡可能地簡(jiǎn)單，而輸出的結(jié)果要盡可能完美，等等。這就要做好用戶需求調(diào)查和分析。在設(shè)計(jì)音樂可視化系統(tǒng)之前，必須要對(duì)用戶的需求進(jìn)行調(diào)查和分析，以此來(lái)確定系統(tǒng)的用戶類型和應(yīng)用類型，如教育方面的音樂教師和學(xué)生，商業(yè)娛樂方面的大眾人群等，從而設(shè)計(jì)相應(yīng)的可視化系統(tǒng)。

(4)場(chǎng)景對(duì)象和動(dòng)作建模

WindowsMediaPlayer中的可視化效果是音樂可視化的雛形，并為音樂可視化提供了一個(gè)有用的參照。但是它的可視化效果過于簡(jiǎn)單和單調(diào)，使得用戶感覺到這些可視化模式與所播放的音樂之間并沒有什么關(guān)系，只是有一些微小的變化重復(fù)出現(xiàn)而己。這種面向大眾的音樂可視化的娛樂應(yīng)用，應(yīng)該要另辟蹊徑，采用場(chǎng)景以及角色對(duì)象來(lái)實(shí)現(xiàn)，角色對(duì)象可以是各種擬人化的動(dòng)物、花草樹木、自定義的動(dòng)畫角色甚至人本身，而場(chǎng)景對(duì)象可以是山河湖泊、花草樹木等。為了避免角色的動(dòng)作種類太少或者場(chǎng)景對(duì)象的種類太少而產(chǎn)生的單調(diào)性，以及表達(dá)音樂中各種復(fù)雜的情感因素，就必須盡量擴(kuò)充角色的動(dòng)作集，增加場(chǎng)景對(duì)象的種類。

(5)虛擬現(xiàn)實(shí)技術(shù)的硬件和軟件支持

音樂可視化要有好的沉浸感，就要用到虛擬現(xiàn)實(shí)技術(shù)。這就需要解決相關(guān)的硬件設(shè)備和軟件技術(shù)方面的支持問題。硬件設(shè)備方面，三維立體聲設(shè)備、大屏幕主要有洞穴狀、圓柱型或者由矩形塊拼接成的大屏幕)投影設(shè)備等是必不可少的。大屏幕的立體顯示、實(shí)體大小的虛擬角色以及用戶輸入接口的最自然的方法都可以幫助減少現(xiàn)實(shí)和虛擬的距離，讓用戶體驗(yàn)與虛擬角色之間的真正的交互過程，從而產(chǎn)生強(qiáng)制性的沉浸感。軟件技術(shù)方面，如碰撞檢測(cè)算法，以此來(lái)確保虛擬角色的行走路徑和活動(dòng)范圍的合理性;豐富的特效，如模擬火焰、水流、煙霧、雨雪等，光照、陰影等，花草樹木隨風(fēng)擺動(dòng)、實(shí)時(shí)水波等;觸發(fā)機(jī)制和動(dòng)作定義，由特定的音樂特征觸發(fā)角色相應(yīng)的動(dòng)作，通過給定的幾個(gè)參數(shù)就可以實(shí)現(xiàn)各種動(dòng)作等。

(6)機(jī)群并行處理問題

由于視覺效果是對(duì)音樂播放的補(bǔ)充，因此，不能由于處理可視化效果而占用了大量的CPU處理時(shí)間而使得音樂本身播放的不連續(xù)或者可視化效果的不連續(xù)因此，一個(gè)效果好的音樂可視化系統(tǒng)需要性能優(yōu)化的算法以及高性能的計(jì)算機(jī)(也包括高性能的顯卡和聲卡)等方面的支持。如果要實(shí)現(xiàn)的算法和功能足夠復(fù)雜，如三維的虛擬現(xiàn)實(shí)技術(shù)，則需要將多臺(tái)計(jì)算機(jī)組成一個(gè)網(wǎng)絡(luò)，進(jìn)行機(jī)群并行處理操作，由不同的計(jì)算機(jī)處理不同的功能，在盡量短的時(shí)間內(nèi)實(shí)現(xiàn)總體功能。

致謝

光陰似箭，回顧碩士研究生三年，首先要感謝我敬愛的導(dǎo)師黃東軍教授。在本論文完成的過程中，導(dǎo)師注入了極大的心血，給予了悉心的指導(dǎo)，導(dǎo)師的及時(shí)指點(diǎn)和幫助使我不致迷失方向，并在老師的指導(dǎo)下得到研究動(dòng)力和靈感。導(dǎo)師不僅教授給我研究方法，還對(duì)我的生活悉心照顧，讓我更加明白人間有情，更加端正學(xué)習(xí)態(tài)度、熱愛生活。導(dǎo)師嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度、孜孜不倦的進(jìn)取精神給我留下了深刻的印象。上研以來(lái)，由于家里的一些原因，我一度處于人生的低谷，是導(dǎo)師，給予我很大的關(guān)心，時(shí)刻牽掛著我的生活、學(xué)習(xí)情況，讓我真真切切地感受到了老師那種長(zhǎng)輩對(duì)晚輩無(wú)微不至的關(guān)懷和悉心的培養(yǎng)。我在學(xué)業(yè)上的點(diǎn)滴進(jìn)步都飽含了導(dǎo)師的心血。感謝信息科學(xué)與工學(xué)院的全體老師，特別是陳松喬教授、徐德智教授、王國(guó)軍教授和沙莎教授在我撰寫論文過程中提出的寶貴意見和無(wú)私幫助。感謝楊珊、童卡娜、李晶晶、陳濤、文展等同門與我一起走過碩士研究生階段的美好時(shí)光。感謝吳俠、賀建新、周偉、胡周軍、陳斌華等好友在學(xué)習(xí)和生活上的每一份無(wú)私的幫助。最后還要感謝我的母親，母愛深深，每一份感動(dòng)都化為我學(xué)習(xí)中的動(dòng)力。感謝我的妹妹，一直以來(lái)她都給我極大的鼓勵(lì)和支持。感謝屈文波、屈黎明、屈苗等摯友，給我生命中注入樂趣與活力。特別感謝我的朋友王煥云，她給我的關(guān)心和督促，使我能全心全意的投入到研究工作中去，不曾懈怠，順利的完成我的學(xué)業(yè)，并在我求職時(shí)給我加油打氣。在此，我謹(jǐn)向所有關(guān)心和幫助我的人表示最衷心的感謝!