及3G終端開(kāi)發(fā)需要的幾個(gè)主要內(nèi)容如下：
（1）音視頻捕捉與編碼
通過(guò)終端的音視頻捕捉設(shè)備，把音視頻模擬數(shù)據(jù)轉(zhuǎn)換成數(shù)字信號(hào)，不管是PC還是3G手機(jī)通過(guò)捕捉設(shè)備捕捉的聲音和圖像的數(shù)字信號(hào)，其冗余性都非常大，為了減少網(wǎng)絡(luò)傳輸?shù)膸挘粢曨l都需要經(jīng)過(guò)壓縮編碼，去除其冗余的數(shù)據(jù)，然后在網(wǎng)絡(luò)上傳輸經(jīng)過(guò)壓縮的數(shù)據(jù)，最后在播放或顯示之前進(jìn)行解碼，把原始的數(shù)據(jù)進(jìn)行還原。
（2）MCU服務(wù)器架構(gòu)
采用類似于軟交換的設(shè)計(jì)模式，MCU相當(dāng)于一個(gè)用軟件實(shí)現(xiàn)的交換機(jī)，通過(guò)該設(shè)計(jì)模式，服務(wù)器能支持大量實(shí)時(shí)并發(fā)的音視頻數(shù)據(jù)、控制信令等數(shù)據(jù)。
（3）實(shí)時(shí)數(shù)據(jù)傳輸技術(shù)
在無(wú)QOS保障的3G網(wǎng)絡(luò)中，通過(guò)對(duì)數(shù)據(jù)進(jìn)行校驗(yàn)與丟包恢復(fù)，能保證在30%丟包情況下音頻和圖像連續(xù)，實(shí)現(xiàn)了數(shù)據(jù)實(shí)時(shí)性與可靠性之間的平衡點(diǎn)，滿足無(wú)線和3G網(wǎng)絡(luò)的實(shí)時(shí)交互式視頻會(huì)議傳輸?shù)囊蟆?/span>
（4）數(shù)據(jù)融合和處理技術(shù)
系統(tǒng)主要包括MCU（多點(diǎn)控制單元）服務(wù)器和終端。終端包括：一般的PC終端（通過(guò)IP網(wǎng)絡(luò)連接互聯(lián)網(wǎng)）、硬件視頻會(huì)議終端（或SIP協(xié)議的終端）、3G手機(jī)與平板電腦終端（通過(guò)3G網(wǎng)連接）等設(shè)備。由于不同的終端采用不同的網(wǎng)絡(luò)接入方式，因此為了使各種終端能互聯(lián)互通，接入系統(tǒng)的終端都需遵循統(tǒng)一的會(huì)議通信協(xié)議（H.323協(xié)議或SIP協(xié)議等）。系統(tǒng)首先通過(guò)多媒體碼流提取連接終端的協(xié)議信息，然后對(duì)所屬的協(xié)議進(jìn)行登記和判斷，接著通過(guò)協(xié)議棧模塊把該協(xié)議相關(guān)信息發(fā)送到協(xié)議編進(jìn)行解碼和編碼，從而進(jìn)行相應(yīng)的數(shù)據(jù)交換，最后通過(guò)多媒體碼流輸入輸出模塊發(fā)送多媒體碼流給連接的終端，從而達(dá)到不同的終端、不同的協(xié)議、不同的網(wǎng)絡(luò)的數(shù)據(jù)高度融合和無(wú)縫連接。
（5）“多流合一”技術(shù)
“多流合一“技術(shù)：系統(tǒng)通過(guò)多信道的異步時(shí)分多路復(fù)用技術(shù)，在同一通道內(nèi)傳輸雙向的多個(gè)以數(shù)據(jù)幀為單位的數(shù)據(jù)流，不僅能實(shí)時(shí)傳輸雙向的音視頻、屏幕共享、電子白板、文檔共享、影片共享等數(shù)據(jù)流，還能節(jié)省多通道傳輸控制信令所帶來(lái)的額外帶寬。
（6）音視頻同步技術(shù)
利用RTP協(xié)議，對(duì)音視頻數(shù)據(jù)進(jìn)行時(shí)間戳處理，音視頻播放的時(shí)候，對(duì)比相應(yīng)的時(shí)間戳，從而解決網(wǎng)絡(luò)的音視頻數(shù)據(jù)同步播放。
（7）跨平臺(tái)音視頻處理技術(shù)
PC和3G手機(jī)及平板電腦由于硬件和操作系統(tǒng)的都有所不同，須建立一個(gè)統(tǒng)一的音視頻編碼以及顯示播放等相關(guān)的接口，才能使不同的平臺(tái)的音視頻能互聯(lián)互通。我們?yōu)檫@個(gè)統(tǒng)一的接口建立相應(yīng)的處理單元，處理單元里面包括不同的服務(wù)接口，通過(guò)該接口能調(diào)用不同的平臺(tái)的進(jìn)行相關(guān)操作，從而使PC和3G手機(jī)以及平板電腦的音視頻能互聯(lián)互通。
（8）語(yǔ)音處理技術(shù)
通過(guò)實(shí)時(shí)網(wǎng)絡(luò)帶寬檢測(cè)算法和音頻抗抖動(dòng)技術(shù)，保證語(yǔ)音在極低的網(wǎng)絡(luò)狀態(tài)下依然流暢清晰。對(duì)不同的音頻流在某節(jié)點(diǎn)處通過(guò)線性疊加的方法混合成一個(gè)音頻流外，還進(jìn)行自動(dòng)檢測(cè)和自動(dòng)增益控制，實(shí)現(xiàn)智能混音。
（9）基于3G手機(jī)終端的架構(gòu)
3G手機(jī)終端劃分為四個(gè)層次，分別是用戶界面層、業(yè)務(wù)層、復(fù)用層、通信層。用戶界面層實(shí)現(xiàn)跨平臺(tái)顯示，業(yè)務(wù)層實(shí)現(xiàn)系統(tǒng)的功能業(yè)務(wù)，其中包括會(huì)議功能、數(shù)據(jù)功能、管理功能等功能。復(fù)用層主要是解決系統(tǒng)的多個(gè)功能模塊的數(shù)據(jù)時(shí)分復(fù)用通信通道的問(wèn)題。通信層主要是對(duì)3G數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行數(shù)據(jù)融合，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)可靠的傳輸。通過(guò)對(duì)終端劃分不同的層次的開(kāi)發(fā)，兼顧了執(zhí)行效率和對(duì)不同平臺(tái)的兼容性的支持。
（10）3G手機(jī)硬編碼。
軟解碼是通過(guò)軟件讓CPU來(lái)對(duì)視頻進(jìn)行解碼處理;而硬解碼是指不借助于CPU，而通過(guò)專用的子卡設(shè)備來(lái)獨(dú)立完成視頻解碼任務(wù)。硬解碼相對(duì)軟解碼，不占用CPU，效率更高，因此硬解碼是高清視頻的必要選擇。PC的硬解碼主要是采用第三方的壓縮卡來(lái)實(shí)現(xiàn)，而在3G手機(jī)的顯示芯片一般都已經(jīng)集成硬解碼，因此3G手機(jī)上可以直接通過(guò)操作相應(yīng)的硬件編來(lái)實(shí)現(xiàn)高效的音視頻編解碼。
標(biāo)簽：
網(wǎng)站客服
