疫情改變消費型態，元宇宙演唱會、虛擬演唱會成新潮流

舉辦元宇宙演唱會、虛擬演唱會需要哪些關鍵技術？ 

不同於過往的實體演唱會，虛擬演唱會從舞台場景布置、視覺畫面設計、歌手互動安排，到網路連線環境的架設都需要重新規劃。尤其在 VR 演唱會中，如何將演出現場高畫質的畫面不失真、不卡頓的傳輸到觀眾的 VR 眼鏡中，就是虛擬演唱會首要需解決的關鍵技術之一。  

緯謙科技多年來以雲端、AI、大數據一站式服務協助客戶解決數位轉型多階段的挑戰，這次在國發會智慧城鄉物聯網創新應用補助計畫下，與桃園市政府合作於桃園展演中心試辦「5G 智慧展演 VR 360 度虛擬演唱會」，聯手多家廠商整合以下 5 項關鍵技術，  

• VR 軟硬體整合：針對 VR 眼鏡硬體設備，開發 VR 影音平台，透過軟體開發在視覺上堆疊 AR 特效，同時結合 AI 情緒感應分析，打造沉浸式的視聽感受。
• AI 互動應用：透過 VR 裝置上的感測器，結合 AI 語音、情緒辨識，將觀眾大笑、拍手等行為，以 Speech to Text 的方式即時傳送資訊給異地的表演者，讓表演者能得知觀眾的反應，達成互動的效果。
• 5G 通訊技術：高畫質影音、AI 情緒感測互動、多人欣賞直播，皆需要借重 5G 大寬頻、低延遲、多連結之特性，才得以讓觀眾和表演者之間的網路連接穩定且流暢，展現身歷其境的感受。
• 360 度環景拍攝：為使觀眾能感受沉浸式氛圍，在演唱會的拍攝上採用 360 度環景攝影，提供觀眾如臨現場、自由切換視角的體驗。
• 演唱會企劃：除上述技術之外，不同於過往實體演唱會的規劃，舞台呈現的設計、藝人演出形式的溝通，包含拍攝腳本、燈光設計、走位安排都需要提前與藝人及導演溝通討論。

動力火車、壞特 ?te VR 演唱會首唱！AI 互動即時掌握觀眾感受 

這場在桃園試辦的 VR 360 度虛擬演唱會實際上如何進行？緯謙團隊邀請兩組金曲獎歌手動力火車與壞特 ?te，在現場無台下觀眾的環境中演出，利用多台攝影機及360 度環景攝影進行拍攝。

同一時間，觀眾則在遠端異地戴上 VR 眼鏡觀賞表演，影像畫面中除了藝人即時的歌曲演出，透過 AR 特效的疊加，更讓觀眾感受到元宇宙虛擬世界的視覺體驗。


(圖左)歌手動力火車與壞特，面對 360 度環景攝影表演。(圖右)緯謙團隊在表演畫面上疊加 AR 特效，讓遠端戴 VR  觀賞觀眾感受沉浸式氛圍。

此外，「AI 互動應用」更是此次演唱會的一大亮點，緯謙團隊將過往觀眾在聽演唱會時會有拍手、大笑的反應轉換到虛擬演唱會上，當 VR 眼鏡上的 AI 感測器偵測到拍手、大笑的語音行為，就會直接以 emoji 的方式呈現在動力火車、壞特 ?te 舞台前的 Dashboard ，讓他們能即時掌握觀眾的情緒，給予相對應的回饋。