Kuinka VR-kuuloke toistaa 8K RTSP:tä alhaisella latenssilla|RTMP-suoratoisto

Kuinka VR-kuulokkeet toistavat 8K RTSP|RTMP-striimiä alhaisella viiveellä?

2024-07-12

tekninen tausta

Kun teimme RTSP- ja RTMP-soittimia Unity-alustalle, jotkut yritykset asettivat tällaisia teknisiä vaatimuksia toivoen voivansa toistaa panoraamalähetyksiä 8K RTSP|RTMP:llä ja 8K-dataa kuulokkeilla, mikä ehdotti uusia ideoita kuulokkeille ja soittimelle vaatimukset, keskustelemme siitä, kuinka VR-päähän kiinnitetyt laitteet toistavat 8K RTSP|RTMP-suoratoistodataa useista näkökohdista:

1. Pelaajien tuki

yhteensopivuus : Ensinnäkin RTSP|RTMP-soittimen on tuettava 8K-resoluution videoiden suoratoistoa. Tämä tarkoittaa, että soittimen on kyettävä purkamaan 8K-videota ja toistamaan sitä 8K-resoluutiota tukevalla näyttölaitteella. Sanomattakin on selvää, että tuemme tätä jo.
dekoodauskyky : Soittimella on oltava tehokkaat dekoodausominaisuudet, jotta se pystyy käsittelemään 8K-videovirran suurta datamäärää. Tämä edellyttää yleensä, että soitin käyttää tehokkaita dekoodausalgoritmeja ja hyödyntää täysimääräisesti laitteistokiihdytystoimintoja (kuten GPU-kiihdytystä), mikä edellyttää, että kuulokkeet tukevat 8K kovaa dekoodausta.

2. Verkkovaatimukset

kaistanleveys : 8K-videon suoratoisto vaatii erittäin suuren verkon kaistanleveyden tukeakseen reaaliaikaista lähetystä. Varmista, että verkon kaistanleveys on riittävän suuri, jotta vältetään ongelmat, kuten viive, viive tai puskurointi toiston aikana. Jos kyseessä on intranet-ympäristö, älä periaatteessa ole huolissasi kaistanleveysongelmista.
vakautta : Verkkoyhteyden vakaus on myös erittäin tärkeää. Epävakaa verkkoyhteys voi aiheuttaa videon suoratoiston keskeytyksen tai laadun heikkenemisen.

3. Laitteistovaatimukset

Prosessori ja muisti: VR-kuulokkeet toistavat 8K-videostriimiä, jotka asettavat erittäin korkeat vaatimukset VR-kuulokkeiden suorituskyvylle. Esimerkiksi quest3 on hyvä valinta.

4. Toistovaiheet

Valitse RTSP-soitin: Lähestymistapamme on käyttää Daniu Live SDK:n alkuperäistä RTSP|RTMP-soitinta kovassa dekoodaustilassa dekoodatun YUV- tai RGB-datan takaisinkutsumiseen. On huomattava, että 8K RTSP|RTMP-virran vuoksi datamäärä Erittäin suuria, erityisesti dekoodattuja tietoja, kopioita on tarpeen vähentää mahdollisimman vähän, jos olosuhteet sen sallivat.

Tekninen toteutus

Tässä artikkelissa käytetään esimerkkinä Daniu Live SDK:n Android-alustan Unity3D RTSP|RTMP-toistomoduulia:

Aloita pelaaminen:


/*
 * SmartPlayerAndroidMono.cs
 * Author: daniusdk.com
 * QQ：89030985
 */
public void Play()
{
	if (is_running)
	{
		Debug.Log("已经在播放。。");   
		return;
	}
 
	//获取输入框的url
	string url = input_url_.text.Trim();
 
	if (!url.StartsWith("rtmp://") && !url.StartsWith("rtsp://"))
	{
		videoUrl = "rtsp://admin:[email protected]:554/h264/ch1/main/av_stream";
	}
	else
	{
		videoUrl = url;
	}
 
	OpenPlayer();
 
	if ( player_handle_ == 0 )
		return;
 
	NT_U3D_Set_Game_Object(player_handle_, game_object_);
 
	/* ++ 播放前参数配置可加在此处 ++ */
	int is_using_tcp = 0;        //TCP/UDP模式设置
	NT_U3D_SetRTSPTcpMode(player_handle_, is_using_tcp);
 
	int is_report = 0;
	int report_interval = 1;
	NT_U3D_SetReportDownloadSpeed(player_handle_, is_report, report_interval);  //下载速度回调
 
	NT_U3D_SetBuffer(player_handle_, play_buffer_time_);                        //设置buffer time
 
	NT_U3D_SetPlayerLowLatencyMode(player_handle_, is_low_latency_ ? 1 : 0);    //设置是否启用低延迟模式
 
	NT_U3D_SetMute(player_handle_, is_mute_ ? 1 : 0);                           //是否启动播放的时候静音
 
	NT_U3D_SetAudioVolume(player_handle_, cur_audio_volume_);                   //设置播放音量
 
	NT_U3D_SetVideoDecoderMode(player_handle_, is_hw_decode_ ? 1 : 0);          //设置H.264软硬解模式
 
	NT_U3D_SetVideoHevcDecoderMode(player_handle_, is_hw_decode_ ? 1 : 0);          //设置H.265软硬解模式
 
	int is_output = 1;
	int disable_use_image_planes = 0;
	bool is_supports_texture_format = SystemInfo.SupportsTextureFormat(TextureFormat.RG16);
	Debug.Log("is_supports_texture_format: " + is_supports_texture_format);
	int is_supported_multiple_format = is_supports_texture_format? 1:0;
	int max_images = 3;
	int buffer_pool_max_size = 0;
	NT_U3D_SetImageReaderOutput(player_handle_, is_output, disable_use_image_planes, is_supported_multiple_format, max_images, buffer_pool_max_size);  //硬解码image reader
 
	int is_fast_startup = 1;
	NT_U3D_SetFastStartup(player_handle_, is_fast_startup);                     //设置快速启动模式
 
	int rtsp_timeout = 10;
	NT_U3D_SetRTSPTimeout(player_handle_, rtsp_timeout);                        //设置RTSP超时时间
 
	int is_auto_switch_tcp_udp = 1;
	NT_U3D_SetRTSPAutoSwitchTcpUdp(player_handle_, is_auto_switch_tcp_udp);    //设置TCP/UDP模式自动切换
 
	int is_audiotrack = 1;
	NT_U3D_SetAudioOutputType(player_handle_, is_audiotrack);                   //设置音频输出模式: if 0: 自动选择; if with 1: audiotrack模式
 
	NT_U3D_SetUrl(player_handle_, videoUrl);
	/* -- 播放前参数配置可加在此处 -- */
 
	int flag = NT_U3D_StartPlay(player_handle_);
 
	if (flag  == DANIULIVE_RETURN_OK)
	{
		is_need_get_frame_ = true;
		Debug.Log("播放成功");
	}
	else
	{
		is_need_get_frame_ = false;
		Debug.LogError("播放失败");
	}
 
	is_running = true;  
}

Vastaava OpenPlayer()-toteutus on seuraava:


private void OpenPlayer()
{
	if ( java_obj_cur_activity_ == null )
	{
		Debug.LogError("getApplicationContext is null");
		return;
	}
 
	player_handle_ = NT_U3D_Open();
 
	if (player_handle_ != 0)
		Debug.Log("open success");
	else
		Debug.LogError("open fail");
}

Sulje soitin:


private void ClosePlayer()
{
	is_need_get_frame_ = false;
	is_need_init_texture_ = false;
 
	int flag = NT_U3D_StopPlay(player_handle_);
	if (flag == DANIULIVE_RETURN_OK)
	{
		Debug.Log("停止成功");
	}
	else
	{
		Debug.LogError("停止失败");
	}
 
	flag = NT_U3D_Close(player_handle_);
	if (flag == DANIULIVE_RETURN_OK)
	{
		Debug.Log("关闭成功");
	}
	else
	{
		Debug.LogError("关闭失败");
	}
 
	player_handle_ = 0;
 
	NT_U3D_UnInit();
 
	is_running = false;
	video_format_ = VideoFrame.FORMAT_UNKNOWN;
	video_width_ = 0;
	video_height_ = 0;
}

Päivitä päivitystiedot:


private void Update()
{
	if (!is_need_get_frame_)
		return;
 
	if (player_handle_ == 0)
		return;
 
	AndroidJavaObject u3d_video_frame_obj = NT_U3D_GetVideoFrame(player_handle_);
 
	if (u3d_video_frame_obj == null)
	{
		return;
	}
 
	VideoFrame converted_video_frame = ConvertToVideoFrame(u3d_video_frame_obj);
 
	if (converted_video_frame == null)
	{
		u3d_video_frame_obj.Call("release");
 
	   u3d_video_frame_obj = null;
	   return;
	}
 
	if (!is_need_init_texture_)
	{
		if (converted_video_frame.format_ != video_format_)
		{
			is_need_init_texture_ = true;
 
		}
		else if (converted_video_frame.width_ != video_width_
			|| converted_video_frame.height_ != video_height_
			|| converted_video_frame.stride0_ != y_row_bytes_
			|| converted_video_frame.stride1_ != u_row_bytes_
			|| converted_video_frame.stride2_ != v_row_bytes_)
		{
			is_need_init_texture_ = true;
		}
	}
 
	if (is_need_init_texture_)
	{
		if (InitYUVTexture(converted_video_frame))
		{
			is_need_init_texture_ = false;
		}
	}
 
	UpdateYUVTexture(converted_video_frame);
 
	converted_video_frame.java_frame_obj_ = null;
	converted_video_frame = null;
	u3d_video_frame_obj.Call("release");
	u3d_video_frame_obj = null;
}

Tee yhteenveto

Jos VR-kuulokkeiden on toistettava 8K RTSP- tai RTSP-striimiä, niillä on erittäin korkeat vaatimukset laitteistolle ja verkolle, joten se voi kohdata joitain haasteita käytännön sovelluksissa. Varsinaisen testauksen ansiosta quest3-kuulokkeet yhdessä RTSP|RTMP-soittimemme kanssa voivat saavuttaa millisekunnin tason viiveen 8K-videodatan toistossa Unityssa vastatakseen käyttöskenaarioihin, joissa on erittäin korkeat reaaliaikaiset vaatimukset, kuten tasapainon hallinta kanssani erikseen.

Teknologian jakaminen