Как гарнитура VR воспроизводит 8K RTSP с низкой задержкой|RTMPstreaming

Как гарнитура VR воспроизводит поток 8K RTSP|RTMP с низкой задержкой?

2024-07-12

техническое образование

Когда мы создавали RTSP и RTMP-плееры для платформы Unity, некоторые компании выдвинули такие технические требования, надеясь воспроизводить панорамные прямые трансляции 8K RTSP|RTMP и данные 8K на гарнитуре, что, по словам, предложило новые идеи для гарнитуры и плеера. В соответствии с требованиями мы обсудим, как устройства виртуальной реальности, крепящиеся на голове, воспроизводят потоковые данные 8K RTSP | RTMP с нескольких аспектов:

1. Поддержка игроков

совместимость : Во-первых, плеер RTSP|RTMP должен поддерживать потоковое видео с разрешением 8K. Это означает, что плеер должен иметь возможность декодировать видео 8K и воспроизводить его на устройстве отображения, поддерживающем разрешение 8K. Само собой разумеется, мы уже поддерживаем это.
способность декодирования : Плееру необходимы мощные возможности декодирования, чтобы обрабатывать большие объемы данных в видеопотоке 8K. Обычно это требует от плеера использования эффективных алгоритмов декодирования и полного использования функций аппаратного ускорения (например, ускорения графического процессора), что требует, чтобы гарнитура поддерживала жесткое декодирование 8K.

2. Требования к сети

пропускная способность : для потоковой передачи видео 8K требуется чрезвычайно высокая пропускная способность сети для поддержки передачи в реальном времени. Убедитесь, что пропускная способность сети достаточно велика, чтобы избежать таких проблем, как задержка, задержка или буферизация во время воспроизведения. Если это среда внутренней сети, в принципе, не беспокойтесь о проблемах с пропускной способностью.
стабильность : Также очень важна стабильность сетевого соединения. Нестабильное сетевое соединение может привести к прерыванию потокового видео или ухудшению его качества.

3. Требования к оборудованию

Процессор и память: VR-гарнитуры воспроизводят видеопотоки 8К, что предъявляет очень высокие требования к производительности VR-гарнитур. Например, quest3 — хороший выбор.

4. Этапы воспроизведения

Выберите RTSP-плеер: Наш подход заключается в использовании встроенного проигрывателя RTSP|RTMP из Daniu Live SDK в режиме жесткого декодирования для возврата декодированных данных YUV или RGB к единице. Следует отметить, что из-за потока 8K RTSP|RTMP объем данных уменьшается. Очень большие, особенно декодированные данные, необходимо уменьшать копии как можно меньше, если позволяют условия.

Техническая реализация

В этой статье в качестве примера используется модуль воспроизведения RTSP|RTMP платформы Android Unity3D Daniu Live SDK:

Начните играть:


/*
 * SmartPlayerAndroidMono.cs
 * Author: daniusdk.com
 * QQ：89030985
 */
public void Play()
{
	if (is_running)
	{
		Debug.Log("已经在播放。。");   
		return;
	}
 
	//获取输入框的url
	string url = input_url_.text.Trim();
 
	if (!url.StartsWith("rtmp://") && !url.StartsWith("rtsp://"))
	{
		videoUrl = "rtsp://admin:[email protected]:554/h264/ch1/main/av_stream";
	}
	else
	{
		videoUrl = url;
	}
 
	OpenPlayer();
 
	if ( player_handle_ == 0 )
		return;
 
	NT_U3D_Set_Game_Object(player_handle_, game_object_);
 
	/* ++ 播放前参数配置可加在此处 ++ */
	int is_using_tcp = 0;        //TCP/UDP模式设置
	NT_U3D_SetRTSPTcpMode(player_handle_, is_using_tcp);
 
	int is_report = 0;
	int report_interval = 1;
	NT_U3D_SetReportDownloadSpeed(player_handle_, is_report, report_interval);  //下载速度回调
 
	NT_U3D_SetBuffer(player_handle_, play_buffer_time_);                        //设置buffer time
 
	NT_U3D_SetPlayerLowLatencyMode(player_handle_, is_low_latency_ ? 1 : 0);    //设置是否启用低延迟模式
 
	NT_U3D_SetMute(player_handle_, is_mute_ ? 1 : 0);                           //是否启动播放的时候静音
 
	NT_U3D_SetAudioVolume(player_handle_, cur_audio_volume_);                   //设置播放音量
 
	NT_U3D_SetVideoDecoderMode(player_handle_, is_hw_decode_ ? 1 : 0);          //设置H.264软硬解模式
 
	NT_U3D_SetVideoHevcDecoderMode(player_handle_, is_hw_decode_ ? 1 : 0);          //设置H.265软硬解模式
 
	int is_output = 1;
	int disable_use_image_planes = 0;
	bool is_supports_texture_format = SystemInfo.SupportsTextureFormat(TextureFormat.RG16);
	Debug.Log("is_supports_texture_format: " + is_supports_texture_format);
	int is_supported_multiple_format = is_supports_texture_format? 1:0;
	int max_images = 3;
	int buffer_pool_max_size = 0;
	NT_U3D_SetImageReaderOutput(player_handle_, is_output, disable_use_image_planes, is_supported_multiple_format, max_images, buffer_pool_max_size);  //硬解码image reader
 
	int is_fast_startup = 1;
	NT_U3D_SetFastStartup(player_handle_, is_fast_startup);                     //设置快速启动模式
 
	int rtsp_timeout = 10;
	NT_U3D_SetRTSPTimeout(player_handle_, rtsp_timeout);                        //设置RTSP超时时间
 
	int is_auto_switch_tcp_udp = 1;
	NT_U3D_SetRTSPAutoSwitchTcpUdp(player_handle_, is_auto_switch_tcp_udp);    //设置TCP/UDP模式自动切换
 
	int is_audiotrack = 1;
	NT_U3D_SetAudioOutputType(player_handle_, is_audiotrack);                   //设置音频输出模式: if 0: 自动选择; if with 1: audiotrack模式
 
	NT_U3D_SetUrl(player_handle_, videoUrl);
	/* -- 播放前参数配置可加在此处 -- */
 
	int flag = NT_U3D_StartPlay(player_handle_);
 
	if (flag  == DANIULIVE_RETURN_OK)
	{
		is_need_get_frame_ = true;
		Debug.Log("播放成功");
	}
	else
	{
		is_need_get_frame_ = false;
		Debug.LogError("播放失败");
	}
 
	is_running = true;  
}

Соответствующая реализация OpenPlayer() выглядит следующим образом:


private void OpenPlayer()
{
	if ( java_obj_cur_activity_ == null )
	{
		Debug.LogError("getApplicationContext is null");
		return;
	}
 
	player_handle_ = NT_U3D_Open();
 
	if (player_handle_ != 0)
		Debug.Log("open success");
	else
		Debug.LogError("open fail");
}

Закрыть игрока:


private void ClosePlayer()
{
	is_need_get_frame_ = false;
	is_need_init_texture_ = false;
 
	int flag = NT_U3D_StopPlay(player_handle_);
	if (flag == DANIULIVE_RETURN_OK)
	{
		Debug.Log("停止成功");
	}
	else
	{
		Debug.LogError("停止失败");
	}
 
	flag = NT_U3D_Close(player_handle_);
	if (flag == DANIULIVE_RETURN_OK)
	{
		Debug.Log("关闭成功");
	}
	else
	{
		Debug.LogError("关闭失败");
	}
 
	player_handle_ = 0;
 
	NT_U3D_UnInit();
 
	is_running = false;
	video_format_ = VideoFrame.FORMAT_UNKNOWN;
	video_width_ = 0;
	video_height_ = 0;
}

Обновить данные обновления:


private void Update()
{
	if (!is_need_get_frame_)
		return;
 
	if (player_handle_ == 0)
		return;
 
	AndroidJavaObject u3d_video_frame_obj = NT_U3D_GetVideoFrame(player_handle_);
 
	if (u3d_video_frame_obj == null)
	{
		return;
	}
 
	VideoFrame converted_video_frame = ConvertToVideoFrame(u3d_video_frame_obj);
 
	if (converted_video_frame == null)
	{
		u3d_video_frame_obj.Call("release");
 
	   u3d_video_frame_obj = null;
	   return;
	}
 
	if (!is_need_init_texture_)
	{
		if (converted_video_frame.format_ != video_format_)
		{
			is_need_init_texture_ = true;
 
		}
		else if (converted_video_frame.width_ != video_width_
			|| converted_video_frame.height_ != video_height_
			|| converted_video_frame.stride0_ != y_row_bytes_
			|| converted_video_frame.stride1_ != u_row_bytes_
			|| converted_video_frame.stride2_ != v_row_bytes_)
		{
			is_need_init_texture_ = true;
		}
	}
 
	if (is_need_init_texture_)
	{
		if (InitYUVTexture(converted_video_frame))
		{
			is_need_init_texture_ = false;
		}
	}
 
	UpdateYUVTexture(converted_video_frame);
 
	converted_video_frame.java_frame_obj_ = null;
	converted_video_frame = null;
	u3d_video_frame_obj.Call("release");
	u3d_video_frame_obj = null;
}

Подведем итог

Если гарнитуре VR необходимо воспроизводить потоки 8K RTSP или RTSP, к ней предъявляются очень высокие требования к оборудованию и сети, поэтому в практических приложениях могут возникнуть некоторые проблемы. В результате реальных испытаний гарнитура quest3 в сочетании с нашим RTSP|RTMP-плеером может обеспечить задержку воспроизведения видеоданных 8K в Unity на уровне миллисекунд для удовлетворения сценариев использования с очень высокими требованиями в реальном времени, таких как контроль баланса. Заинтересованные разработчики могут обсудить это. со мной индивидуально.

Обмен технологиями