기술나눔

[Jiandian Atom i.MX93 개발보드 체험판 시리얼 체험] 녹음 및 키워드 인식 통합

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

이 기사는 Electronics Enthusiast Forum에 처음 게시되었습니다.[신규 알림] [Jiandian Atomic i.MX93 개발보드 체험판 시리얼 체험] 딥러닝 기반 음성 로컬 제어 - Punctual Atomic Learning Group - 전자 기술 포럼 - 인기 있는 전자 전문 포럼(elecfans.com)!

다음으로는 녹음과 키워드 인식을 하나의 프로그램으로 통합하고 싶습니다.

Python에서 음성 작업을 수행할 때 가장 먼저 떠오르는 것은 PyAudio입니다. 그러나 보드에 PyAudio를 설치하는 데 약간의 문제가 발생했습니다. Python 웨어하우스에는 이 보드에 해당하는 기성 소프트웨어 패키지가 없습니다. 소프트웨어 패키지를 보드에서 컴파일하고 생성해야 합니다. PyAudio는 PortAudio에 의존하며 PortAudio는 보드에 포팅되지 않았으므로 PyAudio를 사용할 수 없습니다. 당분간은 이 문제를 해결할 방법을 찾아보겠습니다.

 

제가 채택한 임시 방법은 앞서 언급한 오디오 테스트용 쉘 스크립트를 수정하여 1초 동안 음성을 녹음한 후 Python 프로그램을 호출하여 키워드 인식을 하는 것입니다. YES이면 개발에 LED 조명을 켜는 것입니다. 보드가 아니요인 경우 개발 보드의 LED 조명을 끄십시오. 조명을 켜거나 끄면 해당 프롬프트가 재생됩니다. 디버깅을 용이하게 하기 위해 녹음 후 녹음 결과가 자동으로 재생되어 녹음이 올바른지 확인합니다.

  1. #!/bin/bash
  2.  
  3. INIT_FLAG="/home/root/shell/audio/.initialized_audio_device"
  4. RECORD_FILE="test.wav"
  5. PLAY_FILE="/home/root/shell/audio/short.mp3"
  6. RC_LOCAL_FILE="/etc/rc.local"
  7. DELETE_COMMAND="rm -f $INIT_FLAG"
  8.  
  9. # 将开机自动删除音频初始化标志文件命令加入到开机自启中
  10. add_command() {
  11.     if ! grep -qFx "$DELETE_COMMAND" "$RC_LOCAL_FILE"; then
  12.         echo "$DELETE_COMMAND" >> "$RC_LOCAL_FILE"
  13.         sync
  14.     fi
  15. }
  16.    
  17. # 检查命令是否存在
  18. check_command() {
  19.     command -v "$1" > /dev/null 2>&1
  20. }
  21.  
  22. # 初始化音频设备
  23. init_audio_device() {
  24.     amixer cset name='PCM Volume' 192
  25.     amixer cset name='Mono Mux' 'Stereo'
  26.     amixer cset name='Playback De-emphasis' 2
  27.     amixer cset name='Capture Digital Volume' 192
  28.     amixer cset name='Capture Mute' 'on'
  29.     amixer cset name='Capture Polarity' 'Normal'
  30.     amixer cset name='3D Mode' 'No 3D'
  31.     amixer cset name='ALC Capture Attack Time' 5
  32.     amixer cset name='ALC Capture Decay Time' 2
  33.     amixer cset name='ALC Capture Function' 'Stereo'
  34.     amixer cset name='ALC Capture Hold Time' 2
  35.     amixer cset name='ALC Capture Max PGA' 3
  36.     amixer cset name='ALC Capture Min PGA' 6
  37.     amixer cset name='ALC Capture NG Switch' 'on'
  38.     amixer cset name='ALC Capture NG Threshold' 9
  39.     amixer cset name='ALC Capture NG Type' 'Mute ADC Output'
  40.     amixer cset name='ALC Capture Target Volume' 15
  41.     amixer cset name='ALC Capture ZC Switch' 'on'
  42.     amixer cset name='Left Channel Capture Volume' 100%
  43.     amixer cset name='Right Channel Capture Volume' 100%
  44.     amixer cset name='Left Mixer Left Bypass Volume' 100%
  45.     amixer cset name='Right Mixer Right Bypass Volume' 100%
  46.     amixer cset name='Output 1 Playback Volume' 100%
  47.     amixer cset name='Output 2 Playback Volume' 100%
  48.     amixer cset name='ZC Timeout Switch' 'on'
  49.     amixer cset name='Left PGA Mux' 'DifferentialL'
  50.     amixer cset name='Right PGA Mux' 'DifferentialR'
  51.     # touch "$INIT_FLAG"
  52. }
  53.  
  54. # 检查是否已初始化
  55. check_initialized() {
  56.     [ -e "$INIT_FLAG" ]
  57. }
  58.  
  59. function init_board_mic() {
  60.     # 初始化板载麦克风
  61.     check_command amixer && {
  62.         amixer -q cset name='Differential Mux' 'Line 2'
  63.         amixer -q cset name='Left Line Mux' 'Line 2L'
  64.         amixer -q cset name='Right Line Mux' 'Line 2R'
  65.     }
  66. }
  67.  
  68. function init_headphone_mic() {
  69.     # 初始化耳机麦克风
  70.     check_command amixer && {
  71.         amixer cset name='Differential Mux' 'Line 1'
  72.         amixer cset name='Left Line Mux' 'Line 1L'
  73.         amixer cset name='Right Line Mux' 'NC'
  74.     }
  75. }
  76.  
  77. function cleanup() {
  78.     # 清理并退出
  79.     printf "n清理并退出...n"
  80.     stty sane  # 还原终端状态
  81.     exit 0
  82. }
  83.  
  84. function switch_mode() {
  85.     # 录音/播音模式切换
  86.     case $1 in
  87.         1)
  88.             # 进入录音模式
  89.             check_command amixer && {
  90.                 amixer -q cset name='Left Mixer Left Bypass Switch' 'on'
  91.                 amixer -q cset name='Right Mixer Right Bypass Switch' 'on'
  92.                 amixer -q cset name='Left Mixer Left Playback Switch' 'off'
  93.                 amixer -q cset name='Right Mixer Right Playback Switch' 'off'
  94.             }
  95.             ;;
  96.         2)
  97.             # 进入播音模式
  98.             check_command amixer && {
  99.                 amixer -q cset name='Left Mixer Left Bypass Switch' 'off'
  100.                 amixer -q cset name='Right Mixer Right Bypass Switch' 'off'
  101.                 amixer -q cset name='Left Mixer Left Playback Switch' 'on'
  102.                 amixer -q cset name='Right Mixer Right Playback Switch' 'on'
  103.             }
  104.             ;;
  105. 	3)
  106.             # 关闭录音和播音模式
  107.             check_command amixer && {
  108.                 amixer -q cset name='Left Mixer Left Bypass Switch' 'off'
  109.                 amixer -q cset name='Right Mixer Right Bypass Switch' 'off'
  110.                 amixer -q cset name='Left Mixer Left Playback Switch' 'off'
  111.                 amixer -q cset name='Right Mixer Right Playback Switch' 'off'
  112. 		amixer -q cset name='Left Line Mux' 'NC'
  113.         	amixer -q cset name='Right Line Mux' 'NC'
  114. 	    }
  115.             ;;	
  116.     esac
  117. }
  118.  
  119. function apply_config() {
  120.     # printf "n可选麦克风测试项目:n"
  121.     # printf "1. 耳机麦克风n"
  122.     # printf "2. 板载麦克风n"
  123.  
  124.     # while true; do
  125.     #     read -r -p "请输入您的选择: " choice
  126.  
  127.     #     if [[ "$choice" == "1" || "$choice" == "2" ]]; then
  128.     #         break
  129.     #     else
  130.     #         printf "无效输入。请输入1或2。n"
  131.     #     fi
  132.     # done
  133.     choice=2
  134.     printf "n应用麦克风配置项 %sn" "$choice"
  135.     case $choice in
  136.         1)
  137. 	    switch_mode 1
  138.             init_headphone_mic
  139.             ;;
  140.         2)
  141. 	    switch_mode 1
  142.             init_board_mic
  143.             ;;
  144.         *)
  145.             printf "无效选项n"
  146.             ;;
  147.     esac
  148. }
  149.  
  150. # 捕获Ctrl+C信号，并调用cleanup函数
  151. trap cleanup SIGINT
  152.  
  153. # 检查是否已初始化，如果没有，则进行初始化
  154. # if ! check_initialized; then
  155. #     printf "第一次运行，执行音频设备初始化...n"
  156.     init_audio_device
  157. #     add_command
  158. # fi
  159.  
  160. while true; do
  161.     while true; do
  162.         command=1
  163.         case $command in
  164.             1)
  165.                 apply_config
  166.                 printf "n开始录音...n"
  167.                 #sleep 1
  168. 		check_command arecord && arecord -f cd -d 1 -r 16000 "$RECORD_FILE"
  169.                 switch_mode 2
  170.                 printf "n播放录音...n"
  171.                 check_command aplay && aplay "$RECORD_FILE"
  172. 		        switch_mode 3
  173.                 # 调用Python程序并捕获其输出  
  174.                 output=$(python3 simple_audio.py --input=test.wav)  
  175.                 echo "$output"
  176.  
  177.                 # 检查输出是否包含">>> YES"  
  178.                 if echo "$output" | grep -q ">>> YES"; then  
  179.                     echo "Python程序输出YES，执行相应代码..."  
  180. 			echo 1 > /sys/class/leds/sys-led/brightness
  181. 			echo heartbeat > /sys/class/leds/sys-led/trigger
  182.                     # 在这里添加当输出为YES时需要执行的代码  
  183. 		    switch_mode 2
  184.                     #gst-play-1.0 haodeyiweinindakai.mp3
  185. 			aplay haodeyiweinindakai.wav
  186. 		    switch_mode 3
  187.                     
  188.                 elif echo "$output" | grep -q ">>> NO"; then  
  189.                     echo "Python程序输出NO，执行其他代码..."  
  190. 			echo none > /sys/class/leds/sys-led/trigger 
  191. 			echo 0 > /sys/class/leds/sys-led/brightness
  192.                     # 在这里添加当输出为NO时需要执行的代码  
  193. 		    switch_mode 2
  194.                     #gst-play-1.0 haodeyiweininguanbi.mp3      
  195. 			aplay haodeyiweininguanbi.wav
  196. 		    switch_mode 3
  197.                 else  
  198.                     echo "Python程序输出未知结果，或者没有输出结果。"  
  199.                     # 可以选择添加处理未知输出的代码  
  200.                 fi
  201.                 #break
  202.                 ;;
  203.             2)
  204.                 switch_mode 2
  205.                 printf "n开始播音，按 Ctrl+C 可退出播音n"
  206.                 gst-play-1.0 --audiosink="alsasink" "$PLAY_FILE"
  207. 		        switch_mode 3
  208.                 #break
  209.                 ;;
  210.             *)
  211.                 cleanup
  212.                 ;;
  213.         esac
  214.     done
  215.  
  216.     break
  217. done


전체 프로그램을 보려면 압축 패키지를 참조하세요.*첨부파일: yes-no-test.zip . 핵심 스크립트 코드는 다음과 같습니다.

 

아래 영상을 보면 기본적으로 필요한 효과가 달성된 것으로 보입니다. 원래는 보드의 마이크 녹음 효과가 인식에 영향을 미칠까 걱정했는데, 현재로서는 큰 문제는 아닌 것 같습니다. 먼저 파일로 녹음하는 방식인데, 시간이 1초밖에 안 되기 때문에, 조금 천천히 말하면 녹음이 완료되지 않는 경우가 있습니다. 이를 위해서는 Python의 음성 처리에 대한 후속 최적화가 필요합니다.

[Jiandian Atomic i.MX93 개발 보드 평가판] 음성으로 YES 또는 NO를 말하여 LED 조명 제어

 

또한, 현재 사용되는 모델은 사전 학습되어 있으며, 사용 편의성을 위해 추후 중국어 프롬프트 단어도 학습될 예정입니다.

개인 프로필

그는 30년 이상 기술 연구에 전념해 왔으며, java, linux, javascript, php, css 등 다양한 언어에 능숙하며, 오픈 소스 분야에 많은 공헌을 했습니다. 나중에 참조할 수 있도록 기술 개발의 일부 문제를 공유하는 개발자 문서 스테이션입니다.

내 연락처 정보

우편