Berbagi teknologi

Selanjutnya, saya ingin mengintegrasikan perekaman dan pengenalan kata kunci ke dalam satu program.

Hal pertama yang terlintas dalam pikiran saat melakukan operasi suara dengan Python adalah PyAudio. Namun, saya mengalami sedikit masalah saat menginstal PyAudio di board. Tidak ada paket perangkat lunak siap pakai yang sesuai dengan board ini di gudang Python. Paket perangkat lunak perlu dikompilasi dan dibuat di board. untuk saat ini. Kami akan menemukan cara untuk menyelesaikan masalah ini nanti.

Metode sementara yang saya adopsi adalah dengan memodifikasi skrip shell untuk menguji audio yang disebutkan sebelumnya, dan membiarkannya merekam suara selama 1 detik, lalu memanggil program Python untuk pengenalan kata kunci. Jika YA, nyalakan lampu LED pada pengembangan papan, jika TIDAK, maka Matikan lampu LED di papan pengembangan. Setelah menyalakan atau mematikan lampu, prompt yang sesuai akan diputar. Untuk memudahkan debugging, hasil rekaman akan otomatis diputar setelah rekaman untuk menentukan apakah rekaman sudah benar.

#!/bin/bash
 
INIT_FLAG="/home/root/shell/audio/.initialized_audio_device"
RECORD_FILE="test.wav"
PLAY_FILE="/home/root/shell/audio/short.mp3"
RC_LOCAL_FILE="/etc/rc.local"
DELETE_COMMAND="rm -f $INIT_FLAG"
 
# 将开机自动删除音频初始化标志文件命令加入到开机自启中
add_command() {
    if ! grep -qFx "$DELETE_COMMAND" "$RC_LOCAL_FILE"; then
        echo "$DELETE_COMMAND" >> "$RC_LOCAL_FILE"
        sync
    fi
}
   
# 检查命令是否存在
check_command() {
    command -v "$1" > /dev/null 2>&1
}
 
# 初始化音频设备
init_audio_device() {
    amixer cset name='PCM Volume' 192
    amixer cset name='Mono Mux' 'Stereo'
    amixer cset name='Playback De-emphasis' 2
    amixer cset name='Capture Digital Volume' 192
    amixer cset name='Capture Mute' 'on'
    amixer cset name='Capture Polarity' 'Normal'
    amixer cset name='3D Mode' 'No 3D'
    amixer cset name='ALC Capture Attack Time' 5
    amixer cset name='ALC Capture Decay Time' 2
    amixer cset name='ALC Capture Function' 'Stereo'
    amixer cset name='ALC Capture Hold Time' 2
    amixer cset name='ALC Capture Max PGA' 3
    amixer cset name='ALC Capture Min PGA' 6
    amixer cset name='ALC Capture NG Switch' 'on'
    amixer cset name='ALC Capture NG Threshold' 9
    amixer cset name='ALC Capture NG Type' 'Mute ADC Output'
    amixer cset name='ALC Capture Target Volume' 15
    amixer cset name='ALC Capture ZC Switch' 'on'
    amixer cset name='Left Channel Capture Volume' 100%
    amixer cset name='Right Channel Capture Volume' 100%
    amixer cset name='Left Mixer Left Bypass Volume' 100%
    amixer cset name='Right Mixer Right Bypass Volume' 100%
    amixer cset name='Output 1 Playback Volume' 100%
    amixer cset name='Output 2 Playback Volume' 100%
    amixer cset name='ZC Timeout Switch' 'on'
    amixer cset name='Left PGA Mux' 'DifferentialL'
    amixer cset name='Right PGA Mux' 'DifferentialR'
    # touch "$INIT_FLAG"
}
 
# 检查是否已初始化
check_initialized() {
    [ -e "$INIT_FLAG" ]
}
 
function init_board_mic() {
    # 初始化板载麦克风
    check_command amixer && {
        amixer -q cset name='Differential Mux' 'Line 2'
        amixer -q cset name='Left Line Mux' 'Line 2L'
        amixer -q cset name='Right Line Mux' 'Line 2R'
    }
}
 
function init_headphone_mic() {
    # 初始化耳机麦克风
    check_command amixer && {
        amixer cset name='Differential Mux' 'Line 1'
        amixer cset name='Left Line Mux' 'Line 1L'
        amixer cset name='Right Line Mux' 'NC'
    }
}
 
function cleanup() {
    # 清理并退出
    printf "n清理并退出...n"
    stty sane  # 还原终端状态
    exit 0
}
 
function switch_mode() {
    # 录音/播音模式切换
    case $1 in
        1)
            # 进入录音模式
            check_command amixer && {
                amixer -q cset name='Left Mixer Left Bypass Switch' 'on'
                amixer -q cset name='Right Mixer Right Bypass Switch' 'on'
                amixer -q cset name='Left Mixer Left Playback Switch' 'off'
                amixer -q cset name='Right Mixer Right Playback Switch' 'off'
            }
            ;;
        2)
            # 进入播音模式
            check_command amixer && {
                amixer -q cset name='Left Mixer Left Bypass Switch' 'off'
                amixer -q cset name='Right Mixer Right Bypass Switch' 'off'
                amixer -q cset name='Left Mixer Left Playback Switch' 'on'
                amixer -q cset name='Right Mixer Right Playback Switch' 'on'
            }
            ;;
	3)
            # 关闭录音和播音模式
            check_command amixer && {
                amixer -q cset name='Left Mixer Left Bypass Switch' 'off'
                amixer -q cset name='Right Mixer Right Bypass Switch' 'off'
                amixer -q cset name='Left Mixer Left Playback Switch' 'off'
                amixer -q cset name='Right Mixer Right Playback Switch' 'off'
		amixer -q cset name='Left Line Mux' 'NC'
        	amixer -q cset name='Right Line Mux' 'NC'
	    }
            ;;	
    esac
}
 
function apply_config() {
    # printf "n可选麦克风测试项目:n"
    # printf "1. 耳机麦克风n"
    # printf "2. 板载麦克风n"
 
    # while true; do
    #     read -r -p "请输入您的选择: " choice
 
    #     if [[ "$choice" == "1" || "$choice" == "2" ]]; then
    #         break
    #     else
    #         printf "无效输入。请输入1或2。n"
    #     fi
    # done
    choice=2
    printf "n应用麦克风配置项 %sn" "$choice"
    case $choice in
        1)
	    switch_mode 1
            init_headphone_mic
            ;;
        2)
	    switch_mode 1
            init_board_mic
            ;;
        *)
            printf "无效选项n"
            ;;
    esac
}
 
# 捕获Ctrl+C信号，并调用cleanup函数
trap cleanup SIGINT
 
# 检查是否已初始化，如果没有，则进行初始化
# if ! check_initialized; then
#     printf "第一次运行，执行音频设备初始化...n"
    init_audio_device
#     add_command
# fi
 
while true; do
    while true; do
        command=1
        case $command in
            1)
                apply_config
                printf "n开始录音...n"
                #sleep 1
		check_command arecord && arecord -f cd -d 1 -r 16000 "$RECORD_FILE"
                switch_mode 2
                printf "n播放录音...n"
                check_command aplay && aplay "$RECORD_FILE"
		        switch_mode 3
                # 调用Python程序并捕获其输出  
                output=$(python3 simple_audio.py --input=test.wav)  
                echo "$output"
 
                # 检查输出是否包含">>> YES"  
                if echo "$output" | grep -q ">>> YES"; then  
                    echo "Python程序输出YES，执行相应代码..."  
			echo 1 > /sys/class/leds/sys-led/brightness
			echo heartbeat > /sys/class/leds/sys-led/trigger
                    # 在这里添加当输出为YES时需要执行的代码  
		    switch_mode 2
                    #gst-play-1.0 haodeyiweinindakai.mp3
			aplay haodeyiweinindakai.wav
		    switch_mode 3
                    
                elif echo "$output" | grep -q ">>> NO"; then  
                    echo "Python程序输出NO，执行其他代码..."  
			echo none > /sys/class/leds/sys-led/trigger 
			echo 0 > /sys/class/leds/sys-led/brightness
                    # 在这里添加当输出为NO时需要执行的代码  
		    switch_mode 2
                    #gst-play-1.0 haodeyiweininguanbi.mp3      
			aplay haodeyiweininguanbi.wav
		    switch_mode 3
                else  
                    echo "Python程序输出未知结果，或者没有输出结果。"  
                    # 可以选择添加处理未知输出的代码  
                fi
                #break
                ;;
            2)
                switch_mode 2
                printf "n开始播音，按 Ctrl+C 可退出播音n"
                gst-play-1.0 --audiosink="alsasink" "$PLAY_FILE"
		        switch_mode 3
                #break
                ;;
            *)
                cleanup
                ;;
        esac
    done
 
    break
done

Untuk program selengkapnya, lihat paket terkompresi*Lampiran: yes-no-test.zip . Kode skrip inti adalah sebagai berikut:

Dilihat dari video di bawah ini, efek yang dibutuhkan pada dasarnya telah tercapai. Saya awalnya khawatir bahwa efek rekaman mikrofon papan akan mempengaruhi pengenalan, tetapi tampaknya hal itu tidak menjadi masalah besar saat ini. Karena caranya adalah dengan merekam ke dalam sebuah file terlebih dahulu, dan waktunya hanya 1 detik, sehingga terkadang cukup merepotkan untuk digunakan. Hal ini memerlukan optimalisasi pemrosesan ucapan Python selanjutnya.

Selain itu, model yang saat ini digunakan telah dilatih sebelumnya, dan kata-kata cepat berbahasa Mandarin akan dilatih nanti untuk kemudahan penggunaan.