Κοινή χρήση τεχνολογίας

Στη συνέχεια, θέλω να ενσωματώσω την εγγραφή και την αναγνώριση λέξεων-κλειδιών σε ένα πρόγραμμα.

Το πρώτο πράγμα που έρχεται στο μυαλό κατά την εκτέλεση φωνητικών λειτουργιών στην Python είναι το PyAudio. Ωστόσο, αντιμετώπισα ένα μικρό πρόβλημα με την εγκατάσταση του PyAudio στην πλακέτα. Δεν υπάρχει έτοιμο πακέτο λογισμικού που να αντιστοιχεί σε αυτήν την πλακέτα στην αποθήκη Python Το πακέτο λογισμικού πρέπει να μεταγλωττιστεί και να δημιουργηθεί στην πλακέτα και το PortAudio δεν έχει μεταφερθεί στην πλακέτα, επομένως το PyAudio δεν μπορεί να χρησιμοποιηθεί. για την ώρα θα βρούμε τρόπο να λύσουμε αυτό το πρόβλημα.

Η προσωρινή μέθοδος που υιοθέτησα είναι να τροποποιήσω το σενάριο του κελύφους για τη δοκιμή του ήχου που αναφέρθηκε προηγουμένως και να το αφήσω να ηχογραφήσει 1 δευτερόλεπτο φωνής και μετά να καλέσει το πρόγραμμα Python για αναγνώριση λέξεων-κλειδιών, αν είναι ΝΑΙ, ανάψτε τη λυχνία LED στην ανάπτυξη πλακέτα, εάν είναι ΟΧΙ, τότε απενεργοποιήστε τη λυχνία LED στον πίνακα ανάπτυξης Μετά την ενεργοποίηση ή απενεργοποίηση του φωτός, θα αναπαραχθεί ένα αντίστοιχο μήνυμα. Προκειμένου να διευκολυνθεί ο εντοπισμός σφαλμάτων, τα αποτελέσματα της εγγραφής θα αναπαραχθούν αυτόματα μετά την εγγραφή για να καθοριστεί εάν η εγγραφή είναι σωστή.

#!/bin/bash
 
INIT_FLAG="/home/root/shell/audio/.initialized_audio_device"
RECORD_FILE="test.wav"
PLAY_FILE="/home/root/shell/audio/short.mp3"
RC_LOCAL_FILE="/etc/rc.local"
DELETE_COMMAND="rm -f $INIT_FLAG"
 
# 将开机自动删除音频初始化标志文件命令加入到开机自启中
add_command() {
    if ! grep -qFx "$DELETE_COMMAND" "$RC_LOCAL_FILE"; then
        echo "$DELETE_COMMAND" >> "$RC_LOCAL_FILE"
        sync
    fi
}
   
# 检查命令是否存在
check_command() {
    command -v "$1" > /dev/null 2>&1
}
 
# 初始化音频设备
init_audio_device() {
    amixer cset name='PCM Volume' 192
    amixer cset name='Mono Mux' 'Stereo'
    amixer cset name='Playback De-emphasis' 2
    amixer cset name='Capture Digital Volume' 192
    amixer cset name='Capture Mute' 'on'
    amixer cset name='Capture Polarity' 'Normal'
    amixer cset name='3D Mode' 'No 3D'
    amixer cset name='ALC Capture Attack Time' 5
    amixer cset name='ALC Capture Decay Time' 2
    amixer cset name='ALC Capture Function' 'Stereo'
    amixer cset name='ALC Capture Hold Time' 2
    amixer cset name='ALC Capture Max PGA' 3
    amixer cset name='ALC Capture Min PGA' 6
    amixer cset name='ALC Capture NG Switch' 'on'
    amixer cset name='ALC Capture NG Threshold' 9
    amixer cset name='ALC Capture NG Type' 'Mute ADC Output'
    amixer cset name='ALC Capture Target Volume' 15
    amixer cset name='ALC Capture ZC Switch' 'on'
    amixer cset name='Left Channel Capture Volume' 100%
    amixer cset name='Right Channel Capture Volume' 100%
    amixer cset name='Left Mixer Left Bypass Volume' 100%
    amixer cset name='Right Mixer Right Bypass Volume' 100%
    amixer cset name='Output 1 Playback Volume' 100%
    amixer cset name='Output 2 Playback Volume' 100%
    amixer cset name='ZC Timeout Switch' 'on'
    amixer cset name='Left PGA Mux' 'DifferentialL'
    amixer cset name='Right PGA Mux' 'DifferentialR'
    # touch "$INIT_FLAG"
}
 
# 检查是否已初始化
check_initialized() {
    [ -e "$INIT_FLAG" ]
}
 
function init_board_mic() {
    # 初始化板载麦克风
    check_command amixer && {
        amixer -q cset name='Differential Mux' 'Line 2'
        amixer -q cset name='Left Line Mux' 'Line 2L'
        amixer -q cset name='Right Line Mux' 'Line 2R'
    }
}
 
function init_headphone_mic() {
    # 初始化耳机麦克风
    check_command amixer && {
        amixer cset name='Differential Mux' 'Line 1'
        amixer cset name='Left Line Mux' 'Line 1L'
        amixer cset name='Right Line Mux' 'NC'
    }
}
 
function cleanup() {
    # 清理并退出
    printf "n清理并退出...n"
    stty sane  # 还原终端状态
    exit 0
}
 
function switch_mode() {
    # 录音/播音模式切换
    case $1 in
        1)
            # 进入录音模式
            check_command amixer && {
                amixer -q cset name='Left Mixer Left Bypass Switch' 'on'
                amixer -q cset name='Right Mixer Right Bypass Switch' 'on'
                amixer -q cset name='Left Mixer Left Playback Switch' 'off'
                amixer -q cset name='Right Mixer Right Playback Switch' 'off'
            }
            ;;
        2)
            # 进入播音模式
            check_command amixer && {
                amixer -q cset name='Left Mixer Left Bypass Switch' 'off'
                amixer -q cset name='Right Mixer Right Bypass Switch' 'off'
                amixer -q cset name='Left Mixer Left Playback Switch' 'on'
                amixer -q cset name='Right Mixer Right Playback Switch' 'on'
            }
            ;;
	3)
            # 关闭录音和播音模式
            check_command amixer && {
                amixer -q cset name='Left Mixer Left Bypass Switch' 'off'
                amixer -q cset name='Right Mixer Right Bypass Switch' 'off'
                amixer -q cset name='Left Mixer Left Playback Switch' 'off'
                amixer -q cset name='Right Mixer Right Playback Switch' 'off'
		amixer -q cset name='Left Line Mux' 'NC'
        	amixer -q cset name='Right Line Mux' 'NC'
	    }
            ;;	
    esac
}
 
function apply_config() {
    # printf "n可选麦克风测试项目:n"
    # printf "1. 耳机麦克风n"
    # printf "2. 板载麦克风n"
 
    # while true; do
    #     read -r -p "请输入您的选择: " choice
 
    #     if [[ "$choice" == "1" || "$choice" == "2" ]]; then
    #         break
    #     else
    #         printf "无效输入。请输入1或2。n"
    #     fi
    # done
    choice=2
    printf "n应用麦克风配置项 %sn" "$choice"
    case $choice in
        1)
	    switch_mode 1
            init_headphone_mic
            ;;
        2)
	    switch_mode 1
            init_board_mic
            ;;
        *)
            printf "无效选项n"
            ;;
    esac
}
 
# 捕获Ctrl+C信号，并调用cleanup函数
trap cleanup SIGINT
 
# 检查是否已初始化，如果没有，则进行初始化
# if ! check_initialized; then
#     printf "第一次运行，执行音频设备初始化...n"
    init_audio_device
#     add_command
# fi
 
while true; do
    while true; do
        command=1
        case $command in
            1)
                apply_config
                printf "n开始录音...n"
                #sleep 1
		check_command arecord && arecord -f cd -d 1 -r 16000 "$RECORD_FILE"
                switch_mode 2
                printf "n播放录音...n"
                check_command aplay && aplay "$RECORD_FILE"
		        switch_mode 3
                # 调用Python程序并捕获其输出  
                output=$(python3 simple_audio.py --input=test.wav)  
                echo "$output"
 
                # 检查输出是否包含">>> YES"  
                if echo "$output" | grep -q ">>> YES"; then  
                    echo "Python程序输出YES，执行相应代码..."  
			echo 1 > /sys/class/leds/sys-led/brightness
			echo heartbeat > /sys/class/leds/sys-led/trigger
                    # 在这里添加当输出为YES时需要执行的代码  
		    switch_mode 2
                    #gst-play-1.0 haodeyiweinindakai.mp3
			aplay haodeyiweinindakai.wav
		    switch_mode 3
                    
                elif echo "$output" | grep -q ">>> NO"; then  
                    echo "Python程序输出NO，执行其他代码..."  
			echo none > /sys/class/leds/sys-led/trigger 
			echo 0 > /sys/class/leds/sys-led/brightness
                    # 在这里添加当输出为NO时需要执行的代码  
		    switch_mode 2
                    #gst-play-1.0 haodeyiweininguanbi.mp3      
			aplay haodeyiweininguanbi.wav
		    switch_mode 3
                else  
                    echo "Python程序输出未知结果，或者没有输出结果。"  
                    # 可以选择添加处理未知输出的代码  
                fi
                #break
                ;;
            2)
                switch_mode 2
                printf "n开始播音，按 Ctrl+C 可退出播音n"
                gst-play-1.0 --audiosink="alsasink" "$PLAY_FILE"
		        switch_mode 3
                #break
                ;;
            *)
                cleanup
                ;;
        esac
    done
 
    break
done

Για το πλήρες πρόγραμμα, δείτε το συμπιεσμένο πακέτο*Συνημμένο: yes-no-test.zip . Ο βασικός κώδικας σεναρίου είναι ο εξής:

Κρίνοντας από το παρακάτω βίντεο, ουσιαστικά επιτυγχάνεται το απαιτούμενο αποτέλεσμα. Αρχικά ανησυχούσα ότι το εφέ εγγραφής μικροφώνου της πλακέτας θα επηρεάσει την αναγνώριση, αλλά δεν φαίνεται να είναι μεγάλο πρόβλημα αυτή τη στιγμή. Δεδομένου ότι η μέθοδος είναι να ηχογραφήσετε πρώτα σε ένα αρχείο και ο χρόνος είναι μόνο 1 δευτερόλεπτο, είναι αρκετά ενοχλητικό να χρησιμοποιήσετε μερικές φορές η εγγραφή δεν ολοκληρώνεται αν μιλάτε λίγο αργά. Αυτό απαιτεί μετέπειτα βελτιστοποίηση της επεξεργασίας ομιλίας της Python.

Επιπλέον, το μοντέλο που χρησιμοποιείται αυτή τη στιγμή είναι προ-εκπαιδευμένο και οι κινεζικές προτροπές λέξεις θα εκπαιδευτούν αργότερα για ευκολία στη χρήση.