Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

λεπτομέρειες αποστολής

Το περιεχόμενο της εργασίας είναι η εγκατάσταση και η διαμόρφωση του Flume και η δοκιμή και η συλλογή δεδομένων ροής.

Καθοδήγηση εργασιών

Το Flume χρησιμοποιείται συχνά ως εργαλείο για τη συλλογή δεδομένων σε πραγματικό χρόνο Τα δεδομένα που συλλέγονται μπορούν να αποθηκευτούν σε HDFS ή σε μια ουρά μηνυμάτων όπως το Kafka.

Τα συγκεκριμένα βήματα εγκατάστασης είναι τα εξής:

1. Αποσυμπιέστε τη συμπιεσμένη συσκευασία Flume

2. Διαμορφώστε τις μεταβλητές περιβάλλοντος του Flume

3. Τροποποίηση του αρχείου διαμόρφωσης Flume Το αρχείο διαμόρφωσης Flume αποθηκεύεται στο conf στον κατάλογο εγκατάστασης Flume.

4. Λάβετε τα δεδομένα που συλλέγονται από το Flume μέσω απομακρυσμένης σύνδεσης

5. Αποθηκεύστε τα δεδομένα που συλλέγονται από το Flume στο HDFS

Επίτευξη της αποστολής

1. Εγκαταστήστε το Flume

Μπορείτε να βρείτε το πακέτο εγκατάστασης στον κατάλογο /opt/software/, να αποσυμπιέσετε το πακέτο εγκατάστασης και να αντιγράψετε το πακέτο εγκατάστασης στον κατάλογο /opt/app

Εκτέλεση στο master1:

[root@master1 ~]# cd /opt/software/
[root@master1 software]# tar -xzf apache-flume-1.9.0-bin.tar.gz -C /opt/app/

2. Ορίστε τις μεταβλητές περιβάλλοντος του Flume

Επεξεργαστείτε το αρχείο /etc/profile και δηλώστε την αρχική διαδρομή του Flume και προσθέστε τη διαδρομή bin στη διαδρομή:

export FLUME_HOME=/opt/app/apache-flume-1.9.0-bin
export PATH=$PATH:$FLUME_HOME/bin

Φορτώστε το αρχείο διαμόρφωσης /etc/profile και επιβεβαιώστε ότι ισχύει

[root@master1 ~]# source /etc/profile
[root@master1 ~]# echo $FLUME_HOME

3. Ορίστε το αρχείο διαμόρφωσης flume-env.sh

Αντιγράψτε και μετονομάστε το flume-env.sh.template σε flume-env.sh στο $FLUME_HOME/conf και τροποποιήστε το αρχείο διαμόρφωσης conf/flume-env.sh

[root@master1 ~]# cd $FLUME_HOME/conf
[root@master1 conf]# cp flume-env.sh.template flume-env.sh
[root@master1 conf]# vi flume-env.sh

Προσθέστε το ακόλουθο περιεχόμενο στο τέλος του αρχείου διαμόρφωσης:

JAVA_HOME=/opt/app/jdk1.8.0_181
JAVA_OPTS="-Xms100m -Xmx200m -Dcom.sun.management.jmxremote"

4. Επαληθεύστε την εγκατάσταση (telnet)

Τροποποίηση του αρχείου διαμόρφωσης flume-conf

Τροποποιήστε το αρχείο flume-conf.properties.template στον κατάλογο $FLUME_HOME/conf, αντιγράψτε και μετονομάστε το σε flume-conf.properties

[root@master1 ~]# cd $FLUME_HOME/conf
[root@master1 conf]# cp flume-conf.properties.template flume-conf.properties
[root@master1 conf]# vi flume-conf.properties

Τροποποιήστε τα περιεχόμενα του αρχείου διαμόρφωσης flume-conf ως εξής:

# The configuration file needs to define the sources, the channels and the sinks.
# Sources, channels and sinks are defined per agent, in this case called 'a1'
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# For each one of the sources, the type is defined
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
#The channel can be defined as follows.
a1.sources.r1.channels = c1
# Each sink's type must be defined
a1.sinks.k1.type = logger
#Specify the channel the sink should use
a1.sinks.k1.channel = c1
# Each channel's type is defined.
a1.channels.c1.type = memory
# Other config values specific to each type of channel(sink or source)
# can be defined as well
# In this case, it specifies the capacity of the memory channel
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

Εκτελέστε τον κατάλογο εγκατάστασης Flume

[root@master1 conf]# cd $FLUME_HOME
[root@master1 apache-flume-1.9.0-bin]# flume-ng agent -c ./conf/ -f ./conf/flume-conf.properties -n a1 -Dflume.root.logger=INFO,console

Ανοίξτε ένα άλλο τερματικό και πληκτρολογήστε την ακόλουθη εντολή:

[root@master1 ~]# telnet localhost 44444
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.

Εισαγάγετε τα ακόλουθα στο τερματικό:

Hello
                                   

                    上一篇
                    下一篇