Κοινή χρήση τεχνολογίας

Εβδομαδιαία αναφορά Machine Learning FMP για την 46η Εβδομάδα

2024-07-08

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

εβδομάδα 46 FMP

Περίληψη

Αυτή την εβδομάδα διάβασα μια εργασία με τίτλο Chasing Fairness in Graphs: A GNN Architecture Perspective. Αυτό το έγγραφο προτείνει ένα σύστημα δίκαιης μετάδοσης μηνυμάτων (FMP) που καθοδηγείται από ένα ενοποιημένο πλαίσιο βελτιστοποίησης του νευρωνικού δικτύου γραφημάτων (GNN), με στόχο τη βελτίωση της δίκαιης επεξεργασίας δεδομένων γραφήματος. Αυτή η προσέγγιση επιτυγχάνεται μέσω δύο βασικών βημάτων: πρώτα τη συγκέντρωση δεδομένων γραφήματος και, στη συνέχεια, τη ρητή επιδίωξη της αναπαράστασης του κέντρου κάθε στατιστικού πληθυσμού για τη μείωση της προκατάληψης. Αυτή η μέθοδος δημιουργεί ένα πρόβλημα βελτιστοποίησης που λαμβάνει υπόψη τόσο την ορθότητα όσο και την ομαλότητα των δεδομένων και χρησιμοποιεί τεχνικές συζυγούς Fenchel και gradient descent σε συνδυασμό με χαρακτηριστικά συνάρτησης softmax για την αποτελεσματική επίλυσή του, δημιουργώντας μια αναπαράσταση κόμβου που είναι και δίκαιη και ενημερωτική. Αυτό το σχήμα είναι άμεσα ενσωματωμένο στο GNN για τη βελτίωση της δικαιοσύνης και της ακρίβειας των εργασιών ταξινόμησης κόμβων χωρίς προεπεξεργασία δεδομένων. Τα πειραματικά αποτελέσματα δείχνουν ότι σε πραγματικά σύνολα δεδομένων, το FMP αποδίδει καλύτερα από πολλαπλά βασικά μοντέλα, επαληθεύοντας πλήρως την αποτελεσματικότητά του από την άποψη της αρχιτεκτονικής του μοντέλου, της αποδοτικότητας και της χρήσης ευαίσθητων χαρακτηριστικών.

Αφηρημένη

Η εβδομαδιαία εφημερίδα αυτής της εβδομάδας αποκωδικοποιεί την εφημερίδα με τίτλο Chasing Fairness in Graphs: A GNN Architecture Perspective. Αυτή η εργασία εισάγει ένα σχήμα Fair Message Passing (FMP) που καθοδηγείται από ένα ενοποιημένο πλαίσιο βελτιστοποίησης των νευρωνικών δικτύων γραφημάτων (GNNs), με στόχο την ενίσχυση της δικαιοσύνης στην επεξεργασία δεδομένων γραφημάτων. Το FMP το επιτυγχάνει αυτό μέσω δύο βασικών βημάτων: πρώτον, συγκεντρώνει δεδομένα γραφήματος και, στη συνέχεια, προσπαθεί ρητά να αναπαραστήσει τα κέντρα διαφόρων στατιστικών ομάδων για τον μετριασμό της προκατάληψης. Αυτή η προσέγγιση διατυπώνει ένα πρόβλημα βελτιστοποίησης που λαμβάνει υπόψη τόσο τη δικαιοσύνη όσο και την ομαλότητα των δεδομένων και αξιοποιεί τις τεχνικές δυαδικότητας και βαθμίδωσης του Fenchel, σε συνδυασμό με τις ιδιότητες της συνάρτησης softmax, για την αποτελεσματική επίλυση του προβλήματος και τη δημιουργία δίκαιων και ενημερωτικών αναπαραστάσεων κόμβων. Αυτό το σχήμα είναι άμεσα ενσωματωμένο στα GNN για τη βελτίωση της δικαιοσύνης και της ακρίβειας των εργασιών ταξινόμησης κόμβων, χωρίς την ανάγκη προεπεξεργασίας δεδομένων. Πειραματικά αποτελέσματα σε σύνολα δεδομένων πραγματικού κόσμου δείχνουν ότι το FMP ξεπερνά τα πολλαπλά βασικά μοντέλα, επικυρώνοντας πλήρως την αποτελεσματικότητά του από την άποψη της αρχιτεκτονικής του μοντέλου, της αποδοτικότητας και της χρήσης ευαίσθητων χαρακτηριστικών.

1. Ερώτηση

标题:Chasing Fairness in Graphs: A GNN Architecture Perspective

作者:Zhimeng Jiang1, Xiaotian Han1, Chao Fan2, Zirui Liu3, Na Zou4, Ali Mostafavi1, Xia Hu3

ελευθέρωση: Τομ. 38 Νο. 19: AAAI-24

Σύνδεσμος: https://doi.org/10.1609/aaai.v38i19.30115

2. Περίληψη

Αυτό το άρθρο στοχεύει στην επίτευξη καλύτερης δικαιοσύνης μέσω του νέου πλαισίου GNN, επομένως προτείνει να σχεδιαστεί μέσα στο ενιαίο πλαίσιο βελτιστοποίησης του GNNFair Messaging (FMP) .Αξίζει να σημειωθεί ότι χρησιμοποιεί FMPαπώλεια διασταυρούμενης εντροπίαςΠαρουσιάστε ρητά τη χρήση ευαίσθητων χαρακτηριστικών στο μπροστινό πέρασμα για εργασίες ταξινόμησης κόμβων, ενώΔεν απαιτείται προεπεξεργασία δεδομένων .Σε FMP, πρώτη χρήσηπολυμερισμόςνα εκμεταλλευτεί τις πληροφορίες των γειτόνων και στη συνέχειαΜετριασμός μεροληψίας Τα βήματα ωθούν ρητά το κέντρο αναπαράστασης κόμβων της ομάδας στατιστικών δεδομένων μαζί. Με αυτόν τον τρόπο, το σχήμα FMP μπορεί να συγκεντρώνει χρήσιμες πληροφορίες από γείτονες και να μετριάσει τις προκαταλήψεις για να επιτύχει καλύτερη απόδοση δικαιοσύνης και προβλέψεων.Ταξινόμηση κόμβωνΠειράματα σχετικά με την εργασία δείχνουν ότι το προτεινόμενο FMP υπερέχει πολλαπλών γραμμών βάσης όσον αφορά τη δικαιοσύνη και την ακρίβεια σε τρία σύνολα δεδομένων πραγματικού κόσμου.

3. FMP

Το FMP μπορεί να επιτύχει δίκαιες προβλέψεις από την οπτική γωνία της ραχοκοκαλιάς του μοντέλου. Συγκεκριμένα, η δίκαιη ανταλλαγή μηνυμάτων διαμορφώνεται ως πρόβλημα βελτιστοποίησης για την ταυτόχρονη επιδίωξη ομαλότητας και δίκαιης αναπαράστασης κόμβων. Σε συνδυασμό με αποτελεσματικούς και αποδοτικούς αλγόριθμους βελτιστοποίησης, προκύπτει δίκαιη ανταλλαγή μηνυμάτων κλειστής μορφής. Τέλος, το προτεινόμενο FMP ενσωματώνεται σε ένα δίκαιο GNN σε τρία στάδια, συμπεριλαμβανομένων των βημάτων μετασχηματισμού, συνάθροισης και εκτροπής, όπως φαίνεται στο Σχήμα 1 . Αυτά τα τρία στάδια χρησιμοποιούν χαρακτηριστικά κόμβου, τοπολογία γραφήματος και ευαίσθητα χαρακτηριστικά αντίστοιχα.

εικόνα-20240707151714855

3.1 Πλαίσιο βελτιστοποίησης

min ⁡ F λ s 2 tr ( FTT ~ F ) 1 2 ∣ ∣ F − X trans ∣ ∣ F 2 λ f ∣ ∣ Δ s SF ( F ) ∣ ∣ 1 (1) min_{mathbf F}da_s{la 2}tr(mathbf F^T tilde {mathbf T}mathbf F) frac12||mathbf F-mathbf X_{trans}||^2_F lambda_f||Delta_sSF(mathbf F)||_1 ετικέτα{1}φάελάχ2λμικρόtr(φάΤΤ~φά) 21∣∣φάΧtrέναμικρόφά2 λφά∣∣ΔμικρόSF(φά)1(1)

$tilde L αντιπροσωπεύει τον κανονικοποιημένο λαπλασιανό πίνακα, αντιπροσωπεύει τον κανονικοποιημένο λαπλασιανό πίνακα,αντιπροσωπεύει τον κανονικοποιημένο πίνακα Λαπλασίας,h_s(·)$ και hf ( ⋅ ) h_f(·)ηφά() αντιπροσωπεύει στόχους ομαλότητας και δικαιοσύνης, X trans ∈ R n × dout X_{trans} σε R^{n×d_{out}}ΧtrέναμικρόRn×ρεοut είναι το μεταμορφωμένο dout d_{out}ρεοutΧαρακτηριστικά κόμβου διαστάσεων. F ∈ R n × dout F σε R^{n×d_{out}}φάRn×ρεοut​ είναι συγκεντρωτικά χαρακτηριστικά κόμβου του ίδιου μεγέθους μήτρας.

Οι δύο πρώτοι όροι διατηρούν την ομοιότητα των αναπαραστάσεων συνδεδεμένων κόμβων, ενισχύοντας έτσι την ομαλότητα του γραφήματος. Ο τελευταίος όρος επιβάλλει μια δίκαιη αναπαράσταση κόμβου έτσι ώστε η μέση προβλεπόμενη πιθανότητα να μπορεί να παραμείνει σταθερή μεταξύ διαφορετικών ευαίσθητων ομάδων χαρακτηριστικών.

Οι συντελεστές τακτοποίησης λs και λf ελέγχουν προσαρμοστικά την αντιστάθμιση μεταξύ ομαλότητας και δικαιοσύνης γραφήματος.
hs ( F ) = min ⁡ F λ s 2 tr ( FTT ~ F ) 1 2 ∣ ∣ F − X trans ∣ ∣ F 2 h_s(mathbf F)=min_{mathbf F}frac{lambda_s}{2}tr(mathbf F^T tilde {mathbf T}mathbf F) frac12||mathbf F-mathbf X_{trans}||^2_Fημικρό(φά)=φάελάχ2λμικρόtr(φάΤΤ~φά) 21∣∣φάΧtrέναμικρόφά2
Στόχος ομαλότητας hs(·): Οι πίνακες γειτνίασης σε υπάρχοντα σχήματα μηνυμάτων γραφήματος κανονικοποιούνται για να βελτιώσουν την αριθμητική σταθερότητα και να επιτύχουν ανώτερη απόδοση.Από μια ακραιοκεντρική προοπτική, η εξομάλυνση των αντικειμενικών αναγκάζει τις συνδεδεμένες αναπαραστάσεις κόμβων να είναι παρόμοιες επειδή
tr ( FTT ~ F ) = ∑ ( vi , vj ) ∈ E ∣ ∣ F idi 1 − F idj 1 ∣ ∣ F 2 (2) tr(mathbf F^T tilde {mathbf T}mathbf F)=sum_{(v_i ,v_j)στο {Epsilon}}||frac{mathbf F_i}{sqrt {d_i 1}}-frac{mathbf F_i}{sqrt{d_j 1}}||^2_F ετικέτα{2}tr(φάΤΤ~φά)=(vΕγώ,vι)μι∣∣ρεΕγώ 1 φάΕγώρει 1 φάΕγώφά2(2)
Στόχος δικαιοσύνης hf(·): Ο στόχος δικαιοσύνης μετρά την απόκλιση της αναπαράστασης του κόμβου μετά τη συγκέντρωση. Το διάνυσμα γεγονότος ευαίσθητου χαρακτηριστικού Δs αντιπροσωπεύει την ευαίσθητη ομάδα χαρακτηριστικών και το μέγεθος της ομάδας με άθροισμα του πρόσημου και της απόλυτης τιμής.Το διάνυσμα συμβάντος ευαίσθητου χαρακτηριστικού είναι
Δ s = 1