Νευρωνικό δίκτυο
με μαθησιακές λάθος πίσω από τον πολλαπλασιασμό
Colin Fahey
Ένα βιολογικό νευρωνικό δίκτυο
1. Λογισμικό
2. Εισαγωγή
Αυτό το έγγραφο περιγράφει τον τρόπο να εφαρμόσουν ένα τεχνητό νευρωνικό δίκτυο που είναι σε θέση να εκπαιδευτεί να αναγνωρίζουν μοτίβα.
Αυτό το έγγραφο περιγράφει ένα πρότυπο νευρωνικό δίκτυο που μαθαίνει από έναν αλγόριθμο που χρησιμοποιεί "πίσω σφάλμα πολλαπλασιασμού."
Το έγγραφο αυτό περιλαμβάνει τις βασικές εκδηλώσεις της μάθησης από "πίσω σφάλμα πολλαπλασιασμού." Το έγγραφο αυτό έχει μια σύνδεση με υπολογιστή κώδικα. Ο υπολογιστής κώδικας περιλαμβάνει τις διαδηλώσεις. Ο υπολογιστής κώδικας μπορεί να χρησιμοποιηθεί για να δημιουργήσει πολύπλοκες νευρωνικά δίκτυα. Ωστόσο, ο υπολογιστής κώδικας είναι μόνο για σκοπούς επίδειξης. Μια εναλλακτική λύση θα μπορούσε να μειώσει την εφαρμογή μνήμης και θα μπορούσαν να αυξήσουν την ταχύτητα.
3. Εναλλακτική λύση στην μάθηση πίσω από σφάλμα πολλαπλασιασμού
Αυτό το έγγραφο περιγράφει ένα πρότυπο νευρωνικό δίκτυο το οποίο μαθαίνει από έναν αλγόριθμο που ονομάζεται "πίσω σφάλμα πολλαπλασιασμού." Αυτός ο αλγόριθμος μπορεί να απαιτήσει πολύ χρόνο για να μάθουν πολλά διδάγματα. Επίσης, η εν λόγω αλγόριθμος μπορεί τυχαία αποτυγχάνουν να μάθουν πολλά διδάγματα που οφείλεται στην τυχαία αρχική κατάσταση των νευρωνικών δικτύων πριν από την κατάρτιση.
Μαθαίνοντας την "συμμετοχή" του "ενεργού εισροές" είναι μια σημαντική εναλλακτική λύση για μάθηση από "πίσω σφάλμα πολλαπλασιασμού." Μαθαίνοντας την συμμετοχή του ενεργού εισροές απλά συνεργάτες εισροών που είναι ταυτόχρονα δραστικές. Τέτοιου είδους μάθηση μπορεί να είναι γρήγορο και αξιόπιστο. Ωστόσο, για πολλούς πρακτικούς λόγους, δεν υπάρχει προφανής τρόπος να χρησιμοποιηθεί ένα νευρωνικό δίκτυο που μαθαίνει από ένωση, λαμβάνοντας υπόψη ότι υπάρχει ένας προφανής τρόπος να χρησιμοποιηθεί ένα δίκτυο το οποίο μαθαίνει από πίσω σφάλμα πολλαπλασιασμού.
Μερικά βιολογικά νευρωνικά δίκτυα είναι γνωστό για να μάθουν από την ενεργό σύνδεση των εισροών. Αναδρομικοί σφάλμα πολλαπλασιασμού δεν έχει παρατηρηθεί σε οποιοδήποτε βιολογικό νευρωνικό δίκτυο.
Αυτό το έγγραφο περιγράφει ενδιαφέρουσες χρήσεις για ένα νευρωνικό δίκτυο μαθαίνει ότι πίσω από σφάλμα πολλαπλασιασμού. Ωστόσο, η εκμάθηση διά της σύνδεσης είναι μια πολύ σημαντική εναλλακτική αλγόριθμο για μάθηση. Σχεδιάζοντας ένα νευρωνικό δίκτυο που μαθαίνει από ένωση για να λύσουμε ένα συγκεκριμένο πρόβλημα μπορεί να είναι ακόμη πιο δύσκολη ότι desgining εναλλακτική νευρωνικό δίκτυο μαθαίνει ότι πίσω από σφάλμα πολλαπλασιασμού, αλλά να μάθουν από τα βιολογικά συστήματα σύνδεσης, καθώς και την ικανότητα μάθησης των βιολογικών συστημάτων είναι προφανής.
4. Βιολογική νευρώνες
4.1 Νευρώνες κελί
Ένα βιολογικό νευρώνες "(πολυπολικό" τύπου, ~4 um κελί σώμα)
Μια νευρώνες είναι είδος κυττάρου που έχει την ικανότητα να λαμβάνουν και να διαβιβάζουν νευρικά σήματα.
Νευρώνες αποτελούν τη βάση των νευρικά συστήματα, που βρέθηκε στα ζώα, τα πουλιά, τα ψάρια και τα έντομα.
Εγκεφάλους με τη μνήμη και τη λογική, απλή και ανακλαστική συστήματα, είναι και οι δύο βασίζονται στις ρυθμίσεις των νευρώνων.
Νευρώνες χρησιμοποιούνται επίσης για να μεταφέρουν σήματα σε μεγάλες αποστάσεις σε ένα δημιούργημα του σώματος, όπως από αισθητήρες στον εγκέφαλο, ή από τον εγκέφαλο προς τους μυς.
Η συμπεριφορά του βιολογικού νευρώνες είναι πολύ περίπλοκη, αλλά τα εξής απλουστευμένη περιγραφή κατακτά την βασική αρχή:
Οι νευρώνες συσσωρεύεται μηνύματα που έλαβε από άλλους νευρώνες, και αν το συνολικό σήμα συσσώρευση υπερβαίνει ένα όριο, οι νευρώνες μεταδίδει το δικό μηνύματα σε άλλους νευρώνες.
4.2 Νευρώνες τμήματα
Τμήματα του βιολογικού νευρώνες
|
Soma
|
Το κυτταρικό σώμα ενός νευρώνες
|
|
Dendrites
|
Fibers με χημικούς υποδοχείς (εισόδους) που εκτείνονται από το κυτταρικό σώμα ενός νευρώνες. Μια νευρώνες συνήθως έχει πολλούς dendrites, dendrites και συχνά έχουν πολλά υποκαταστήματα.
|
|
Axon
|
A fiber με χημικά εκπομπής (εκροές) στην απόληξη, που εκτείνεται από το κυτταρικό σώμα του νευρώνες. Μια νευρώνες έχει ένα ενιαίο axon, και το axon συνήθως έχει πολύ λίγους κλάδους.
|
|
Synapse
|
Μια τέτοια ρύθμιση ότι οι νευρώνες axon του ενός και του άλλου dendrites νευρώνες χωρίζονται από μια πολύ μικρή διαφορά. Σε μια τέτοια ρύθμιση, οι χημικές ουσίες που εκπέμπονται από ένα axon ενός νευρώνες synapse το σταυρό και θα παραληφθούν από την dendrites από τις άλλες νευρώνες. Αυτός είναι ο τρόπος με τον νευρώνες επιρροή άλλων νευρώνων.
|
4.3 Νευρώνες που καίουν
Μια νευρώνες συσσωρεύεται χημικά σήματα από τη dendrites, αν και η συνολική συσσώρευση χημικών υπερβαίνει ένα όριο, εντός χρονικού διαστήματος, οι νευρώνες "των πυρκαγιών," στέλνοντας το δικό της μήνυμα μέσα από τη axon.
Ορισμένοι νευρώνες είναι ικανοί να καίουν παλμούς με τη σειρά του 100 Hz.
Τα σήματα που διέρχεται από νευρώνες συμμετέχουν συσσωρεύσεις (Na) νάτριο, κάλιο (K), και (Cl) ιόντων χλωρίου, με αποτέλεσμα να ηλεκτροχημικού δυναμικού (δηλαδή, τάση).
Η ανάπαυση τάσης (-70 mV) και ψήσιμο τάσης (+30 mV) μπορεί να μετρηθεί ή ακόμη και επηρεάζεται από τα συμβατικά ηλεκτρικά κυκλώματα.
Τα ακόλουθα είναι μια καταγραφή της τάσης αρουραίος νευρώνες ψήσιμο σε ποσοστό περίπου όταν 100 Hz ένα ενιαίο whisker είναι συγκινημένος και πραγματοποιήθηκε από την ανάπαυση θέση:
Ένας αρουραίος νευρώνες ψήσιμο (100 Hz) λόγω κατέχουν whisker.
Παρόλο που το κίνητρο είναι σταθερό, οι νευρώνες μήνυμα είναι γρήγορη pulsing.
4.4 Νευρωνικό δίκτυο
Ο ανθρώπινος εγκέφαλος έχει περίπου 10^11 (100 δισ.) νευρώνες.
Κάθε νευρώνες στον cerebellum λαμβάνει εισροές από όσες 10^4 (10000) synapses.
Παρόλο που η axon και dendrites ενός νευρώνες συχνά εκτείνονται μόνο μερικά μικρόμετρα μακριά από το κυτταρικό σώμα, μερικοί axons είναι σχετικά με τη σειρά του μετρητή στο μήκος.
Ένας εγκέφαλος έχει νευρώνες με σχετικά σύντομες axons ομαδοποιούνται σε περιοχές ή συμπλέγματα.
Ένας εγκέφαλος έχει επίσης δέσμες των νευρώνων με σχετικά μεγάλες axons να συνδέουν περιοχές που χωρίζονται από εκατοστα.
Έτσι ένα ιεραρχημένο δίκτυο της επεξεργασίας στοιχείων σχηματίζεται.
4.5 Νευρωνικό δίκτυο καθεστώς
Το καθεστώς του δικτύου των νευρώνων είναι τόσο ο τρόπος με τον οποίο η νευρώνες είναι συνδεδεμένοι και σε όλα τα σήματα της synapses.
Είναι ασαφές το πόσο πολύ την κατάσταση θα χαθεί εάν ένας εγκέφαλος ήταν tranquilized στο συνολικό αεργίας για οποιοδήποτε χρονικό διάστημα.
Κάποιος μπορεί να φανταστεί κανείς πληροφορίες βιώσιμη μόνο από τα σήματα που διακινούνται μέσω του δικτύου, και δεν με την ίδια σύνδεση δικτύου, όπως κυτταρικά αυτόματα προσομοιώσεις σαν Conway's "Game of Life", απλή Dynamic Random Access Memory (DRAM) τσιπ, και αντηχεί σε ένα θάλαμο.
4.6 Νευρωνικό δίκτυο Μάθηση
Συμβατική μάθηση συμβαίνει όταν οι ιδιότητες των dendrites αλλαγή σε synapse να γίνει περισσότερο ή λιγότερο αποτελεσματική κατά την παραλαβή χημικά σήματα από έναν axon.
Οι λόγοι για τους οποίους οι αλλαγές αυτές είναι πολύπλοκες, αλλά το αποτέλεσμα είναι ότι υπάρχουν νευρώνες απαιτεί ένα διαφορετικό συνδυασμό synapse εισροές να προκαλέσει μία σήμα εξόδου.
5. Τεχνητή νευρώνες
5.1 Ορισμός
Μια "τεχνητή νευρώνες" είναι ένας αλγόριθμος ή μια φυσική συσκευή η οποία υλοποιεί ένα μαθηματικό μοντέλο εμπνευσμένο από τη βασική συμπεριφορά του βιολογικού νευρώνες.
Μια νευρώνες συσσωρεύεται μηνύματα που έλαβε από άλλους νευρώνες ή εισροές (π.χ. αισθητήρες), και αν το συνολικό σήμα συσσώρευση υπερβαίνει ένα όριο, οι νευρώνες μεταδίδει ένα μήνυμα σε άλλες νευρώνες ή τις εκροές (π.χ., effectors).
Κάθε μαθηματικό μοντέλο που υιοθετεί την ιδέα της συσσώρευσης πολλαπλές εισόδους και να αποτελέσουν ένα ενιαίο εξόδου (που επιτείνει την σχετική ένταση των εισροών σε σχέση με κάποιο ονομαστικό επίπεδο) μπορεί να χρησιμοποιηθεί για την αναγνώριση προτύπων.
Τα μοντέλα αυτά μπορούν να αποτελέσουν τη βάση μιας τεχνητής νευρώνες.
Αν η επιρροή της κάθε εισροής μπορεί να τροποποιηθεί, τότε μπορεί να υποστηρίξει το μοντέλο μάθησης.
5.2 Ενεργοποίηση λειτουργίας
Μια "ενεργοποίηση λειτουργία" είναι μια μαθηματική συνάρτηση που μετατρέπει εισροές τιμές κάτω από μια ιδιαίτερη αξία σε μια σχετικά χαμηλή τιμή εξόδου και εισόδου μετατρέπει τιμές πάνω από μια ιδιαίτερη αξία σε μια σχετικά υψηλή τιμή εξόδου.
Μια "ενεργοποίηση λειτουργία" χρησιμοποιείται για να μετατρέψει το σταθμισμένο άθροισμα των εισροών αξίες του νευρώνες σε μια τιμή που αντιπροσωπεύει η παραγωγή της νευρώνες.
Μια "sigmoid" λειτουργία είναι μια γενική κατηγορία των λειτουργιών που Ασυμπτωτικά ομαλή προσέγγιση ένα κατώτερο όριο για την είσοδο αξίες προσεγγίζουν αρνητικά το άπειρο, και Ασυμπτωτικά προσέγγιση ως ανώτατο όριο για τις τιμές εισόδου που προσεγγίζουν θετικά το άπειρο.
Ένα ειδικό sigmoid λειτουργία είναι η λειτουργία "logistic sigmoid":
Η λειτουργία "Logistic Sigmoid": 1 / ( 1 + Exp( -x ) )
Η "logistic sigmoid" λειτουργία μπορεί να χρησιμοποιηθεί ως "ενεργοποίηση λειτουργεί" για ένα μαθηματικό μοντέλο μιας νευρώνες.
Το μαθηματικό παράγωγο του "logistic sigmoid" μπορεί να υπολογιστεί ως μια φόρμουλα, είναι εύκολο να υπολογίσει μια συναφή τύπο μάθησης.
5.3 Νευρωνικό δίκτυο εισροών
Ένα "νευρωνικό δίκτυο εισροών" αποτελεί συμβολή σε ένα νευρωνικό δίκτυο.
Νευρωνικό δίκτυο εισροών
"Input" είναι η αριθμητική τιμή της εισόδου.
5.4 Νευρωνικό δίκτυο παραγωγής
Ένα "νευρωνικό δίκτυο παραγωγής" αποτελεί παραγωγή ενός νευρωνικών δικτύων.
Νευρωνικό δίκτυο παραγωγής
"Output" είναι η αριθμητική τιμή του αποτελέσματος.
"Error" είναι μια αριθμητική τιμή που αντιπροσωπεύει τη διαφορά μεταξύ της αξίας της παραγωγής και ένα "Desired" αξία:
Error = (Output - Desired); // Derived from: Output = Desired + Error;
Η "Desired" αξία αντιπροσωπεύει μια επιθυμητή τιμή, ή μια ιδανική τιμή, ή μια σωστή τιμή, ότι το νευρωνικό δίκτυο θα πρέπει να παράγουν ως έξοδο σε απάντηση στις συγκεκριμένες εισροές.
Το σφάλμα αξία υπολογίζεται και αποδίδεται σε "Error" από έναν αλγόριθμο εκπαίδευσης.
Η τιμή σφάλματος είναι τα σχόλιά τους για την νευρωνικών δικτύων.
Το νευρωνικό δίκτυο μπορεί να προσαρμοστεί για τη μείωση της διαφοράς μεταξύ των αποτελεσμάτων και των επιδιωκόμενων αξίες? Δηλαδή, το νευρωνικό δίκτυο μπορεί να μάθει, και μπορούν έτσι να μειώσει μελλοντικά λάθη.
5.5 Νευρώνες σώμα
Ένα "σώμα νευρώνες" αντιπροσωπεύει το σώμα του νευρώνες, η οποία συσσωρεύεται εισροών εισφορών, και προσθέτει μια προκατάληψη, και μετατρέπει την τιμή που προκύπτει από την "ενεργοποίηση λειτουργεί" για να παράγουν μία τιμή παραγωγής.
Νευρώνες σώμα
"InputAccumulator" είναι μια τιμή που αντιπροσωπεύει το συσσωρευμένο εισροών από νευρώνες δεσμούς οποίων οι έξοδοι είναι συνδεδεμένοι με το σώμα νευρώνες.
"Bias" είναι μια τιμή που είναι ρυθμιζόμενο σε συνδυασμό με τη συσσωρευμένη αξία των εισροών.
"Output" είναι μια αριθμητική τιμή που αντιπροσωπεύει την τιμή εξόδου του νευρώνες.
Η αξία της παραγωγής υπολογίζεται με τον παρακάτω τύπο:
Output = ActivationFunction( Bias + InputAccumulator );
"ErrorAccumulator" είναι μια αριθμητική τιμή που αντιπροσωπεύει συσσωρευμένων λαθών.
Λαμβάνοντας υπόψη μια συγκεκριμένη τιμή εξόδου νευρώνες του σώματος, και δίνεται μια συγκεκριμένη παραγωγή τιμή σφάλματος, η συσσωρευμένη αξία λάθους είναι προσαρμοσμένο σύμφωνα με τον ακόλουθο μαθηματικό τύπο:
ErrorAccumulator += Output * (1 - Output) * OutputError;
"Rate" είναι μια αξία που επηρεάζει τον τρόπο με τον οποίο η αξία "Bias" αλλαγές σε απάντηση της "ErrorAccumulator" αξία:
Bias += (-1) * Rate * ErrorAccumulator;
5.6 Νευρώνες σύνδεση
Μια "σύνδεση νευρώνες" αντιπροσωπεύει μια σύνδεση μεταξύ:
(1) για τη συνεισφορά των νευρωνικών δικτύων και την εισροή ενός σώματος νευρώνες?
ή,
(2) εκροής νευρώνες του σώματος και την εισροή ενός άλλου οργανισμού νευρώνες?
ή,
(3) εκροής νευρώνες του σώματος και της εκροής των νευρωνικών δικτύων.
Νευρώνες σύνδεση
"Input" είναι μια κρυφή μνήμη των εισροών προς το σύνδεσμο.
"Weight" είναι ρυθμιζόμενο αξία που επηρεάζει τον τρόπο μήνυμα σφάλματος αξίες και τις αξίες propagate μέσω του συνδέσμου.
"Output" είναι μια κρυφή μνήμη της εξόδου του συνδέσμου.
Η αξία υπολογίζεται σύμφωνα με τον ακόλουθο τρόπο:
Output = Weight * Input;
"Error" είναι μια κρυφή μνήμη του σφάλματος της σύνδεσης.
"WeightedError" είναι μια κρυφή μνήμη του σφάλματος της σύνδεσης, σταθμισμένο με το βάρος παράγοντα:
WeightedError = Weight * Error;
"Rate" είναι μια αξία που επηρεάζει τον τρόπο με τον οποίο η αξία "Weight" αλλαγές σε απάντηση της "Error" αξία και την αξία "Input".
Κατά τη διάρκεια της μάθησης νευρωνικών δικτύων, το "Weight" αξίας ρυθμίζεται κατά τον ακόλουθο τρόπο:
Weight += (-1) * Rate * Input * Error;
5.7 Νευρωνικό δίκτυο
Ένα "νευρωνικό δίκτυο" περιλαμβάνει τις εισροές, τις εκροές, νευρώνες φορείς, καθώς και συνδέσμους.
Η παρακάτω εικόνα απεικονίζει ένα απλό νευρωνικό δίκτυο, με δύο εισόδους και δύο νευρώνες οργανισμούς, σε ένα πρώτο στρώμα, και ένα μόνο νευρώνες σε ένα δεύτερο στρώμα, και μία έξοδο.
Παράδειγμα μιας νευρωνικών δικτύων
Κατά τη διάρκεια της προσομοίωσης για νευρωνικό δίκτυο, τιμές εισροών propagate προς τα εμπρός μέσω των links νευρώνες και οργανισμούς, και τελικά να καταλήξουμε σε αποτελέσματα.
Παράδειγμα προς τα εμπρός πολλαπλασιασμό σε ένα νευρωνικό δίκτυο
Κατά τη διάρκεια της κατάρτισης, είναι λάθος αξίες που παρέχονται στις εξόδους, και αυτά τα λάθη προπαγανδίσει τα πίσω μέσω των νευρωνικών δικτύων, με αποτέλεσμα τη μεταβολή του βάρους και των τάσεων σε νευρώνες φορείς και σύνδεσμοι.
Παράδειγμα πίσω σφάλμα πολλαπλασιασμού σε ένα νευρωνικό δίκτυο
5.8 Προσομοίωση νευρωνικών δικτύων
Ορισμός:
"Δίκτυο προσομοίωση" είναι η διαδικασία που χρησιμοποιείται για να προπαγανδίσει δίκτυο των εισροών μέσω των δεσμών και των φορέων νευρώνες μέχρι να φθάσει στο δίκτυο εξόδους.
Δίκτυο περιλαμβάνει την προσομοίωση της προσομοίωσης όλων των συστατικών και των δεσμών νευρώνες φορείς.
Προσομοιώσεις χωρίς βρόχους ή χρόνο:
Υπάρχουν πολλές πιθανές συνθέσεις του δικτύου που αφορούν βρόχους.
Υπάρχουν πολλοί νευρώνες μοντέλα που εξαρτώνται από το χρόνο.
Όμως, ορισμένες από τις πλέον κοινές εφαρμογές των τεχνητών νευρώνων δεν συνεπάγονται βρόχους δεν χρόνου.
Το ακόλουθο είναι ένα μαθηματικό μοντέλο νευρώνες του σώματος:
Output = ActivationFunction( Bias + InputAccumulator );
Με αυτό το μοντέλο νευρώνες, και ένα δίκτυο χωρίς "βρόχους," εμείς απλώς ξεκινήσει από τις εξωτερικές εισροές, τις εκροές του υπολογίζουν το πρώτο στρώμα των νευρώνων, και την προμήθεια αυτών των αποτελεσμάτων, όπως εισροές για την επόμενη στρώση, υπολογίζουν ότι οι εκροές για στρώμα, και συνεχίζεται μέσω των στρωμάτων νευρώνες μέχρι την τελική εκροές υπολογίζονται.
Βρόχους:
Ένα δίκτυο μπορεί να έχει διασυνδέσεις με τη μορφή των βρόχων (ή "κύκλων)."
Για παράδειγμα, η απόδοση του νευρώνες μπορούν να συνδεθούν απευθείας σε μια είσοδο του ίδιου νευρώνες, προκαλώντας "ανατροφοδότηση."
Ένα άλλο παράδειγμα είναι η παραγωγή # 1 νευρώνες που συνδέονται με την είσοδο της νευρώνες # 2, και των εκροών των νευρώνες # 2 που συνδέονται με την είσοδο της νευρώνες # 1.
Εάν μπορείτε να ξεκινήσετε από ένα σημείο σε ένα ίχνος δικτύου και μια διαδρομή μέσω νευρώνες και συνδέσεις, υπακούοντας την μονόδρομη ροή των σημάτων, και τελικά να φτάσουμε σε αυτό το ίδιο σημείο εκκίνησης, τότε ο δρόμος είναι ένας βρόχος.
Βρόχους εισαγάγει την ενδιαφέρουσα δυνατότητα των σημάτων που προκύπτουν γύρω από το δίκτυο για αόριστο χρονικό διάστημα.
Ορισμένα απλά μοντέλα υποθέτουν ότι παίρνει ένα συγκεκριμένο χρονικό διάστημα για να μεταφέρουν σήματα μέσω μεμονωμένων νευρώνων.
Σε τέτοια μοντέλα, τα σήματα κυκλοφορούν μέσω βρόχων με λίγους νευρώνες ταχύτερα από ό, τι μηνύματα κυκλοφορούν μέσω βρόχων με πολλούς νευρώνες.
Μια νευρώνες που συνδέονται με τον εαυτό του θα έχει ο γρηγορότερος ρυθμός μήνυμα κυκλοφορία.
Εάν ένα νευρώνες έχει μια εισροή X, βάρους W, μια μεροληψία B, και ένα μη αρνητικό Y εξόδου (π.χ., 0.0 -> 1.0), τότε μπορούμε να αποτελούν απλώς ταλαντωτή με τον καθορισμό W = (-8) και B = +4 και συνδέει Y να X?
κάθε φορά που προσομοιώνουν την νευρώνες, το μήνυμα θα toggled προς την αντίθετη κατάσταση.
Ένα δίκτυο με βρόχοι μπορεί να είναι απασχολημένοι με δραστηριότητα ακόμη και όταν δεν δέχεται εξωτερικά σήματα (ερεθίσματα) ως εισροές.
Τα κυτταρικά αυτόματα κανόνες Conway's "Game of Life" θα μπορούσε να εφαρμοστεί σε ένα νευρωνικό δίκτυο, το οποίο σας δίνει μια μικρή ένδειξη της πολυμορφίας της δραστηριότητας που μπορεί να συμβεί σε ένα νευρωνικό δίκτυο με βρόχους.
Πεπερασμένη-κράτος μηχανές (FSM), oscillators, πτητικών μνήμη (σε αντίθεση με την εκμάθηση μέσω μεταβαλλόμενες συνήθειες βάρη), καθίσταται δυνατή λόγω looping.
Εάν ένα δίκτυο έχει βρόχους, δεν μπορούμε να επικαιροποιήσουν τις εξόδους μέχρι να υπολογίζουν όλες τις εκροές? Έτσι, θα απαιτήσει μια προσωρινή μνήμης για την αποθήκευση υπολογίζεται εξόδους μέχρι να υπολογίζουν όλες τις εκροές, και τότε μπορούμε να δεσμεύσει τη νέα παραγωγή αξιών στην νευρώνων στο δίκτυο.
Κάθε μέθοδος που ενημερώνει εκροών στο ίδιο το δίκτυο με προοδευτικό τρόπο, αντί για ένα all-at-μία φορά τον τρόπο, εισάγει μια αυθαίρετη παραγγελία σε χρόνο που οδηγεί στο χάος.
Φυσική προσομοιώσεις που αφορούν συνδυασμό οντότητες, όπως οι πλανήτες σε τροχιά ένα αστέρι με την αμοιβαία βαρυτική δυνάμεων μεταξύ όλων των φορέων, απαιτούν το ίδιο είδος προσέγγισης: υπολογιστεί το καθαρό δυνάμεις για την ενημέρωση όλων των φορέων πριν από οποιαδήποτε ταχύτητα και θέση.
Time-εξάρτηση:
Ένα απλό δίκτυο συνήθως περιλαμβάνει την προσομοίωση των εισροών που προκαλούν τα επιθυμητά αποτελέσματα μετά από μία και μόνη φορά βήμα προσομοίωσης.
Σε μια τέτοια προσομοίωση, θεωρούμε ως προς "τον αριθμό των επαναλήψεις" και όχι "του χρόνου σε δευτερόλεπτα."
Εκεί δεν χρειάζεται να είναι οποιαδήποτε αλληλογραφία μεταξύ επαναλήψεις και μία χρονική κλίμακα.
Ένα σύστημα μπορεί να σχεδιαστεί για να κάνει ένα δίκτυο προσομοίωσης (επανάληψη) μόνον όταν είναι διαθέσιμες νέες εισροές, οι οποίες ενδέχεται να προκύψουν σε ακανόνιστα διαστήματα του χρόνου.
Ωστόσο, θεωρούν ένα μαθηματικό μοντέλο μιας νευρώνες που προσπαθεί να προσομοιώσουν την έξοδο pulsing πτυχή του βιολογικού νευρώνες.
Η pulsing θα μπορούσε να χαρακτηριστεί, από πλευράς χρόνου, όπως pulsing σε μια συγκεκριμένη συχνότητα ή έχοντας παλμούς του οποίου η καμπύλη εκτείνεται για ένα συγκεκριμένο χρονικό διάστημα.
Μπορούμε να έχουμε άλλο χρόνο που εξαρτώνται από τα στοιχεία σε ένα μαθηματικό μοντέλο μιας νευρώνες, όπως εισροές συσσωρευτής, η αξία των οποίων γίνεται από εισφορές των εισροών, αλλά έχει μια διαρροή ανάλογη με τη σημερινή του αξία.
Σε γενικές γραμμές, μπορούμε να βρούμε ένα ηλεκτρικό κύκλωμα αναλογία για τα στοιχεία που υπακούουν ορισμένες μαθηματικές εξισώσεις, και έτσι μπορεί κανείς να θεωρούν νευρώνες ως ένα κύκλωμα με αντιστάσεις, πυκνωτές, και ένα μη γραμμικό ενισχυτή.
Ακριβώς όπως ένα κύκλωμα μπορεί να εμφανίζουν πολύπλοκες φορά που εξαρτώνται από τη συμπεριφορά, την απόδοση του νευρώνες μπορεί να θεωρηθεί ως μια λειτουργία που εξαρτάται από τις εισροές και ώρα σε ένα περίπλοκο τρόπο.
5.9 Αναδρομικοί σφάλμα πολλαπλασιασμού
Ορισμός:
"Αναδρομικοί σφάλμα πολλαπλασιασμού" είναι μια μαθηματική διαδικασία που ξεκινά με το λάθος στην έξοδο των νευρωνικών δικτύων και propagates αυτό το λάθος πίσω από το δίκτυο προς απόδοση τιμών εκροών σφάλμα για όλους τους νευρώνες του δικτύου.
Αναδρομικοί σφάλμα πολλαπλασιασμού τύπους:
Το λάθος αξίες κατά το νευρωνικό δίκτυο αποτελέσματα υπολογίζονται με τον παρακάτω τύπο:
Error = (Output - Desired); // Derived from: Output = Desired + Error;
Η συσσώρευση λάθους σε νευρώνες σώμα προσαρμόζεται ανάλογα με την έξοδο νευρώνες του σώματος και η έξοδος σφάλματος (που προσδιορίζονται από τους συνδέσμους που σχετίζονται με το σώμα νευρώνες).
Κάθε λάθος έξοδο αξία συμβάλλει στην πλάνη του συσσωρευτή με τον ακόλουθο τρόπο:
ErrorAccumulator += Output * (1 - Output) * OutputError;
Κατά μία έννοια, όλα τα παραγόμενα λάθη κατά την επόμενη στρώση διαρρέουν τα πίσω μέσω της εισόδου βάρη και συσσωρεύονται στην έξοδο του νευρώνες σε ένα προηγούμενο στρώμα.
Αυτή η συσσωρευμένη αξία πολλαπλασιάζεται με μια τιμή που είναι μεγαλύτερη όταν η τρέχουσα παραγωγή του νευρώνες είναι πιο ουδέτερη (οι περισσότεροι "αναποφάσιστοι)" και είναι τουλάχιστον, όταν η παραγωγή της νευρώνες είναι πιο ακραίες (πολύ "ορισμένων)."
Βάρος αλλαγή και η μεροληψία της αλλαγής του τύπου:
Η βάση της μάθησης είναι η προσαρμογή των βαρών και η μεροληψία αξιών σε μια προσπάθεια να μειωθεί η μελλοντική παραγωγή λάθη.
Learning "Rate" είναι μια αριθμητική τιμή που ουσιαστικά δείχνει το πόσο γρήγορα νευρώνες ρυθμίζει το βάρος και την προκατάληψη τιμές σύμφωνα με το λάθος αξίες.
Ο ακόλουθος τύπος δείχνει πώς να αλλάξουμε τα βάρη του νευρώνες με ένα συγκεκριμένο σύνολο αξιών εισροών και των εκροών τιμή σφάλματος:
Weight += (-1) * Rate * Input * Error;
Ο ακόλουθος τύπος δείχνει πώς να αλλάξουμε τις προκαταλήψεις μιας δεδομένης της τρέχουσας νευρώνες εξόδου σφάλμα για την νευρώνες:
Bias += (-1) * Rate * Error;
6. Εκπαίδευση μιας νευρωνικών δικτύων
6.1 Κατάρτιση διαδικασία
Μπορεί κανείς να ξεκινήσει με έναν εκπαιδευμένο δίκτυο και να συνεχίσει να περιορίσουν την παραγωγή τους λάθος με περαιτέρω κατάρτιση, αλλά συχνά αρχίζει με ανεκπαίδευτους δικτύου.
Πριν από την κατάρτιση, να επιλέξει τυχαία τιμές για όλα τα βάρη όλων των νευρώνων στο δίκτυο.
I παρατηρήθηκαν προβλήματα όταν τυχαία επιλεγμένων αξιών κατά το ενδιάμεσο χρονικό διάστημα [ -1.0, +1.0 ], και δεν είχα προβλήματα όταν θα επιλεγεί τυχαία από το διάστημα αξίες [ +0.1, +1.0 ].
Αναφέρω αυτές τις παρατηρήσεις, αλλά θα μπορούσαν να οφείλονται σε λάθη μου.
Ο σκοπός του είναι τυχαία βάρη για την άμβλυνση της δυνατότητας τυχόν παθολογικές καταστάσεις σε ένα δίκτυο.
Αν όλα νευρώνες σε ένα δίκτυο που ξεκίνησε με τα ίδια σταθμά, το δίκτυο δεν θα είχε καμία βάση για την αύξηση της διαφοροποίησης μεταξύ των νευρώνων.
Έχω παρατηρηθεί ότι ο καθορισμός τιμών σε όλες τις προκαταλήψεις μηδέν (0.0) είναι αποδεκτή.
Ένα εκπαιδευτικό πακέτο περιλαμβάνει περνάει μια εκπαίδευση που πολλές φορές, ίσως και εκατοντάδες ή χιλιάδες φορές.
Για κάθε περάσει από την εκπαίδευση που θα εξετάσει κάθε στοιχείο που κατά την εκπαίδευση.
Ένα στοιχείο που έχει η κατάρτιση ενός συνόλου των εισροών, καθώς και μια δέσμη των επιθυμητών αποτελεσμάτων.
Θα εξομοιωθεί το δίκτυο, χρησιμοποιώντας το σύνολο των συντελεστών παραγωγής που καθορίζεται από το είδος της κατάρτισης.
Η προσομοίωση των αποδόσεων της παραγωγής αξιών.
Εμείς προπαγανδίσει τα λάθη της σκέψης πίσω νευρωνικών δικτύων και προκειμένου να υπολογιστεί η έξοδος για όλα τα σφάλματα νευρώνων.
Ενημερώνουμε όλα τα βάρη και μεροληψία.
Προσοχή: Ένα ακαδημαϊκό κείμενο που συζητήθηκε νευρωνικών δικτύων που υποστηρίζει διέρχεται το σύνολο της εκπαίδευσης και που μόνο συγκεφαλαίωση βάρος αλλαγές και μεροληψία.
Μετά διέρχεται το σύνολο της εκπαίδευσης που έχουμε ένα σύνολο των ποσών που αλλάζει το βάρος και η μεροληψία αλλαγές.
Παίρνουμε αυτά τα ποσά και ενημέρωση όλων των τάσεων και σταθμά.
Τα εν λόγω ποσά θα μπορούσε να είναι τεράστιο για τα μεγάλα σύνολα κατάρτισης - και η συνακόλουθη άλμα σε βάρος του διαστήματος θα πρέπει να είναι υπερβολικά μεγάλες.
Πιστεύω λοιπόν πως από τη διαίρεση του αριθμού των αντικειμένων κατάρτισης, για να πάρετε το μέσο βάρος αλλαγή αξιών και μέσο όρο προκατάληψη αλλαγή αξιών, θα ήταν εύλογο.
Υπάρχει κάτι ελκυστικό για υπολογιστική ένα ενιαίο φορέα αλλαγής βάρους για κάποιον που παίρνει το σύνολο της εκπαίδευσης που κατά την εξέταση.
Δεν ξέρω αν εγώ απλά έκαναν λάθος στην εφαρμογή της ιδέας, αλλά είμαι σχεδόν παραιτηθεί από την εξ ολοκλήρου από νευρωνικά δίκτυα, λόγω του τρόπου με τον οποίο ελάχιστα πράγματα έγιναν καμπή.
Στη συνέχεια, όταν προσπάθησα το αφελές εναλλακτική λύση, δηλαδή λήψη ενημερωμένων εκδόσεων σε κάθε σημείο της κατάρτισης, τα πράγματα λειτούργησαν τέλεια.
Λαμβάνοντας υπόψη το σύνολο της εκπαίδευσης που πριν κάνει μια ενημέρωση έχει κάποια πλεονεκτήματα και μειονεκτήματα:
Πλεονέκτημα:
Ενιαία εκπαίδευση σε αντικείμενα κατάρτισης που με ακραίες πλάνη (δηλαδή, κακή εκπαίδευση διάταξη) δεν θα κάνει μεγάλη συμβολή στην ενημέρωση, διότι θα κυριεύσει από την επιρροή των "ορθών" δεδομένων?
Μειονέκτημα:
Αν N είναι ο αριθμός των στοιχείων στην εκπαίδευση που σας, σας ρυθμό προόδου προς το βέλτιστο βάρος του φορέα θα χωριστεί από N.
Ή, για μια ορισμένη απόσταση θα έχετε μόνο ένα κλάσμα κατεύθυνση σημάδια στην πορεία σε σύγκριση με την αφελή προσέγγιση?
Ίσως αυτή η τεχνική θα δουλέψει για σας, αλλά να δοκιμάσετε την αφελή προσέγγιση πριν να παραχωρήσει για νευρωνικά δίκτυα σε απόλυτη απογοήτευση!
6.2 Η αποτυχία να μειωθεί το σφάλμα
Κατάρτιση ενδέχεται να αποτύχουν να μειώσουν το συνολικό σφάλμα για την κατάρτιση σειράς.
Είναι σημαντικό να αντιληφθούν μια αποτυχία να μειωθεί το σφάλμα.
Η παρακάτω λίστα περιγράφει αιτίες της αποτυχίας για τη μείωση των σφαλμάτων, καθώς και τις πιθανές λύσεις.
Τα στοιχεία του καταλόγου είναι εισηγμένες στο κατά προσέγγιση σειρά των πιθανοτήτων, με το πρώτο θέμα είναι πιο πιθανή.
(1) Το βάρος συνδυασμός έχει φτάσει σε ένα τοπικό ελάχιστο της επιφάνειας λάθους, και έχει "κολλήσει?"
Λύση: Ξεκινήστε μια νέα προσομοίωση με τυχαίους νέα βάρη.
(2) Το δίκτυο διαθέτει πολύ λίγους νευρώνες στρώματα ή να κωδικοποιήσουν όλα τα μοντέλα στην εκπαίδευση που σας?
Λύση: προσοχή, να ψυχαγωγήσει η δυνατότητα προσθήκης ή στρώματα νευρώνων.
(3) Ένα ή περισσότερα στοιχεία στην εκπαίδευση που σας έρχεται σε αντίθεση ή είναι κατάφωρα ασυμβίβαστο με τη δική σας κατάρτιση άλλων αντικειμένων?
Λύση: Ελέγξτε τα δεδομένα που έχουν τεθεί για παρατυπίες.
Βρείτε τα ελεγχόμενα στοιχεία που αποφέρουν τα πλέον σφάλμα για σας εκπαιδευμένο δίκτυο.
Αναζητήστε στο μέσο βάρος σε τεχνικές αλλαγές σε ολόκληρο το σύνολο δεδομένων για να μειώσει την επιρροή των τυχόν κακές περιπτώσεις.
(4) Η μάθηση είναι πολύ υψηλό ποσοστό (πάνω από οτιδήποτε 1.0 είναι μάλλον υπερβολικό), και οι ενημερώσεις πάντα υπέρβαση του στόχου?
Λύση: Μείωση συντελεστή μάθησης.
(5) Η μάθηση είναι πολύ χαμηλό ποσοστό (κάτω 0.01 οτιδήποτε μπορεί να είναι πολύ μικρή), και το δίκτυο είναι πραγματικά συγκλίνοντα για τον ιδανικό συνδυασμό βάρους - αλλά είναι πολύ αργό?
Λύση: Αύξηση ποσοστού μάθησης.
Κατάρτιση σε δύο στρώματα, τρεις νευρώνες του δικτύου ώστε να ταιριάζει με το αποκλειστικό-ή (xor) λειτουργία, μπορεί, παρά την απλότητα του λειτουργία, αδυνατούν να συγκλίνουν.
Αυτό μπορεί να είναι εκπληκτικό και απογοητευτικό.
Ωστόσο, η λύση να είναι απλώς που συνδέουν νευρώνες όλα τα βάρη στις νέες τυχαίες τιμές και στη συνέχεια επιχειρούν να εκπαιδεύσουν εκ νέου το δίκτυο.
Στην περίπτωση της κατάρτισης ενός δικτύου για να ταιριάζει με το αποκλειστικό-ή (xor) λειτουργία, τυχαία θετικά βάρη φαίνεται να οδηγεί στην επιτυχία της διά βίου μάθησης, κάθε φορά, ενώ ορισμένοι συνδυασμοί θετικών και αρνητικών βάρη μερικές φορές προκαλεί η κατάρτιση να αποτύχει δραματικά.
Η ανάγκη για την επιλογή νέων τυχαία αρχικά βάρη για να ανακτήσει από μια αποτυχία να συγκλίνουν είναι η ατυχής συνέπεια του συνδυασμού της μαθησιακής διαδικασίας.
Η διαδικασία εκμάθησης είναι ουσιαστικά μια παγκόσμια αναζήτηση για ελάχιστα από απότομη κάθοδο για μία επιφάνεια και το δυναμικό για την παρουσία του ένα "τοπικό ελάχιστο" στην οποία η αναζήτηση μπορεί να γίνει παγιδευμένα.
6.3 Συνολικά κατάρτισης λάθους
Το συνολικό σφάλμα του δικτύου μπορεί να χαρακτηριστεί από την πλατεία-ρίζα του μέσου όρου των σφαλμάτων στο τετράγωνο ή "root-σημαίνει-πλατεία" (RMS).
Το σφάλμα σε κάθε ειδικό δίκτυο παραγωγής δίνεται από τον ακόλουθο μαθηματικό τύπο:
Error = (Output - Desired);
Το άθροισμα των σφαλμάτων στο τετράγωνο για την κατάρτιση ενός ενιαίου σημείου δίνεται από τον ακόλουθο μαθηματικό τύπο:
double squaredError = 0.0;
foreach (NeuralNetworkOutput output in ListOfOutputs)
{
squaredError += (output.Error * output.Error);
}
Το άθροισμα των σφαλμάτων στο τετράγωνο για το σύνολο των στοιχείων σε μια εκπαίδευση που είναι το άθροισμα των σφαλμάτων στο τετράγωνο των επιμέρους στοιχείων. Οι παρακάτω κώδικα δείχνει πώς τα σφάλματα στο τετράγωνο για το σύνολο των αντικειμένων της κατάρτισης μπορεί να υπολογιστεί:
double squaredError = 0.0;
for
(
int trainingItemIndex = 0;
trainingItemIndex < totalTrainingItems;
trainingItemIndex++
)
{
trainingSet.SetAllInputNodeValues( trainingItemIndex );
Simulate( propagationIterations );
trainingSet.SetAllOutputNodeErrorValues( trainingItemIndex );
PropagateErrors( propagationIterations );
UpdateWeightsAndBiases();
foreach (NeuralNetworkOutput output in ListOfOutputs)
{
squaredError += (output.Error * output.Error);
}
}
Η συνολική root-σημαίνει-(RMS) πλατεία του λάθους δίνεται από την τετραγωνική ρίζα του μέσου όρου των σφαλμάτων ορθογωνισμένη:
double rmsError = Math.Sqrt( squaredError / (double)totalTrainingItems );
Αυτή η τιμή είναι ένας τρόπος για να χαρακτηριστεί το συνολικό σφάλμα του δικτύου κατάρτισης, λαμβάνοντας υπόψη όλες τις περιπτώσεις.
7. Μάθηση
Μάθηση συμβαίνει όταν το βάρος και τη μεροληψία των αξιών νευρώνες συνδέσμους και οργανισμούς νευρώνες έχουν αναπροσαρμοστεί σύμφωνα με καθορισμένες δίκτυο των εισροών και των εκροών λάθος αξίες.
Εξετάσουν μια νευρωνικό δίκτυο με δύο εισόδους (x1 και x2), και δύο συνδέσεις (με βάρη w1 και w2), και ένα σώμα νευρώνες και μία έξοδο (y).
Νευρωνικό δίκτυο με δύο εισόδους, και ένα σώμα νευρώνες και μία έξοδο
Εμείς αυτό το τρένο νευρώνες με την παροχή των εισροών, εκροών την πληροφορική, τους υπολογιστές του λάθους, υπολογιστική βάρος και η μεροληψία αλλαγές, και την αναπροσαρμογή των βαρών και την προκατάληψη, που φθάνουν σε νέα βάρη ( w1', w2' ).
Υπάρχει ένα πολύ ενδιαφέρον τρόπο για να οπτικοποιήσετε αυτή τη διαδικασία.
Μπορούμε να υπόψη το σύνολο των σταθμών ως φορέα στον πολυδιάστατο χώρο. Για παράδειγμα, για δύο σταθμά έχουμε το φορέα W = (w1, w2) σε ένα δισδιάστατο "χώρο βάρος."
Όταν τα βάρη είναι προσαρμοσμένο, έχουμε ένα νέο βάρος φορέα W' = (w1',w2').
Μπορούμε να οπτικοποιήσετε αυτό ως ένα σημείο W διακινούνται σε ένα νέο σημείο W' ως μέρος μιας διαδικασίας που να ελαχιστοποιεί το σφάλμα εξόδου.
Κανονικά δεν θα μπορούσε να υπολογιστεί το σφάλμα εξόδου για όλους τους δυνατούς συνδυασμούς βάρος, γιατί η ελπίδα είναι ότι το βάρος της διαδικασίας προσαρμογής θα αποτελεσματικά προχωρήστε προς το καλύτερο συνδυασμό.
Ωστόσο, ας το οικόπεδο επιφανείας που ουσιαστικά δείχνει πόσο καλά μια νευρώνες πληροί όλα τα στοιχεία ενός κατάρτισης που ως συνάρτηση των δύο σταθμά:
Άθροισμα των σφαλμάτων στο τετράγωνο για μια εκπαίδευση που ορίζεται ως συνάρτηση των δύο σταθμά (w1, w2)
Ουσιαστικά, ο στόχος της μάθησης είναι να κατέλθει στο χαμηλότερο επίπεδο αυτής της επιφάνειας, όπου λάθος είναι να ελαχιστοποιηθούν.
Μόλις βρούμε το σημείο W = (w1, w2) ότι η ελάχιστη αξία των αποδόσεων στις εν λόγω επιφάνειας, η μάθηση έχει τελειώσει και τότε θα μπορούν απλά να χρησιμοποιήσετε το εκπαιδευμένο νευρώνες.
Το ακόλουθο γράφημα δείχνει την έξοδο μιας εκπαιδευμένο νευρώνες και σε συνάρτηση με όλες τις πιθανές εισροές X = (x1, x2):
Νευρώνες εξόδου ως συνάρτηση δύο εισόδους (x1, x2) για ένα συνδυασμό που να ελαχιστοποιεί το βάρος τετραγωνικού σφάλματος
Ακόμα κι αν το σταθμισμένο ποσό για την εν λόγω δύο νευρώνες εισόδου είναι απλά (w1*x1 + w2*x2), η ενεργοποίηση λειτουργία μετατρέπει μια απλή περιστροφή στο αεροπλάνο σε ένα βράχο.
Αυτή η επιφάνεια έχει τις σωστές τιμές εξόδου για όλους τους συνδυασμούς των εισροών (x1, x2) καθορίζεται από μας την κατάρτιση που καθορίστηκαν.
Αλλά μπορείτε να φανταστείτε πόσο εισόδου φορέων X = (x1, x2) παρόμοιες με τις αξίες της κατάρτισης θα μπορούσε επίσης να οδηγήσει στην ορθή απόδοση τιμών? Αυτό το χαρακτηριστικό των νευρωνικών δικτύων λέγεται "γενίκευση" και είναι η κύρια αξία των νευρωνικών δικτύων.
Όπως μας προσπάθεια να "κατέλθει" από την επιφάνεια του τετραγωνικού σφάλματος, πρέπει να "άλμα πριν δούμε!"
Ενημερώνουμε το βάρος του φορέα και προκαταλήψεις, και στη συνέχεια θα αξιολογήσει το "ύψος" της επιφάνειας μας σε νέα τοποθεσία.
Μία συνέπεια αυτού είναι ότι θα μπορούσαμε να προχωρήσουμε σε ένα σημείο με μια πιο ακραία λάθους.
Μια άλλη συνέπεια είναι ότι μπορεί να διαρκέσει λίγο πίσω για να κατέλθει στο βάθος της προηγούμενης θέσης μας.
Η δυνατότητα "leaping" σε πιο ακραίες κορυφές και τις κοιλάδες του λάθους επιφάνεια είναι άμεσα συνδεδεμένο με το "ρυθμό μάθησης," επειδή ο ρυθμός μάθησης καθορίζει πόση επιρροή έχουν στις τιμές λάθος μας το βάρος και η μεροληψία αλλαγές.
Το παρακάτω γράφημα δείχνει τον τρόπο με τον οποίο αυξάνεται το ποσοστό εκμάθησης επισπεύδει την άφιξη μας σε χαμηλότερες θέσεις όσον αφορά την επιφάνεια τετραγωνικού σφάλματος, όπου λάθος είναι να ελαχιστοποιηθούν.
Το γράφημα δείχνει επίσης ότι η αύξηση του συντελεστή μάθησης εισάγει επίσης τη δυνατότητα να κάνουν κακό βήματα:
Βραχυπρόθεσμη τάση της ρίζας-σημαίνει-Squared (RMS) σφάλμα για το σύνολο της εκπαίδευσης που σε αρκετές επαναλήψεις εκπαίδευσης, για τη μάθηση ποσοστά 0.1, 0.5, 1.0, και 2.0.
Εδώ είναι ένα διάγραμμα των root-σημαίνει-Squared λάθος έξοδο του δικτύου πολλαπλών στρώσεων, με την κατάρτιση που καθορίστηκαν με 19386 στοιχεία που είχε την εμπειρία πολλών κακών βήματα στην πορεία προς το καλύτερο βάρος φορέων:
Κατάρτιση συναντά μερικές φορές απότομες αυξήσεις στο βαθύτερες-μέσος-Squared (RMS) λάθους, όταν το σφάλμα αυξήσεις για ορισμένες επαναλήψεις πριν αρχίσουν και πάλι πτωτική τάση.
Μερικές φορές η τάση είναι απλά ομαλής σύγκλισης προς την επιθυμητή δέσμη των βαρών:
Ρίζα του Trend-μέσος-Squared (RMS) σφάλμα για το σύνολο της εκπαίδευσης που σε αρκετές επαναλήψεις εκπαίδευσης, για τη μάθηση ποσοστά 0.1, 0.5, 1.0, και 2.0.
8. Παράδειγμα: Αποκλειστική-ή (xor)
"Αποκλειστική-ή" (xor) είναι μια λειτουργία που δέχεται δυο Boolean εισροών και των αποδόσεων μιας ενιαίας Δυαδική έξοδο, σύμφωνα με τον ακόλουθο πίνακα:
|
X1
|
X2
|
Y = xor (X1, X2)
|
|
0
|
0
|
0
|
|
0
|
1
|
1
|
|
1
|
0
|
1
|
|
1
|
1
|
0
|
Σε γενικές γραμμές, μία μόνο νευρώνες έχει εισροές {x1, x2, ...}, που εισέρχονται μέσω των δεσμών με βάρη {w1, w2, ...}.
Οι νευρώνες υπολογίζει ένα ενδιάμεσο d = bias + (w1*x1 + w2*x2 + ...) ποσότητα, η οποία μπορεί να θεωρηθεί ως εντοπισμό οποία αεροπλάνο, σε μια άπειρη σειρά παράλληλων επιπέδων, που περιέχει ένα ορισμένο σημείο με συντεταγμένες {x1, x2, ...}.
Οι νευρώνες υπολογίζει μία τιμή παραγωγής, y = ActivationFunction( d ), η οποία έχει ως αποτέλεσμα τη διάσπαση της άπειρη σειρά παράλληλων αεροπλάνα σε δύο σειρές, με ένα σύνολο αξιών που παράγουν χαμηλής παραγωγής, και τα άλλα που παράγουν υψηλές αξίες παραγωγής.
Έτσι, ένα μόνο νευρώνες πολυδιάστατος χώρος χωρίζεται σε δύο περιοχές, που χωρίζονται από το αεροπλάνο bias + w1*x1 + w2*x2 + ... = 0, και αποδίδει χαμηλές τιμές σε μονάδες παραγωγής στην περιοχή από τη μία πλευρά του αεροπλάνου, και αποδίδει υψηλές αξίες παραγωγής με τα σημεία της περιοχής στην αντίθετη πλευρά του αεροπλάνου.
Έτσι, αν δύο σύνολα σημείων στο πολυδιάστατο χώρο έχουν ξεχωριστές κατατάξεις και μπορούν να διαχωριστούν πλήρως από ένα αεροπλάνο, τότε ένα μόνο νευρώνες μπορεί να χρησιμοποιηθεί για να ταξινομήσει σωστά σημεία από αυτά τα σύνολα που ανήκουν σε ένα σύνολο ή το άλλο.
Το αποκλειστικό-ή (xor) λειτουργία κατατάσσει σημεία στο δισδιάστατο χώρο (με συντεταγμένες (x1, x2)) ότι τέτοια σημεία του { (0,0), (1,1) } που έχουν ταξινομηθεί ως παραγωγή εκροής "0," και στα σημεία που έχουν χαρακτηρισθεί ως { (0,1), (1,0) } παραγωγή εκροής "1."
Δεν υπάρχει ένα και μοναδικό "αεροπλάνο" (στην προκειμένη περίπτωση, μια γραμμή) που μπορούν να χωρίσουν αυτά τα τέσσερα σημεία για τα δύο σύνολα.
Επομένως, ένα ενιαίο νευρώνες δεν μπορούν να χρησιμοποιηθούν για να κατατάξουν τα σημεία, σύμφωνα με το αποκλειστικό-ή (xor) λειτουργία.
Μια ενιαία νευρώνες μπορεί μόνο να διαχωρίσει ένα χώρο σημεία σε δύο περιφέρειες.
Το αποκλειστικό-ή (xor) λειτουργία κατατάσσει σημεία με τρόπο που ουσιαστικά χωρίζει σε δύο διαστάσεων στο χώρο σε τρεις περιφέρειες (ή, εναλλακτικά, τέσσερις περιφέρειες).
Δύο νευρώνων μπορεί να διαιρέσει δύο διαστάσεων στο χώρο σε τρεις περιοχές (π.χ., από δύο διαφορετικές παράλληλες γραμμές), και μπορούν έτσι να χρησιμοποιηθούν για να κατατάξουν τα σημεία, σύμφωνα με το αποκλειστικό-ή (xor) λειτουργία.
Μια τρίτη νευρώνες μπορεί να χρησιμοποιηθεί για να συνδυάσει τα αποτελέσματα των άλλων δύο νευρώνων σε μια ενιαία έξοδο.
Οι παρακάτω νευρωνικό δίκτυο, με δύο εισόδους και δύο νευρώνες οργανισμούς, σε ένα πρώτο στρώμα, και ένα μόνο νευρώνες σε ένα δεύτερο επίπεδο, καθώς και μια ενιαία παραγωγή, μπορεί να χρησιμοποιηθεί για να χαρακτηρίσει τα σημεία, σύμφωνα με το αποκλειστικό-ή (xor) λειτουργία.
Οι παρακάτω νευρωνικό δίκτυο μπορεί είτε να εκπαιδευτεί για να υπολογιστεί το αποκλειστικό-ή (xor) λειτουργία, ή το νευρωνικό δίκτυο μπορεί απλά να έχουν το βάρος και η μεροληψία τιμών που αποδίδονται με τρόπο που παράγει την επιθυμητή συμπεριφορά.
Ένα νευρωνικό δίκτυο ικανό να ταξινομούνται ανάλογα με αποκλειστικές μονάδες-ή (xor)
Η κώδικα υπολογιστή που συνδέεται με το έγγραφο αυτό αποδεικνύει την εκπαίδευση νευρωνικών δικτύων παρουσιάζεται στο διάγραμμα για να ταιριάζει με το αποκλειστικό-ή (xor) λειτουργία.
Τα νευρωνικά δίκτυα πολλές φορές αποτυγχάνει να μάθουν τη λειτουργία του, αλλά το λογισμικό μπορεί απλά να ξαναρχίσει να προσπαθήσουμε μάθησης με ένα νέο σύνολο των αρχικών βαρών.
Εάν το λογισμικό επιτυχώς μαθαίνει το αποκλειστικό-ή (xor) λειτουργία, τότε η παραγωγή μοιάζει με το ακόλουθο κείμενο:
x1 = 0.0000 x2 = 0.0000 y = 0.0172 error = 0.0172
x1 = 1.0000 x2 = 0.0000 y = 0.9802 error = -0.0198
x1 = 0.0000 x2 = 1.0000 y = 0.9839 error = -0.0161
x1 = 1.0000 x2 = 1.0000 y = 0.0154 error = 0.0154
Η παραγωγή (y) είναι από 2% από την επιθυμητή τιμή για καθένα από τους τέσσερις συνδυασμούς των μεταβλητών (x1, x2).
Παρόλο που το δίκτυο είχε εκπαιδευτεί για να μάθει τις αξίες παραγωγής για τέσσερα μόνο συνδυασμός των μεταβλητών (με τιμές 0.0 και 1.0, εκπροσωπώντας Boolean τιμές), οι εισροές προς το νευρωνικό δίκτυο μπορεί να ρυθμιστεί σε οποιαδήποτε αυθαίρετη floating-point αξίες.
Η ακόλουθη εικόνα δείχνει την έξοδο από το εκπαιδευμένο νευρωνικό δίκτυο για πολλούς συνδυασμούς των τιμών των εισροών:
Ένα νευρωνικό δίκτυο ικανό να ταξινομούνται ανάλογα με αποκλειστικές μονάδες-ή (xor)
Η επιφάνεια αντιπροσωπεύει την παραγωγή των νευρωνικών δικτύων για όλους τους δυνατούς συνδυασμούς των εισροών (x1, x2) σε σειρές [ -2.0, +2.0 ].
Η έξοδος είναι κοντά στο 0.0 στο μειώνει περιοχές της επιφάνειας, καθώς και η παραγωγή είναι κοντά στην 1.0 στο υψηλότερο περιοχές της επιφάνειας.
Σημειώστε ότι η επιφάνεια είναι μικρή όσον αφορά στα σημεία { (0,0), (1,1) }, και η επιφάνεια είναι υψηλό στα σημεία { (0,1), (1,0) }.
Το δίκτυο ήταν μόνο εκπαιδευμένο για την παραγωγή επιθυμητών αποτελεσμάτων για τέσσερις συγκεκριμένους συνδυασμούς των αρχικών μεταβλητών, αλλά το νευρωνικό δίκτυο, επίσης, παράγει αποτελέσματα για όλους τους άλλους δυνατούς συνδυασμούς των τιμών των εισροών.
Η ικανότητα των νευρωνικών δικτύων να παράγουν λογικές απαντήσεις για γενικές περιπτώσεις, αφού εκπαιδεύονται για ειδικές περιπτώσεις μπορεί να θεωρηθεί ως "γενίκευση."
Οποιαδήποτε διαδικασία που να ταιριάζει σημεία δεδομένων σε ένα μοντέλο, όπως η τοποθέτηση των σημείων σε μια γραμμή ή άλλη καμπύλη, επίσης παράγει μια "γενίκευση" αποτέλεσμα, οπότε το γεγονός ότι η τοποθέτηση μιας νευρωνικό δίκτυο για την παραγωγή επιθυμητών αποτελεσμάτων για συγκεκριμένα μαθήματα αποτελέσματα σε ένα είδος γενίκευσης δεν είναι έκτακτα, αλλά είναι ενδιαφέρον να παρακολουθήσουν τη δυνατότητα να γενικευθεί από ειδικές περιπτώσεις.
9. Παράδειγμα: Tic-tac-toe "(Naughts και Σταυροί)"
9.1 Εισαγωγή
Tic-tac-toe "(Naughts και Σταυροί)" είναι ένα απλό παιχνίδι παίζεται σε 3 * 3 πλέγμα των κυττάρων που μπορούν να σημειώνονται με "O" ή "X".
Οι παίκτες εναλλάξ τόπο "O" και "X" σήματα σε ακατοίκητες κυττάρων μέχρις ότου ένας από τους παίκτες έχει ολοκληρώσει μια σειρά, στήλη ή διαγώνιο.
Επειδή υπάρχουν 3 σειρές και 3 στήλες και 2 διαγώνιες, υπάρχουν οκτώ κερδίζοντας μοντέλα για κάθε παίκτη.
Tic-Tac-Toe σκάφους και κερδίζοντας μοτίβα
Είναι τετριμμένη να γράψω ένα αναδρομικό λειτουργία που διερευνά όλες τις πιθανές Tic-Tac-Toe παιχνίδια, διότι η μέγιστη διάρκεια του παιχνιδιού είναι εννέα κινήσεις.
Σε κάθε σημείο του παιχνιδιού εμείς απλώς να εξετάσει τα αποτελέσματα που διακινούνται σε καθένα από τα υπόλοιπα κύτταρα ακατοίκητες.
Μια τέτοια λειτουργία μπορεί να επιβεβαιώσει ότι μια Tic-Tac-Toe παιχνίδι παίζεται με "τέλειο παίκτες" δεν θα τελειώσει με νικητή.
9.2 Εκπαίδευση μιας νευρωνικό δίκτυο να αναφέρουν τις καλύτερες κινήσεις
Α επαναληπτικής λειτουργίας μπορούν να εξερευνήσουν όλα τα δυνατά παιχνίδια και να προσδιορίσουν τις καλύτερες κινηθούν για κάθε ρύθμιση του σκάφους.
Θα προσθέσω κάθε σκάφους configuration (εισροές), και το καλύτερο κυκλοφορούν (επιθυμητά αποτελέσματα), σε μία λίστα των αντικειμένων της κατάρτισης.
Στη συνέχεια θα εκπαιδεύσουν το δίκτυο να παράγει τα επιθυμητά αποτελέσματα για κάθε σύνολο των εισροών.
Το δίκτυο θα έχει 9 εισροών που αντιστοιχεί σε κάθε κελί του πλέγματος, και οι τιμές εισόδου θα είναι περιορισμένη, στις ακόλουθες τιμές:
0: ακατοίκητες κελί
+1: Πρωταγωνιστής παίκτη
-1: αντίπαλο παίκτη
Το δίκτυο θα έχει 9 εκροές αντιστοιχούν σε κάθε κελί του πλέγματος, και την απόδοση τιμών θα είναι περιορισμένες, στις ακόλουθες τιμές:
0: Μην μετακινείτε εδώ
1: Μετακίνηση εδώ
Οκτώ εκροές θα πρέπει να οριστεί σε "0," και μια παραγωγή που θα οριστεί στο "1."
Έτσι, μετά την κατάρτιση νευρωνικό δίκτυο, ένα συμβούλιο ρύθμιση μπορεί να προσδιορίζεται ως πρώτη ύλη, και το νευρωνικό δίκτυο θα αναφέρουν τις καλύτερες προχωρήσουμε.
Το σήμα εξόδου που βρίσκεται πλησιέστερα προς "1" θα υποδείξει η καλύτερη κίνηση, και όλες τις άλλες εκροές θα πρέπει να είναι κοντά στο "0."
Σε γενικές γραμμές, οποιαδήποτε Boolean συνάρτηση με τις παραμέτρους και τις εκροές Boolean μπορεί να εκπροσωπείται από ένα νευρωνικό δίκτυο με δύο στρώματα των νευρώνων.
Το πρώτο στρώμα των νευρώνων μπορεί να διαχωριστεί το πολυδιάστατο χώρο σε περιοχές, και το δεύτερο στρώμα συνδυάζει την περιοχή ταξινομήσεις να παράγει τις κατάλληλες τιμές εξόδου.
Η Tic-Tac-Toe νευρωνικό δίκτυο Boolean παράγει αποτελέσματα, και παρόλο που οι εισροές έχουν τρία κράτη ( -1, 0, +1 ), θα μπορούσε, σε princple, μετατρέπουν αυτές τις λίγες διακριτές τιμές εισόδου σε ένα σύνολο Boolean εισροών.
Ως εκ τούτου, δύο στρώματα νευρώνων θα πρέπει να είναι επαρκής για να μάθουν Tic-Tac-Toe.
Επειδή το δίκτυο έχει 9 εξόδους, υπάρχουν 9 νευρώνες στον τελικό οργάνων (δεύτερη) στρώμα.
Η μόνη εναπομένουσα νευρωνικό δίκτυο σχεδιασμού απόφαση είναι απόφαση για τον αριθμό των φορέων νευρώνες να θέσει κατά το πρώτο στρώμα των νευρωνικών δικτύων.
Για να γίνει αυτή η απόφαση, κώδικα υπολογιστή μπορεί να δημιουργήσει και να εκπαιδεύσει μία νευρωνικό δίκτυο με N νευρώνες στο πρώτο στρώμα.
Η ικανότητα των νευρωνικών δικτύων για να μάθουν την πλήρη κατάρτιση για Tic-Tac-Toe που μπορεί να γράφημα.
Το ακόλουθο γράφημα δείχνει τη συνολική εκπαίδευση που λάθους κατά τη διάρκεια της διδασκαλίας για καθέναν από 48 διαφορετικά νευρωνικά δίκτυα, με N = 1,2,...,48 νευρώνες στο πρώτο στρώμα.
Συνολικά κατάρτισης που λάθους κατά τη διάρκεια της κατάρτισης, για N = 1,2,...,48 νευρώνες στο πρώτο στρώμα (N = 1 είναι στην κορυφή, και N = 48 είναι στο κάτω μέρος, και οι περισσότεροι ενδιάμεσοι καμπύλες είναι χαμηλότερο για υψηλότερες τιμές των N)
Ένας άλλος τρόπος για να οπτικοποιήσετε αυτή η τάση είναι να σχηματίσουν μια επιφάνεια από την ακολουθία των καμπυλών:
Συνολικά κατάρτισης που λάθους κατά τη διάρκεια της κατάρτισης, για N = 1,2,...,48 νευρώνες στο πρώτο στρώμα (N = 1 βρίσκεται στο πίσω, και N = 48 βρίσκεται στο πρόσθιο)
Έτσι, βλέπουμε ότι καθώς πλησιάζουμε N = 48 νευρώνες στο πρώτο στρώμα, το δίκτυο φαίνεται να είναι σε θέση να αποδεχθεί όλες τις περιπτώσεις κατάρτισης.
Οτιδήποτε λιγότερο από 48 νευρώνες επίπεδα φαίνεται ανεπαρκές για να μάθετε το πλήρες σύνολο των περιπτώσεων.
Για μικρό αριθμό νευρώνων, κάθε επιπλέον νευρώνες μειώνει σημαντικά το συνολικό σφάλμα.
Ωστόσο, όταν ο αριθμός των νευρώνων είναι κοντά στον αριθμό που απαιτείται για να μάθετε το σύνολο των μαθημάτων, κάθε επιπλέον νευρώνες μόνο μειώνει το λάθος από ένα σχετικά μικρό ποσό.
Η παρακάτω εικόνα δείχνει ένα νευρωνικό δίκτυο με 9 είσοδοι, 48 νευρώνες και οργανισμούς στο πρώτο στρώμα, φορείς και 9 νευρώνες σε ένα δεύτερο στρώμα, και 9 εξόδους.
Ένα νευρωνικό δίκτυο ικανό να μάθει να τις παίξει tic-tac-toe
Η κώδικα υπολογιστή που συνδέεται με το έγγραφο αυτό περιλαμβάνει κώδικα για να οικοδομήσουμε και να εκπαιδεύσει το νευρωνικό δίκτυο φαίνεται από τα παραπάνω.
Η κατάρτιση που διαθέτει 4520 θέσεις κατάρτισης.
Στην κατάρτιση 200 επαναλήψεις (που αφορούν τον πολλαπλασιασμό 3 βήματα, για ένα σύνολο 200 * 4520 * 3 = 2712000 προσομοίωση βήματα και τον ίδιο αριθμό σφάλματος πολλαπλασιασμό βήματα), το συνολικό σφάλμα μειώθηκε από 1.520 να 0.153.
(Αυτοί οι αριθμοί μπορούν να ποικίλουν ανάλογα με τυχαίες αρχικές συνθήκες.)
Η κατάρτιση που απαιτείται από αρκετά λεπτά.
Τα παρακάτω είναι δύο παραδείγματα των ειδικών εισροές και εκροές που παράγονται από το εκπαιδευμένο νευρωνικό δίκτυο:
Scenario #1:
Input:
1.0000 -1.0000 0.0000
0.0000 1.0000 -1.0000
-1.0000 0.0000 0.0000
Best move:
0.0001 0.0000 0.0676
0.0001 0.0000 0.0000
0.0000 0.0000 0.9870
Scenario #2:
Input:
-1.0000 -1.0000 0.0000
1.0000 1.0000 0.0000
0.0000 0.0000 0.0000
Best move:
0.0000 0.0000 0.0859
0.0000 0.0000 0.9819
0.0000 0.0000 0.0000
Το δίκτυο έχει εκπαιδευτεί για να παράγει τις καλύτερες κινήσεις για τον παίκτη των οποίων το σήμα που αντιστοιχεί στο "+1."
Ο καλύτερος κινηθούν για την αντίπαλο του παίκτη, το σημάδι που αντιστοιχεί στο "-1," μπορεί να βρεθεί από τον πολλαπλασιασμό όλων των εισροών από (-1) πριν προσομοίωσης των νευρωνικών δικτύων.
10. Κατάρτιση νευρωνικά δίκτυα
Το ακόλουθο είναι ένα απόσπασμα από "Artificial Intelligence" (3rd edition; Addison Wesley; 1993), από Patrick Henry Winston, κεφάλαιο 22, Learning by Training Neural Nets, p. 468.
Νευρωνικά-Δίκτυο Κατάρτισης είναι τέχνη
Τώρα γνωρίζουμε ότι έχετε αντιμετωπίσει πολλές επιλογές, αφού αποφασίσουν να δουλέψουν σε ένα πρόβλημα με την εκπαίδευση νευρωνικών καθαρό χρησιμοποιώντας πάλι τον πολλαπλασιασμό:
* Πώς μπορείτε να αντιπροσωπεύουν πληροφορίες σε νευρωνικά καθαρούς όρους;
Πώς μπορείτε να χρησιμοποιήσετε νευρωνικά καθαρές εισροές να εκφράσω ό, τι γνωρίζετε;
Πώς μπορείτε να χρησιμοποιήσετε νευρωνικά καθαρές εκροές να καθορίσει τι θες να μάθεις;
* Πόσοι νευρώνες θα πρέπει να έχετε στο νευρωνικά καθαρό;
Πόσες εισόδους;
Πόσες εξόδους;
Πόσα βάρη;
Πόσα κρυμμένα στρώματα;
* Τι ποσοστό παράμετρος θα πρέπει να χρησιμοποιείτε στο πίσω-διάδοσης φόρμουλα;
* Αν σας εκπαιδεύσουν σε καθαρό νευρωνικά στάδια ή ταυτόχρονα;
Οι λανθασμένες επιλογές οδηγήσει σε κακή απόδοση.
Ένα μικρό νευρωνικά καθαρή δεν μπορεί να μάθει τι θέλετε να μάθετε.
Ένα μεγάλο δίχτυ θα μάθουμε σιγά-σιγά, μπορεί να κολλήσει στις τοπικές maxima, και μπορεί να εμφανίζουν overfitting.
Ένα μικρό ποσοστό η παράμετρος μπορεί να προωθήσει την αστάθεια ή παρέχουν κακές προβλέψεις.
Δυστυχώς, η σωστή επιλογή εξαρτάται από το χαρακτήρα των δειγμάτων.
Μαθηματικώς, μπορείτε να δείτε δείγματα ως εκπρόσωπος της glimpses μια κρυφή λειτουργία, με μία διάσταση για κάθε είσοδο.
Εάν υπάρχουν πολλές εισόδους, η λειτουργία του πολυδιάστατου χαρακτήρα καθιστά τη λειτουργία σκληρά για να σκεφτούμε και αδύνατο να οπτικοποιήσετε.
Συνεπώς, ο καλύτερος οδηγός για τις επιλογές σας είναι δοκιμής και λάθους, buttressed, ει δυνατόν, με αναφορά στις επιλογές που έχουν εργαστεί και σε παρόμοια προβλήματα.
Έτσι, η επιτυχής ανάπτυξη των νευρωνικών-καθαρή τεχνολογία απαιτεί χρόνο και εμπειρία.
Νευρωνικά-net εμπειρογνώμονες είναι καλλιτέχνες? Δεν είναι απλό εγχειρίδιο χρηστών.
11. Κάνοντας τιμών εισροών και εκροών αξιών κατάλληλων για ένα νευρωνικό δίκτυο
Το μαθηματικό μοντέλο ενός σώματος νευρώνες που παρουσιάζονται στο παρόν έγγραφο παράγει μία τιμή παραγωγής, χρησιμοποιώντας την "υλικοτεχνική sigmoid λειτουργία" (δηλαδή, ( 1 / (1 + Exp(-x)) )).
Ως εκ τούτου, τα αποτελέσματα είναι περιορισμένα στην περιοχή από 0.0 σε 1.0.
Έτσι, το μαθηματικό μοντέλο των νευρωνικών δικτύων που παρουσιάζονται στο παρόν έγγραφο μπορεί να χρησιμοποιηθεί άμεσα για να μάθουν και να παράγουν αποτελέσματα στην περιοχή από 0.0 να 1.0, όπως για Δυαδική εκροές, ή για τις συνεχείς εκροές περιορίζεται σε μέρος αυτού του φάσματος.
Ωστόσο, το δίκτυο μπορεί επίσης να χρησιμοποιηθεί για να μάθουν και να παράγουν αποτελέσματα σε κάθε περιορισμένο εύρος, εφόσον τα αποτελέσματα μετατρέπονται από και προς το φάσμα από 0.0 να 1.0.
Για παράδειγμα, υποθέτουμε ότι η τελική παραγωγή τιμές είναι περιορισμένη στο εύρος από P να Q, και ας υποθέσουμε Z αντιπροσωπεύει μια αυθαίρετη τελική τιμή εξόδου περιορίζεται στην περιοχή από P να Q, και ας υποθέσουμε Y αντιπροσωπεύει ένα αντίστοιχο νευρωνικό δίκτυο παραγωγής περιορίζεται στην περιοχή από 0.0 να 1.0.
Οι ακόλουθοι τύποι μπορούν να χρησιμοποιηθούν για τη μετατροπή μεταξύ των δύο τύπων παραγωγής αξιών:
Y = (Z - P) / (Q - P); // Q > P; Q != P
Z = P + (Q - P) * Y; // Q > P
Μετατρέποντας μια τελική έξοδο σε ένα νευρωνικό δίκτυο παραγωγής είναι απαραίτητη κατά τη διάρκεια της κατάρτισης.
Μετατροπή ενός νευρωνικό δίκτυο παραγωγής με σκοπό την τελική παραγωγή είναι αναγκαία κατά τη διάρκεια της κανονικής προσομοίωσης.
Είσοδοι σε νευρωνικά δίκτυα δεν είναι τόσο περιορισμένη, δεδομένου ότι τα αποτελέσματα, γιατί οι συνδέσεις έχουν βάρος των αξιών που μπορούν να μετριάζουν ή να επεκτείνουν αυθαίρετα τιμές εισροών.
Ωστόσο, οι τιμές των εισροών κατά πολύ εκτός του φάσματος από -1.0 να 1.0 ενδέχεται να προκαλέσει προβλήματα, διότι πριν από τα βάρη έχουν την ευκαιρία να προσαρμοστούν, οι ακραίες τιμές που πρώτα θα φθάσουν ως παράμετρος στην "υλικοτεχνική sigmoid λειτουργία" ( 1 / (1 + Exp(-x)) ).
Ακραίες τιμές σε αυτό το καθήκον θα κάνουν την παραγωγή της νευρώνες πολύ κοντά στην 0.0 ή 1.0, όταν λάθη και προπαγανδίσει τα πίσω μέσω του δικτύου της εν λόγω νευρώνες, το λάθος θα είναι σταθμισμένα με (Output * (1 - Output)), η οποία θα είναι εξαιρετικά μικρή.
Ως εκ τούτου, η μετατροπή των τιμών των εισροών στην αρχική περιοχή από 0.0 να 1.0 πριν από την παροχή των εν λόγω αξιών με τις εισόδους των νευρωνικών δικτύων είναι ίσως μια καλή ιδέα.
Ας υποθέσουμε ότι η αρχική είσοδος τιμές περιορίζεται στο φάσμα από A να B, και ας υποθέσουμε W αντιπροσωπεύει μια αυθαίρετη αρχική τιμή εισόδου περιορίζεται στην περιοχή από A να B, και ας υποθέσουμε X αντιπροσωπεύει ένα νευρωνικό δίκτυο αντίστοιχη τιμή εισόδου που θα επιλέξουν να περιορίσουν έως το κυμαίνονται από 0.0 να 1.0.
Ο ακόλουθος τύπος μπορεί να χρησιμοποιηθεί για να μετατρέψει την αρχική αξία των εισροών σε τιμή κατάλληλη για τον εφοδιασμό με το νευρωνικό δίκτυο.
(Δεν υπάρχει λόγος να μετατρέψετε ένα νευρωνικό δίκτυο αξία των εισροών σε αξία κατά την αρχική είσοδο φάσμα.)
X = (W - A) / (B - A); // B > A; B != A
12. Αναφορές
Τα παρακάτω βιβλία μπορεί να είναι χρήσιμη στην κατανόηση νευρωνικά δίκτυα και τις εφαρμογές τους.
[1] Artificial Intelligence (3rd ed) (Patrick Henry Winston; Addison-Wesley; 1993)
Το βιβλίο αυτό είναι πολύ ενδιαφέρουσα και χρήσιμη.
Ο συγγραφέας περιγράφει πολλά συναρπαστικά θέματα, με παραδείγματα, με αρκετή λεπτομέρεια για να σας δώσει τη δυνατότητα να χρησιμοποιούν τις έννοιες σε συγκεκριμένες καταστάσεις.
Ο συγγραφέας περιγράφει νευρωνικά δίκτυα και "πάλι πολλαπλασιασμό" μάθησης σε σημαντικές λεπτομέρειες, συμπεριλαμβανομένων των μαθηματικών γλώσσα.
[2] Artificial Intelligence: A New Synthesis (Nils J Nilsson; Morgan Kaufmann; 1998)
Το βιβλίο αυτό, όπως και αναφορά [1], είναι ένα συναρπαστικό και πρακτική εισαγωγή στην Τεχνητή Νοημοσύνη.
Ωστόσο, αυτό το βιβλίο είναι λίγο πιο περιεκτικά από αναφορά [1].
Πιστεύω ότι ένα πρόσωπο που θα επωφεληθούν από την ανάγνωση τόσο [1] και [2].
Θα ήθελα μόνο να συστήσω αυτό το βιβλίο, αν έχετε ένα ισχυρό ενδιαφέρον σε όλες της Τεχνητής Νοημοσύνης, ενώ συνιστώ [1] αναφοράς ακόμη και σε εκείνους που έχουν ιδιαίτερο ενδιαφέρον για την εκμάθηση της νευρωνικά δίκτυα.
[3] Focus on AI (Prima Tech / Prima Publishing)
Μέρος του παιχνιδιού ανάπτυξης σειρά edited by Andre LaMothe.
Το βιβλίο αυτό είναι χρήσιμο για προγραμματιστές παιχνίδι, και είναι γεμάτη με παραδείγματα κώδικα υπολογιστή που αποδεικνύουν ότι νευρωνικά δίκτυα, γενετικοί αλγόριθμοι, ασαφής λογική, που εφαρμόζεται σε όλα τα θηράματα χαρακτήρα συμπεριφορά.