Pengantar Data Mining : Overview Neural Network, Multi Layer Perceptron
Neural Network
Meniru otak manusia yg terdiri dari berjuta-juta neuron yg membentuk jaringan yg kompleks. Satu neuron dapat mendapatkan masukan dari banyak neuron yg lain dan menghasilkan output tertentu
Pemodelan Sebuah Neuron
Contoh fungsi aktivasi :
Layer MLP
Input layer: layer yang menerima data berformat vektor dengan jumlah elemen sesuai dengan jumlah atribut prediktor yang akan diproses. Tiap elemen vektor (xi) disambungkan ke tiap atribut prediktor.
Hidden layer dapat terdiri dari satu atau lebih lapis. Tiap lapis berisi sejumlah perceptron. Jika lapis tersembunyi hanya terdiri dari satu lapis, masukan tiap perceptron tersambung ke elemen vektor (xi) pada lapis masukan, sedangkan luaran tiap perceptron tersambung ke lapis luaran. Tiap hubungan dari perceptron ke lapis masukan maupun lapis luaran memiliki bobot (wij atau wjk) tersendiri. Jumlah lapis tersembunyi dan jumlah perceptron pada tiap lapis yang tepat biasanya didapatkan melalui serangkaian eksperimen (dari beberapa konfigurasi yang diuji-coba, dapat dipilih MLP yang memberikan akurasi terbaik dengan komputasi yang cepat).
Pada tahap pelatihan, bobot-bobot pada semua perceptron akan dihitung dari data pelatihan sedemikian rupa sehingga pada akhir pelatihan dihasilkan MLP dengan nilai bobot-bobot tertentu.
Output layer terdiri dari satu atau lebih perceptron.
Pelatihan MLP
Mula-mula bobot-bobot diberi nilai inisial
Feed-forward (pengumpanan ke depan): keluaran (Y) pada tiap perceptron dihitung berdasar data masukan yang diterima dan bobot-bobot pada jaringan, dengan urutan dari lapis terdepan ke belakang.
Back-propagation (propagasi balik): dengan menggunakan turunan fungsi aktivasi, Y, sebuah nilai learning rate dan bobot-bobot saat sekarang, dilakukan perbaikan nilai-nilai bobot dari lapis terbelakang (bobot-bobot pada output layer) ke depan (bobot-bobot pada hidden layer, lalu input layer).
Dua langkah di atas dilakukan secara bergantian (feed-forward lalu back-propagation) untuk tiap baris/rekord pada data training/pelatihan. Jadi, perbaikan bobot-bobot dilakukan pada pemrosesan tiap baris/rekord.
Satu siklus pelatihan, dimana seluruh baris pada data training sudah diumpankan ke MLP, dinamakan epoch (atau iterasi). Setelah satu epoch selesai, jika nilai keluaran belum mendekati (atau sama dengan) nilai kelas pada data training, siklus pelatihan akan diulangi lagi. Demikian seterusnya sampai didapatkan bobot-bobot yang paling baik atau jumlah maksimum epoch yang ditetapkan telah dicapai (dicapai kondisi konvergen).
Bergantung dari data training dan konfigurasi MLP, pelatihan dapat membutuhkan puluhan sampai ribuan epoch
MLP untuk Regresi
Dapat digunakan untuk regresi linear maupun non-linear. Atribut prediktor (bertipe numerik): 1 atau lebih (umumnya makin banyak jumlah atribut, makin banyak iterasi yg dibutuhkan agar model mencapai konvergensi)
Atribut target: bertipe numerik
LibraryMLPRegresor:https://scikit-learn.org/stable/modules/generated/sklearn.neural_network.MLPRegressor.html
Posting Komentar