Studi Informatika

Panduan Pembelajaran Ilmu Teknologi & Komputer

Saturday, December 2, 2017

Jaringan Syaraf Tiruan


Inspirasi biologis
Hewan dapat bereaksi secara adaptif terhadap perubahan lingkungan eksternal dan internal mereka, dan mereka menggunakan sistem saraf mereka untuk melakukan perilaku ini. 
• Sistem saraf dibangun oleh unit yang relatif sederhana, neuron, sehingga menyalin perilaku dan fungsinya harus menjadi solusinya

Human Brain

Bertugas untuk memproses informasi

Seperti prosesor sederhana

Masing-masing cell tersebut berinteraksi mendukung kinerja otak

Setiap sel (neuron) memiliki satu nukleus (soma), bertugas memproses informasi, informasi diterima oleh dendrit, dan disebarkan melalui akson

Pertemuan informasi antar syaraf berada di sinapsis

Manusia memiliki krg lbh 10^12 neuron! Dan 6x10^18 sinapsis!

Informasi yang dikirimkan berupa rangsangan dengan sebuah batas ambang (threshold)

Pada batas tertentu, syaraf lain akan teraktifasi dan merespon

Hubungan antar syaraf terjadi secara dinamis

Otak manusia memiliki kemampuan untuk belajar dan beradaptasi

Mampu mengenali pola, wajah, mengkontrol organ tubuh!












Human Neuron


 Human Neuron (Detail)




Human Brain


Neuron merupakan sistem yang fault tolerance

Dapat mengenali sinyal input yang berbeda dari sebelumnya

Dapat mengenali orang yg blm pernah ditemui hanya dengan melihat dari foto

Dapat mengenali orang yang berubah krn tua misalnya

Tetap dapat bekerja walau beberapa neuronnya rusak, neuron lain dapat tumbuh dan dilatih

Learning in biological systems

Learning = learning by adaptation


The young animal learns that the green fruits are sour, while the yellowish/reddish ones are sweet. The learning happens by adapting the fruit picking behavior.


At the neural level the learning happens by changing of the synaptic strengths, eliminating some synapses, and building new ones.

Learning as optimisation

The objective of adapting the responses on the basis of the information received from the environment is to achieve a better state. E.g., the animal likes to eat many energy rich, juicy fruits that make its stomach full, and makes it feel happy.


In other words, the objective of learning in biological organisms is to optimise the amount of available resources, happiness, or in general to achieve a closer to optimal state.

JST

Suatu sistem pemrosesan informasi yang mencoba meniru kinerja otak manusia

Merupakan generalisasi model matematis dengan asumsi:

Pemrosesan informasi terjadi pada elemen sederhana (=neuron)

Sinyal dikirimkan diantara neuron-neuron melalui penghubung (=dendrit dan akson)

Penghubung antar elemen memiliki bobot yang akan menambah atau mengurangi sinyal

Untuk menentukan output, setiap neuron memiliki fungsi aktivasi (biasanya non linier) yang dikenakan pada semua input

Besar output akan dibandingkan dengan threshold


Baik tidaknya suatu model JST ditentukan oleh:

Pola antar neuron (arsitekur jaringan)

Metode untuk menentukan dan mengubah bobot (disebut metode learning)

Fungsi aktivasi

JST disebut juga: brain metaphor, computational neuroscience, parallel distributed processing


JST dapat belajar dari pengalaman!

Biasanya berhubungan dengan angka (numerik) sehingga data yang tidak numerik harus dibuat ke numerik

Tidak ada rumus yang tetap (fixed) sehingga disebut dengan free-estimator!

JST disebut black box atau tidak transparan karena tidak mampu menjelaskan bagaimana suatu hasil didapatkan!

JST mampu menyelesaikan permasalahan yang tidak terstruktur dan sulit didefinisikan!


Kelebihan JST

Mampu mengakuisisi pengetahuan walau tidak ada kepastian

Mampu melakukan generalisasi dan ekstraksi dari suatu pola data tertentu

JST dapat menciptakan suatu pola pengetahuan melalui pengaturan diri atau kemampuan belajar (self organizing)

Memiliki fault tolerance, gangguan dapat dianggap sebagai noise saja

Kemampuan perhitungan secara paralel sehingga proses lebih singkat


JST mampu:

Klasifikasi: memilih suatu input data ke dalam kategori tertentu yang sudah ditetapkan

Asosiasi: menggambarkan suatu obyek secara keseluruhan hanya dengan bagian dari obyek lain

Self organizing: kemampuan mengolah data-data input tanpa harus mempunyai target

Optimasi: menemukan suatu jawaban terbaik sehingga mampu meminimalisasi fungsi biaya

Kelemahan JST

Kurang mampu untuk melakukan operasi operasi numerik dengan presisi tinggi

Kurang mampu melakukan operasi algoritma aritmatik, operasi logika dan simbolis

Lamanya proses training yang mungkin terjadi dalam waktu yang sangat lama untuk jumlah data yang besar

Aplikasi JST

Pengenalan pola (pattern recognition)

Huruf, tanda tangan, suara, gambar yang sudah sedikit berubah (mengandung noise)

Identifikasi pola saham

Pendeteksian uang palsu, kanker

Signal Processing

Menekan noise pada saluran telepon

Peramalan

Peramalan saham

Autopilot dan simulasi

Kendali otomatis otomotif




Tasks to be solved by artificial neural networks:

controlling the movements of a robot based on self-perception and other information (e.g., visual information);

deciding the category of potential food items (e.g., edible or non-edible) in an artificial world;

recognizing a visual object (e.g., a familiar face);

predicting where a moving object goes, when a robot wants to catch it.


Sejarah

Model JST formal pertama diperkenalkan oleh McCulloch dan Pitts (1943)

1949, Hebb mengusulkan jaringan Hebb

1958, Rosenblatt mengembangkan perceptron untuk klasifikasi pola

1960, Widrow dan Hoff mengembangkan ADALINE dengan aturan pembelajaran Least Mean Square (LMS)

1974, Werbos memperkenalkan algoritma backpropagation untuk perceptron banyak lapisan

1982, Kohonen mengembangkan learning unsupervised untuk pemetaan

1982, Grossberg dan Carpenter mengembangkan Adaptive Resonance Theory (ART, ART2, ART3)

1982, Hopfield mengembangkan jaringan Hopfield untuk optimasi

1985, Algoritma Boltzmann untuk jaringan syaraf probabilistik

1987, dikembangkan BAM (Bidirectional Associative Memory)

1988, dikembangkan Radial Basis Function


Model Neuron JST


 Model Neuron

Pada JST, neuron-neuron akan dikumpulkan dalam lapisan lapisan yang disebut dengan layers

Neuron dalam satu lapisan akan dihubungkan dengan neuron pada lapisan lainnya

Kadang muncul juga layer tersembunyi (hidden layer) untuk menambah keakuratan pelatihan

Informasi tersebut bisa dirambatkan secara forward ataupun backward


Istilah dalam JST

Neuron: sel syaraf tiruan yang merupakan elemen pengolah JST

Jaringan: bentuk arsitektur JST, kumpulan neuron yang saling berhubungan dan membentuk lapisan

Input: sebuah nilai input yang akan diproses menjadi nilai output

Output: solusi dari nilai input

Hidden layer: lapisan yang tidak terkoneksi secara langsung dengan lapisan input atau output, memperluas kemampuan JST

Bobot: nilai matematis dari sebuah koneksi antar neuron

Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilai bobot per-iterasi dari semua nilai input.

Fungsi aktivasi sederhana adalah mengakalikan input dengan bobotnya dan kemudian menjumlahkannya (disebut penjumlahan sigma)

Berbentuk linier atau tidak linier, dan sigmoid

Paradigma pembelajaran: bentuk pembelajaran, supervised learning, atau unsupervised learning



JST dengan 3 layer




 Arsitektur Jaringan

Single Layer

Hanya memiliki satu lapisan dengan bobot-bobot terhubung.

Langsung menerima input dan mengolahnya menjadi output tanpa menggunakan hidden layer

Multi Layer

Memiliki satu atau lebih lapisan input, satu atau lebih lapisan output, dan lapisan tersembunyi

Dapat menyelesaikan masalah yang lebih kompleks karena lebih akurat

Fungsi pembelajarannya lebih rumit

Kompetitive Model / Recurrent Model

Hubungan antar neuron tidak diperlihatkan secara langsung pada arsitektur

Hubungan antar neuron dapat digambarkan sebagai jaring yang rumit


Model JST
 


 
 


Saturday, December 2, 2017 December 02, 2017 - tanpa komentar

No comments:

Post a Comment