ANN, Sztuczne Sieci Neuronowe, jak powstawaly.pdf

1ANN,SZTUCZNESIECINEURONOWE,JAKPOWSTAWAÃLY. 1

plikwk1.tex,9October2008

1ANN,SztuczneSieciNeuronowe,jakpowstawaÃly.

1.1 Neuronbiologicznyisztuczny.Kom¶orkanerwowaijej

struktura

Sztucznasie¶cneuronowamaimitowa¶cbiologiczn , asie¶cneuronow , a,kt¶orasÃlu_zyzbieraniusy-

gnaÃl¶ow,przekazywaniudocentralnegoo¶srodka,przetwarzaniuich,ipdejmowaniur"_znych

akcjiwzale_zno¶sciodrozpoznaniaobiekt¶ow.

Sztucznesiecineuronowe(ANN,Arti¯cialNeuralNetworks)maj , asymulowa¶cdziaÃlalno¶s¶c

biologicznychsiecineuronowych.Jesttowa_zneprzynajmniejwdw¶ochaspektach:a)

og¶olnopoznawczych;b)aplikacyjnych{wrobotyceiautomatycznejdiagnostycelubpre-

dykcji.

PodpatrywaniedziaÃlaniabiologicznychsiecineuronowychstaÃlosi , ewa_znymelementem

SztucznejInteligencji.WresultaciepowstaÃlaodr , ebnadyscyplina,SztuczneSieciNeuro-

nowe,zajmuj , acychsi , erozwi , azywaniemzagadnie¶nzwi , azanychzrozpoznawaniemr¶o_nych

wzorc¶o(PatternRegognition)zapomocyr¶o_znychsymulowanychsztucznychsiecineuro-

nowych.

Jaknarazie,globalnie,biologicznesiecineuronowes , aniedo¶scignione,chocia_zwszczeg¶o-

Ãlowychzagadnieniach,sztucznesiecineuronowemog , ajeprzewy_zsza¶c.

JaknapisaÃlHujunYin 1 : Neuralnetworkspresentanotherapproachtonon-linear

dataanalysis.Theyarebiologicallyinspiredlearningandmappingmethods....E.g.

Kohonen'sSOMisanabstractmathematicalmodelofthemappingbetweennervesensory

(esp.retina)andcerebralcortex(especiallyvisualcortex).

Wieluuczonychzajmuj , acychsi , etematyk , aANNjestskupionychwog¶olno-¶swiatowym

TowarzystwieANN,kt¶oreorganizacyjniejestpodzielonena3sekcje:ENNS(Europejskie),

JANNS(Japo¶nskie)...(gÃl¶ownieAmeryka¶nskie).Przewodnicz , acymcz¶sciEuropejskiejjest

prof.W.DuchzTorunia,wybranywubiegÃlymroku(2007)nadrug , akadencj , e.

Dorocznieodbywaj , asi , ewielkiekonferencjezar¶ownoog¶olnejakICANN,jakipo-

szczeg¶olnychsekcji.

JakstwierdzononaICANNwr.2007,tematykasztucznychsiecineuronowychjest

obecniewogromymrozkwicie....

Poni_zejpodaj , e{zaAnn , aKotul , a{kilkainformacjiobiologicznachneuronachiich

centralnymo¶srodku,m¶ozgu,skÃladaj , acymsi , egÃl¶ownieztzw.'szarychkom¶orek'.

JakdziaÃlaneuronbiologiczny

Synapsa topoÃl , aczeniemi , edzydwomakom¶orkaminerwowymi.Synapsymog , aby¶croz-

maitegorodzaju.Np.narys.1.1widzimynast , epuj , acesynapsyneuronu:A-synapsa

aksonowo-dendrytowa,B-synapsaaksonowo-somatyczna,C-synapsaaksonowo-

aksonowabli_zsza(zazwyczajhamuj , aca),D-synapsaaksonowo-aksonowadalsza(zawsze

hamuj , aca).

M¶ozgisystemnerwowyniestanowi , astrukturyci , agÃlej,aleskÃladaj , asi , ezokoÃlotryliona

( 10 18 )kom¶orek,zczegookoÃlo100miliard¶ow( 10 11 ) stanowi , akom¶orkinerwowepoÃl , aczonew

1 IEEETrans.onNeuralNetworksv.13,no.1,p.237

1ANN,SZTUCZNESIECINEURONOWE,JAKPOWSTAWAÃLY. 2

a) ¶ Zr¶odÃlo:Korbiczi.in.[4].

b) ¶ Zr¶odÃlo:A.Michajlik,W.Ramotowski, Anatomiai¯zjologiaczÃlowieka ,Wydawnictwa

LekarskiePZWL,Warszawa1994(str372).

Zakoñczenia

przedsynaptyczne

Akson

Cia³o

komórkowe

Zakoñczenie

przedsynaptyczne

Dendryt

Rysunek1.1: Schematbiologicznegoneuronuwuj , eciuin_zynieraibiologa,napodstawie

¶zr¶odeÃlwybranychprzezAnn , eKotul , e[5].Naobydwurysunkachwidzimykom¶ork , enerwow , a

zj , adrem,synapsami,dendrytamiiaksonem.

1ANN,SZTUCZNESIECINEURONOWE,JAKPOWSTAWAÃLY. 3

sieci(Korbicziinn.[4]),dzi , ekikt¶orymrealizowanes , afunkcjeinteligencji,emocji,pami , eci

izdolno¶scitw¶orczych.PrzykÃladoweschematbiologicznegoneuronujestprzedstawionyna

rysunku1.1.

CiaÃlokom¶orkinerwowej(inaczej:neuronu)jestdo¶s¶cpodobnedokom¶orekinnychtka-

nek,wyr¶o_zniasi , ejednakwielko¶sci , aotaczaj , acychciaÃlowypustekwpostacirozkrzewionych

gaÃl , azek,tzw.dendryt¶ow.

Zkom¶orkinerwowejwychodzidÃlugiewÃl¶okno,nazywane aksonem ,kt¶orenaog¶oÃlrozgaÃl , ezia

si , ewpostacitzw.drzewkaaksonowego.Akson,rozwidlaj , acsi , e,docieradowielukom¶orek,

niemniejsygnaÃlwyj¶sciowyjestidentycznydlawszystkichodbiorc¶ow.Zako¶nczeniagaÃl , azek

aksonustykaj , asi , ezdendrytamiinnychneuron¶ow,amiejscestykunazywasi , e synaps , a .

Podstawowezadanieneuronusprowadzasi , edoprzyjmowania(poprzezdendryty),przet-

warzaniaidalszegoprzekazywania(poprzezakson)informacjiwpostacibod¶zc¶owelektrycz-

nych.W¯zjologiipobudzanieaksonuokre¶slasi , ejako wszystkoalbonic .Oznaczato,_ze

dostateczniesilnybodziecpowodujeka_zdorazowot , esam , areakcj , e,zbytsÃlabybodziecnie

wyzwala_zadnejreakcji.Ka_zdynadchodz , acysynaps , abodziecdochodzidociaÃlakom¶orko-

wego.

Przewodzeniepoprzezsynapsynast , epujezawszetylkowjednymkierunku.

InformacjawzdÃlu_zwypustek(akson¶ow,dendrytow)jestprzenoszonawpostaciim-

puls¶owelektrycznych,nazywanychpotencjalamiczynno¶sciowymi.

M¶ozg 2 ,stanowi , acycentrumludzkiegoorganizmu,jestcz , e¶sci , am¶ozgowiaobejmuj , ac , a

p¶oÃlkulem¶ozgoweicz , e¶s¶cwzrokow , apodwzg¶orza.M¶ozgowieprzeci , etniewa_zyuczÃlowieka

okoÃlo 1 : 3 kg.M¶ozgpokrytyjestmocnopofaÃldowan , awarstw , akorym¶ozgowej.War-

stwatamagrubo¶s¶cokoÃlo 3 mmipowierzchni , e 2500 cm 2 .Koram¶ozgowaskÃladasi , ez

upakowanychg , estokom¶oreknerwowychor¶o_znejwielko¶sciiksztaÃlcie,tworz , acychkilka

warstw.Liczb , eneuron¶owszacujesi , ena 10 miliard¶ow.Przyjmuj , aoneiwysyÃlaj , aimpulsy

ocz , estotliwo¶sci 1 ¡ 100 Hz,czasietrwania 1 ¡ 2 ms,napi , eciu 100 msszybko¶scipropagacji

1 ¡ 100 m s .LiczbapoÃl , acze¶nmi , edzykom¶orkamiszacowanajestna 10 15 .Tadeusiewiczw

ksi , a_zce[ ? ],str.13,podaje,_zeszybko¶s¶cpracym¶ozguoszacowa¶cmo_znana 10 18 operacji=s.

Czymo_znaskonstruowa¶ckomputerdor¶ownuj , acyludzkiemum¶ozgowi?Wielkimwyzwa-

niembyÃlozbudowaniekomputera,kt¶orybypotra¯Ãlgra¶cwszachynapoziomiemistrzow-

skim.Takikomputer(por.Kotula[5]-napodstawieinformacjizawartychnastronach

internetowych¯rmyIBM,dost , epnychpodadresemhttp://www.ibm.com.),skonstrowaÃla

¯rmaIBM.KomputerotrzymaÃlnazw , e DeepBlue .KomputertenzostaÃlspecjalniezapro-

jektowanymdogrywszachyprzezgrup , especjalist¶ow(Feng-HsiungHsu,MurrayCamp-

bell,JoeHoane,JerryBrodyorazC.J.Tan)pracujacychdla¯rmyIBM.Projektowanie

DeepBlue rozpocz , etowroku1989,aleju_zod1985HsuzajmowaÃlsi , etymproblemem.

Wroku1997 DeepBlue rozegraÃlpierwszysÃlynnymeczznajlepszymw¶owczasszachist , a

¶swiata,GarrimKasparowem,wmeczurewan_zowymwmaju1997rwygraÃl DeepBlue {

por. /www.research.ibm.com/deepblue/ .

IBMzbudowaÃlajeszczebardziejdoskonaÃlykomputeronazwie BlueGene .Meczpomi , edzy

Kasparowemi BlueGene wr.2003zako¶nczyÃlsi , eremisem.

2 napodstawieinformacjipodanychprzezA.Kotul , e[5]

1ANN,SZTUCZNESIECINEURONOWE,JAKPOWSTAWAÃLY. 4

1.2 Pierwszymodelneuronuwg.McCullochaiPittsa

McCullochiPittswroku1943jakopierwsizaproponowaliznacznieuproszczonywstosunku

dorzeczywistegomodelneuronu,kt¶orydodzi¶sjestpodstaw , awi , ekszo¶scimodeli.Schemat

takiego`matematycznego'dziaÃlanianeuronujestpodanynarysunku1.2.

Rysunek1.2: SchematdziaÃlanianeuronuonumerzei{wedÃlugMcCullochaiPittsa.Cen-

tralnyneuron{onumerzei{sumujeimpulsydochodz , acedoniegoodneuron¶ow 1 ; 2 ;:::;j

odpowiednio.Sumowanieodbywasi , ezwagamiw i 1 ;w i 12 ;:::;w ij odpowiednio.Dootrzy-

manejsumydodajesi , eindywidualny(tj.wÃla¶sciwydlaitegoneuronuBias)wyra_zony

wag , aw i 0 .Otrzymanasuma(aktywacja)jesttransformowanaprzezfunkcj , eHeaviside'a £ ,

awyniktransformacjijestprzekazywanydalej{donast , epnychneuron¶ow.

Narysunkutymmamyzaznaczonyjedenneuron{maonumownienumer i .Doneuronu

tegozbiegaj , asi , esygnaÃly(bod¶zce)-jestich j .Neuronjesumuje{zwagami w i 1 ;w i 2 ;:::;w ij

odpowiednio.Gdyobliczonawarto¶s¶csumyprzekroczypewn , awarto¶s¶cprogow , a w i 0 ,specy-

¯czn , adladanegoneuronu,nast , epujejego\zapÃlon",inaczejm¶owi , ac,neurontenznajdzie

si , ewstaniepobudzenia.Matematyczniestanpobudzenianeuronuwyra_zasi , edwiema

warto¶sciami:0,gdypobudzenieneuronunieprzekroczyÃlojegospecy¯cznejwarto¶scipro-

gowej,i1,gdyjestprzeciwnie.

Spr¶obujmyteraztefaktyzapisa¶cmatematycznie.B , edziemyrozpatrywa¶cneurononumerze

i zespecy¯czn , awarto¶sci , aprogow , a w i 0 .ZaÃlo_zymy,_zestanpobudzenianeuronujestzjawi-

skiemdyskretnymzmieniaj , acymsi , ewczasie ¿ wstaÃlychodst , epachczasu¢ ¿ .Oznaczmy

warto¶s¶cpobudzenia i -goneuronuwczasie ¿ symbolem z i ( ¿ ).Oczywi¶sciewarto¶s¶cneuronu

wchwili ¿ +¢ ¿ zale_zyodtego,jakbyÃlypobudzone(dostarczaj , acemubod¶zce)neuronyz

jegootoczeniaoznaczonetuumowniejakozbi¶or fjg {wmomenciepoprzedzaj , acymmo-

ment ¿ .Neuronobliczasum , ewa_zon , adostarczanychmusygnaÃl¶ow.Oilepododaniudo

wyznaczonejprzezneuronsumywarto¶sciprogowejotrzymasi , eliczb , edodatni , a,nast , epuje

zapÃlon.Wyrazi¶ctomo_znawspos¶obnast , epuj , acy:

z i ( ¿ +¢ ¿ )=£(

w ij z j ( ¿ )+ w i 0 ) (1.1)

Zmienna z i ( ¿ )mo_zemie¶cwarto¶s¶c1,gdy i -tyneuronznajdujesi , ewchwili ¿ wstanie

zapÃlonu,lub0,gdytakniejest.

Wagi w ij wyst , epuj , acewpowy_zszymwzorzeodzwierciedlaj , aistotno¶s¶csynapsyÃl , acz , acej

neuron i -tyi j -ty.Wagimog , aprzyjmowa¶czar¶ownododatniejakiujemnewarto¶sci:

> <

> 0:odpowiedniksynapsypobudzaj , acej

=0:odpowiednikbrakupoÃl , aczeniapomi , edzyneuronami

< 0:odpowiedniksynapsyhamuj , acej.

w ij

> :

LITERATURA 5

Natomiastfunkcja£( a )wyst , epuj , acawewzorzeMcCulochaiPittsatofunkcjaHeaviside'a

( hardlimit )okre¶slonanast , epuj , aco:

(

1dla a¸ 0

0dla a< 0

£( a )=

McCullochiPittswykazali,_zeprzyodpowiedniodobranychwagach w ij synchroniczny

zesp¶oÃltakichneuron¶owmo_zewykona¶ctesameobliczenia,couniwersalnamaszynalicz , aca.

DalszepraceposzÃlywkierunku:

² u_zyciainnychfunkcjiaktywacji{umo_zliwiatomodelowanieproces¶ownieliniowych,

² przedstawieniasygnaÃlu z i niejakoprocesudyskretnego,alejakoprocesuci , agÃlego.

Stosujesi , enast , epuj , aceuog¶olnieniemodeluMcCullochaiPittsa:

z i = g ( X

w ij z j + w i 0 ) : (1.2)

Wewzorzetymnieuzale_zniasiestanupobudzenianeuronuodczasu ¿ .Funkcjaprogowa

£( ¢ )zast , apionajestprzezfunkcj , e g ( ¢ ),zwan , afunkcj , aaktywacji(funkcj , awygÃladzaj , ac , a,

funkcj , aprzej¶scia,funkcj , awzmocnienia).Model(1.2)uwzgl , edniaaktualizacj , e z i wdowolnej

chwili,umo_zliwianieliniowo¶s¶c, z i jestfunkcj , aci , agÃlaokre¶slaj , ac , astanneuronuwchwili t .

Literaturai ¶ Zr¶odÃladanych

Literatura

[1]Ch.M.Bishop, NeuralNetworksforPatternRecognition. ClarendonPress,Oxford,1996.

[2]IanNabney, Netlab:AlgorithmsforPatternRecognition .Springer2001.Seria:Advancesin

PatternRecognition.ISBN1{85233{440{1.

[3]StanisÃlawOsowski, Siecineuronowewuj , eciualgorytmicznym. WNTW-wa1996.

[4]J¶ozefKorbicz,AndrzejObuchowicz,DariuszUci¶nski, Sztucznesiecineuronowe.Podstawyi

Zastosowania .AkademickaO¯cynaWydawniczaPLJ,Warszawa1994.

[5]AnnaKotula,SiecineuronoweiregresjanaprzykadziepakietuNetlab.Pracamagisterska

Wrocaw2001.

[6]RaulRojas, NeuralNetworks{ASystematicIntroduction. Springer1996.

[7]RosariaSilipo, NeuralNetworks ,RozdziaÃl7ksi , a_zki:M.Bertold,D.J.Hand(eds.) Intelligent

DataAnalysis ,SpringerBerlin1999,pp.217{268.

[8]HertzJ.,KroghA.,PalmerR.G., Wst , epdoteoriioblicze¶nneuronowych. TÃlum.zang.,wyd.

II,WNTW-wa1993.

Plik z chomika:

Inne pliki z tego folderu:

Inne foldery tego chomika: