погрешности нейронных сетей . вычисление погрешностей

/
.
. . .
,
,
, 1998. 205 .
.
.
.
!
"
#$
660036,
-36, %
#$ ,
E-mail: amse@cc.krascience.rssi.ru
,
.
,
,
.
,
,
,
.
:
.
!
,
“
"
#
”.
,
.$
,
(back propagation of errors).
1.
%
,
,
.
&
.'
–
,
. .
'
,
,
,
,
,
&
.
$%(,
"
,
,
–
(
)
.! #
,
,
,
.
,
.
.)
#
,
,
,
.
2.
http://neuroschool.narod.ru
#
/
!
.
. . .
,
,
, 1998. 205 .
.$
,
,
-
"
.
'
,
.!
,
,
.!
#
[1,2]
,
,
.1). *
(
–#
#
,
.
α1
x1
x2
xn
α2
Σ
. . .
αn
ϕ
...
.1.
*
,
,
%
(
.
#
,
,
,
#
)
). *
(
,
,
#
#
,
.
.! #
'
#
,
.%
,
.
!" #
3.
"
$
%# & '
.!
!
("
&
)
,
(
.!
1)
' "
&
(
)
.!
#
,
.
'
+
#
.! #
,
.'
,
,
.
%
(
.
.
http://neuroschool.narod.ru
,
,
/
1. )
.
(
. . .
!
* &
,
,
, 1998. 205 .
.!
x, y
x=x0±∆x, y=y0±∆y . *
2. )
: x+y= x0+y0 ±(∆x+∆y),
*
(
∆x+y=∆x+∆y.
!
σx , σy . *
x, y
2 1/2
+σy )
+
σx+y= (σx
.
& '
4.
#
% [6,7]
.
"
,
#
.$
,
(back propagation of errors). %
,
.
"
,
#
,
%
.%
[6,7]
#
:
.,
1)
ε1 , ε 2 ,..., ε k ,
min{ε i }ik=1 ;
'
2)
+
ε / max | ϕ ′( x) | ,
ε / | ϕ ′( A) | ,
ε,
!. ,
y –
x ∈ [ϕ −1 ( y − ε ), ϕ −1 ( y + ε )]
"
"
3)
,
ϕ–
A–
;
'
.,
ε i = ε /( n ⋅ αi )
εi ,
ε,
ε i ≤ ε / Σin=1 | αi |
.
"
1)
2)
*
2
.,
D1, D2 ,..., Dk ,
min{Di }ik=1 ;
'
+
:
!. ,
σ / | ϕ ′( A) | ,
"
;
http://neuroschool.narod.ru
σ,
A–
ϕ –
"
/
'
3)
.
. . .
.,
σ i = σ /( n ⋅ αi )
,
,
, 1998. 205 .
σ,
σ i ≤ σ / Σ in=1α i2
σi ,
.
!
,
.*
..
,
,
.%#
,
.*
.
,
,
.%
,
,
#
.
!
,
..
#
.
!
,
,
.&
.*
,
.
.
,
,
.
,
#
,
,#
..!
#
"
,
.
(
:
.
!
5.
() !
$
# & '
*
#
%
.'
,
,
,
.*
&
,
.
δ
,
.!
,
#
"
:
ε
ε = δ / ϕ ′( A) ,
A–
.
*
*
,
.
#
,
,
.$
:
.
http://neuroschool.narod.ru
/
.
. . .
,
,
, 1998. 205 .
.
αi
xi
...
αn
xn
.%
(
α1 x1
α1
x1
xi ,
Σ in=1αi xi
Σ
α n xn
.2).
.2
.
xi ,
,
α i xi ,
.
ε ..
n
.#
.
ε
*
n
, αi –
i-
i, εα –
i
[
: xi − ε I ; xi + ε I
i
[αi − εα ;αi + εα ] –
i
i
xi –
.!
ε Ii –
,
i-
]–
i-
.
,
ε
ε
αi xi − ;αi xi +
–
,
i
n
n
i.&
i-
[xi − ε I ; xi + ε I ] [αi − εα ;αi + εα ] ≤
i
i
i
ε
ε
αi xi − ;αi xi +
n
n
i
,
(1)
:
[a; a ]⋅ [b; b] = [min{ab, ab, ab, ab}; max{ab, ab, ab, ab}].
[xi − ε I ; xi + ε I ]
[αi − εα ;αi + εα ]
i
1) xi − ε I ≥ 0 ;
i
!
i
i
α i − εα i ≥ 0 .
[xi − ε I ; xi + ε I ] [αi − εα ;αi + εα ]=
[(xi − ε I )(αi − εα ); (xi + ε I )(αi + εα )]=
[αi xi − αiε I − xiεα + ε I εα ;αi xi + αiε I + xiεα
i
[− αiε I
i
i
i
*
:
i
i
i
i
i
i
,
i
i
i
i
+ ε I i εα i
,
i-
i
i
.
i:
]
− xiε α i + ε I i ε α i ;α iε I i + xi ε α i + ε I i ε α i .
http://neuroschool.narod.ru
]
/
$
.
. . .
,
,
: −
[− αiε I
n n
, 1998. 205 .
ε ε
− ;
n n
.&
]
.! #
,
ε
α i ε I i + xi ε α i + ε I i ε α i ≤ .
n
2) xi − ε I > 0 , α i − εα < 0 , α i + ε α ≥ 0 .
i
i
i
!
xi > 0 , α i > 0 .
i
;
− xiε α i + ε I i ε α i ;α iε I i + xi ε α i + ε I i ε α i
(1)
[αiε I
ε ε
0,
i
,
1),
]
:
ε ε
− xiε α i − ε I i ε α i ;α i ε I i + xi ε α i + ε I i ε α i ≤ − ; .
n n
ε
α i ε I i + xi ε α i + ε I i ε α i ≤ .
n
!
xi > 0 , α i < 0
− α iε I i + xiεα i + ε I i εα i ≤
3) xi − ε I < 0 , xi + ε I ≥ 0 , α i − εα ≤ 0 , α i + εα > 0 .
i
i
i
i
!
xi > 0 , α i > 0
!
xi > 0 , α i < 0
!
xi < 0 , α i > 0
!
xi < 0 , α i < 0
ε
α iε I i + xiε α i + ε I i ε α i ≤ .
n
ε
− α i ε I i + xi ε α i + ε I i ε α i ≤ .
n
ε
α i ε I i − xi ε α i + ε I i ε α i ≤ .
n
ε
− α i ε I i − xi ε α i + ε I i ε α i ≤ .
n
4) xi − ε I < 0 , xi + ε I > 0 , α i − εα > 0 .
i
i
i
!
xi ≥ 0
!
xi < 0
ε
α i ε I i + xi ε α i + ε I i ε α i ≤ .
n
ε
αiε I i + xiεα i + ε I i εα i ≤ .
5) xi + ε I ≤ 0 ,
i
α i + εα i ≤ 0 .
− αiε I i − xiεα i + ε I i εα i ≤
%#
n
ε
n
6) xi + ε I < 0 , α i − εα < 0 , α i + εα > 0 .
i
i
i
!
αi ≥ 0
!
αi < 0
.
ε
αiε I i − xiεα i + ε I i εα i ≤ .
n
ε
− αiε I i − xiεα i + ε I i εα i ≤ .
7) xi − ε I < 0 , xi + ε I > 0 , α i + εα < 0 .
i
i
i
http://neuroschool.narod.ru
n
ε
n
.
/
.
. . .
,
!
xi ≥ 0
− αiε I i + xiεα i + ε I i εα i ≤
!
xi < 0
− αiε I i − xiεα i + ε I i εα i ≤
/
,
n
ε
n
, 1998. 205 .
.
.
αi .
xi
,
ε
,
,
ε
1) xi ≥ 0, α i ≥ 0 :
n
≥ − xiεα i + αiε I i + εα i ε I i ;
n
≥ xiεα i − α iε I i + εα i ε I i ;
n
≥ − xiεα i − α iε I i + εα i ε I i .
ε
4) xi < 0, α i < 0 :
n
≥ xiεα i + α iε I i + εα i ε I i ;
ε
3) xi ≥ 0, α i < 0 :
ε
n
ε
2) xi < 0, α i ≥ 0 :
*
xi
xi
"
,
αi :
αi
:
≥ x i εα i + α i ε I i + εα i ε I i .
i-
"
:
ε
ε Ii ≤ n
%#
− xi ⋅ ε α i
αi + εαi
.
"
:
εα i
k –
ε
ε Ii ≤ n
#""
− xi ⋅ k
αi + k
,
.!
εα i
.*
ε
ε
ε I i εα i . -
"
ε
εα i = k ,
n
:
n.
n
ε
%
n
ε
,
n
ε Ii . ! #
1 − k xi > 0 ,
ε Ii ,
0<k <
εα i
"
http://neuroschool.narod.ru
1
.%
xi
,
⋅ (1 − k xi ) . ,
k
εα i ,
,
ε Ii . !
.
/
.
. . .
,
,
εα i
!
ε Ii .
A = Σ in=1α i xi –
.!
,
, 1998. 205 .
ε –
.
%
[A − ε ; A + ε ] . '
,
:
[
][
]
,
Σin=1[xi − ε I ; xi + ε I ][αi − εα ;αi + εα ] ≤ [ A − ε ; A + ε ] .
/
,
[xi − ε I ; xi + ε I ]⋅ [αi − εα ;αi + εα ]
Σin=1 xi − ε I i ; xi + ε I i αi − εα i ; αi + εα i . &
i
i
i
i
i
i
i
,
i
0. (
: x
"
i
εα i + α i ε I i + εα i ε I i . !
ε Ii
εα i
,
.'
,
:
εα i Σin=1 x i + ε I i Σin=1 αi + nεα i ε I i ≤ ε .
:
ε − ε α i Σ in=1 xi
.
ε Ii ≤
Σ in=1 α i + nεα i
#
"
ε Ii ,
εα i
#""
.*
ε − kεΣin=1 xi
.
ε Ii ≤ n
Σi =1 α i + nkε
!
ε ⋅ 1 − kΣin=1 xi . *
"
k –
:
ε :
,
)
(
εα i ε I i . 0
εα i = k ε ,
[− ε I ; ε I ],
ε Ii
i
i
ε Ii .
,
! #
1 − kΣin=1 xi > 0 ,
,
0<k <
1
Σin=1 xi
,
.%
εα i ,
k
εα i
,
ε Ii . !
"
.
.!
(
ε Ii
,
,
.!
http://neuroschool.narod.ru
,
/
.
. . .
,
,
, 1998. 205 .
.'
,
.!
#
,
.
*
"
,
,
"
,
ε Ii = 0 .
.%#
-
: εα ≤
i
"
ε –
εα i ≤
ε
n xi
."
ε
Σ in=1 xi
,
:
.
,
,
"
.$
.
"
εα i
*
,
,
,
.
,
-
,
εα i ,
,
,
.
+
6.
$
# & '
*
!
.!
&
,
.!
#
.
δ –
..
σ out .
%
.! #
,
σ out ,
.'
"
:
,A–
http://neuroschool.narod.ru
σ out
,
| ϕ ′( A) |
ϕ –"
.
'
σ ,
σ=
,
#
,
/
.
. . .
,
,
, 1998. 205 .
.-
σ 2.
)
,
.
/
"
,
.
!
ε Ii
,
.'
(
)
(
ε Ii
εα i
)
(
#
,
)
εα i
D ε I i ⋅ εα i = Dε I i ⋅ Dε α i + Mε I i 2 ⋅ Dεα i + Mε α i 2 ⋅ Dε I i =
= Dε I i ⋅ Dε α i .
%
,
.
/
ε
"
n
,
≥ x i εα i + α i ε I i + εα i ε I i .
#
:
(
σ2
)
= D x i ε α i + α i ε I i + ε α i ε I i = xi2 ⋅ σ α2 + α i2σ I2 + σ α2 ⋅ σ I2 .
i
i
i
i
n
σ 2 / n − xi2 ⋅ σ α2
σ I2 =
α i2 + σ α2
i
i
%#
"
:
i
.
σI
σα . 0
i
σ Ii ,
i
σα . !
i
(
σ α2 = kσ 2 . *
)
i
σ ⋅ 1 / n − k ⋅ xi2 . &
2
.! #
,
0 < k < 1 /(nxi2 ) . %
σ α2
k,
σ Ii . (
i
"
.
σ 2. /
-
[
n
: Σ i =1 xi − ε I ; xi + ε I
i
i
#
( [
:
][
,
][αi − εα ;αi + εα ].
i
])
i
D Σ in=1 xi − ε I i ; xi + ε I i α i − εα i ; α i + εα i =
[
][
]
= Σ in=1D xi − ε I i ; xi + ε I i α i − εα i ; α i + ε α i =
n
n
n
n
= Σi =1D ( xi ⋅ α i ) + Σ i =1D ( xi ⋅ ε α ) + Σ i =1D (α i ⋅ ε I ) + Σ i =1D (εα ⋅ ε I ) =
i
i
i
i
http://neuroschool.narod.ru
/
.
. . .
,
,
, 1998. 205 .
n
2
n
2
n
= Σi =1 xi ⋅ Dε α + Σ i =1α i Dε I + Σ i =1Dε α ⋅ Dε I =
i
i
i
i
n
2
2
n
2 2
n
2
2
2
= Σi =1 xi ⋅ σ
+ Σ i =1α i σ I + Σ i =1σ α ⋅ σ I = σ .
αi
i
i
i
!
σ I2
,
i
σα
2
.
i
%
:
σ 2 − σ α2 Σ in=1 xi2
i
σI =
Σ in=1α i2 + n ⋅ σ α2
i
%#
i
"
:
σI
σα . 0
i
σα
i
.*
σ α2
k,
σ Ii . (
i
σ Ii ,
i
,
0 < k < 1 / Σ in=1 xi2 . %
"
.
*
,
.%
,
/
σα
,
#
. .
.
i
,
-
,
,
k,
,
.
%
,
.,
,
,
,
.*
.)
#
.,
#
,
,
.
,
7. ,
.
(-+
%
"
. $
"
( . .
),
.
/
"
http://neuroschool.narod.ru
12! " &*,+ 32 4" (
(
7F0113).
5 68,
. 2.1.)
/
.
. . .
,
,
, 1998. 205 .
.
1. +
3.&.
. –(.: '! “! + "”, 1990. – 159 .
2. Kimura T., Shima T. Synapse weight accuracy of analog neuro chip // Proceedings of
International Joint Conference on Neural Networks. – Japan, Nagoya, October 25-29, 1993. –
Vol.1. – P. 891-894.
3. Anguita D., Ridella S., Rovetta S. Limiting the effects of weight errors in feed forward
networks using interval arithmetic // Proceedings of International Conference on Neural
Networks (ICNN’96). – USA, Washington, June 3-6, 1996. – Vol.1. – P. 414-417.
4. Edwards P., Murray A. Modelling weight- and input-noise in MLP learning // Proceedings
Of International Conference on Neural Networks (ICNN’96). – USA, Washington, June 3-6,
1996. – Vol.1. – P. 78-83.
5. +
3.&.,
-.3. &
.
&
:&
, 1996. 276 .
6. Senashova Masha Yu., Gorban Alexander N., and Wunsch Donald, “Back-Propagation of
Accuracy”// Proc. IEEE/INNS International Coonference of Neural Networks, Houston,
IEEE, 1997, pp.1998-2001
7. +
3.&., '
(.6. !
// %
'
3& ./
./
, 1997. 38 .,
.8
.(
. % & * , 25.07.97, 52509-%97)
8. '
(.6. +
6. !
// &
"
/
3.&.+
, %.7.-.
, 3.&./
, ,.(.(
.&
:
&
, 1998.
http://neuroschool.narod.ru