SCHEDULES OF CONDITIONED REINFORCEMENT DURING

EXPERIMENTAL EXTINCTION
ROGER T. KELLEHER
SMITH KLINE & FRENCH LABORATORIES
If a s t i m u l u s i s r e p e a t e d l y p r e s e n t e d i n c o n j u n c t i o n w i t h a r e i n f o r c e r , t h e s t i m u l u s
b e c o m e s a c o n d i t i o n e d r e i n f o r c e r . On e w a y t o d e m o n s t r a t e t h i s c o n d i t i o n e d r e i n f o r c i n g e f -
f e c t i s t o a l l o w t h e s t i m u l u s t o a l t e r t h e c o u r s e o f e x p e r i m e n t a l e x t i n c t i o n . Th i s t e c h n i q u e
w a s u s e d i n a n e a r l y e x p e r i m e n t b y Sk i n n e r ( 1 9 3 8 ) .
W h e n e v e r t h e s o u n d o f a f o o d m a g a z i n e o c c u r r e d , f o o d w a s d e l i v e r e d i n t o a t r a y . Th e
h u n g r y r a t s i n t h i s e x p e r i m e n t l e a r n e d t o a p p r o a c h t h e t r a y o n l y a t t h e s o u n d o f t h e f o o d
m a g a z i n e . Th e r a t s w e r e t h e n t r a i n e d t o p r e s s a l e v e r t h a t o p e r a t e d t h e f o o d m a g a z i n e .
Af t e r t h i s c h a i n o f r e s p o n s e s w a s t h o r o u g h l y e s t a b l i s h e d , t h e f o o d m a g a z i n e w a s d i s c o n -
n e c t e d . Un d e r t h i s p r o c e d t i r e , a n e x t i n c t i o n c u r v e o c c u r r e d i n w h i c h r e s p o n s e r a t e s d e -
c r e a s e d t o l o w v a l u e s . Ne x t , t h e f o o d m a g a z i n e w a s a g a i n c o n n e c t e d , a l t h o u g h f o o d w a s
s t i l l n o t d e l i v e r e d ; t h a t i s , e a c h r e s p o n s e p r o d u c e d o n l y t h e s o u n d o f t h e m a g a z i n e . Re -
s p o n s e r a t e s i n c r e a s e d m a r k e d l y , a n d a s e c o n d e x t i n c t i o n c u r v e o c c u r r e d ( Sk i n n e r , 1 9 3 8 ,
p . 1 0 3 ) . Sk i n n e r a t t r i b u t e d t h e i n c r e a s e d r e s p o n s e r a t e s t o t h e c o n d i t i o n e d r e i n f o r c i n g
e f f e c t o f t h e m a g a z i n e s o u n d .
Re c e n t c r i t i c i s m s o f t h i s t e c h n i q u e f o r d e m o n s t r a t i n g c o n d i t i o n e d r e i n f o r c e m e n t h a v e e m -
p h a s i z e d t h e i m p o r t a n c e o f d i s t i n g u i s h i n g b e t w e e n t h e e f f e c t s o f a s t i m u l u s a s a c o n d i t i o n e d
r e i n f o r c e r a n d t h e e f f e c t s o f a s t i m u l u s a s a c o n d i t i o n e d s t i m u l u s . Bu g e l s k i ( 1 9 5 6 ) s u g -
g e s t e d t h a t t h e s o u n d o f t h e f o o d m a g a z i n e i s n o t a c o n d i t i o n e d r e i n f o r c e r b u t i s i n s t e a d a
c o n d i t i o n e d s t i m u l u s t h a t e v o k e s r e s p o n d i n g . W y c k o f f , Si d o w s k i , a n d Ch a m b l i s s ( 1 9 5 8 ) a l s o
s u g g e s t e d t h a t t h e s o u n d o f t h e f o o d m a g a z i n e i s n o t a c o n d i t i o n e d r e i n f o r c e r ; h o w e v e r ,
t h e y b e l i e v e t h a t t h e m a g a z i n e s o u n d i s a d i s c r i m i n a t i v e s t i m u l u s c o n t r o l l i n g i n c r e a s e d
a c t i v i t y a n d c o n s e q u e n t l y i n c r e a s i n g t h e p r o b a b i l i t y o f r e s p o n d i n g .
Th e p u r p o s e o f t h e p r e s e n t e x p e r i m e n t w a s t o e l u c i d a t e t h e e f f e c t s o f t h e m a g a z i n e
s o u n d d u r i n g e x t i n c t i o n b y s c h e d u l i n g t h e p r e s e n t a t i o n o f t h e m a g a z i n e s o u n d j u s t a s t h e
p r e s e n t a t i o n o f f o o d i s u s u a l l y s c h e d u l e d ( Fe r s t e r & Sk i n n e r , 1 9 5 7 ) . Th e r e s u l t s d e m o n s t r a t e
t h a t t h e m a g a z i n e s o u n d c a n b e u s e d a s a c o n d i t i o n e d r e i n f o r c e r .
SUBJ ECTS AND APPARATUS
Th e t w o s u b j e c t s w e r e m a l e , W h i t e Ca r n e a u x p i g e o n s m a i n t a i n e d a t 7 5 %
o f t h e i r f r e e -
f e e d i n g w e i g h t s . Th e s e b i r d s h a d b e e n t r a i n e d t o p e c k a Pl e x i g l a s k e y t o o b t a i n r e i n f o r c e -
m e n t s . A r e i n f o r c e m e n t c o n s i s t e d o f a 4 - s e c o n d a c c e s s t o a h o p p e r o f g r a i n . Th e s o u n d o f a
s o l e n o i d p u l l i n g t h e h o p p e r i n t o p l a c e p r o d u c e d a d i s t i n c t m a g a z i n e s o u n d w h i c h p r e c e d e d
e a c h r e i n f o r c e m e n t . Th e p i g e o n s h a d a b o u t 5 0 h o u r s o f e x p e r i e n c e o n a 5 - m i n u t e , f i x e d -
i n t e r v a l s c h e d u l e ( Fl 5 ) j u s t b e f o r e t h e p r e s e n t e x p e r i m e n t . Th e a p p a r a t u s a n d r e c o r d i n g
e q u i p m e n t h a s b e e n d e s c r i b e d g e n e r a l l y ( Fe r s t e r & Sk i n n e r , 1 9 5 7 ) .
PROCEDURE
Du r i n g t h e e x p e r i m e n t a l s e s s i o n s d e s c r i b e d i n t h i s r e p o r t , t h e h o p p e r o f g r a i n w a s
d i s c o n n e c t e d a n d t h e b i r d s d i d n o t r e c e i v e f o o d ; h o w e v e r , t h e m a g a z i n e s o u n d w a s p r o d u c e d
a c c o r d i n g t o a s c h e d u l e . On o n e s c h e d u l e , t h e m a g a z i n e s o u n d o c c u r r e d w h e n e v e r t h e b i r d
p a u s e d f o r a s p e c i f i e d p e r i o d o f t i m e . I s h a l l r e f e r t o t h i s s c h e d u l e a s t h e d i f f e r e n t i a l r e -
I
ROGER T. KELLEHER
i n f o r c e m e n t o f p a u s i n g ( DRP) . On a s e c o n d s c h e d u l e , t h e m a g a z i n e s o u n d w a s p r o d u c e d b y
t h e f i r s t r e s p o n s e o c c u r r i n g a f t e r 5 m i n u t e s h a d e l a p s e d ( Fl 5 ) . On a t h i r d s c h e d u l e , t h e
m a g a z i n e s o u n d w a s p r o d u c e d w h e n e v e r t h e b i r d e m i t t e d a s p e c i f i e d n u m b e r o f r e s p o n s e s ;
t h a t i s , t h e m a g a z i n e s o u n d w a s p r o d u c e d o n a f i x e d - r a t i o ( FR) s c h e d u l e . In t h e f i r s t t w o
e x p e r i m e n t a l e x t i n c t i o n s e s s i o n s , t h e DRP s c h e d u l e a n d t h e FR s c h e d u l e a l t e r n a t e d . Fo o d
w a s n o t p r e s e n t e d d u r i n g t h e s e t w o s e s s i o n s . Fo l l o w i n g t h e s e c o n d s e s s i o n , t h e b i r d s w e r e
r e t u r n e d t o a n Fl 5 s c h e d u l e o f f o o d r e i n f o r c e m e n t f o r 1 5 e x p e r i m e n t a l s e s s i o n s . Th e n , t h e
f o o d m a g a z i n e w a s a g a i n d i s c o n n e c t e d , a n d b o t h b i r d s h a d a t h i r d e x p e r i m e n t a l e x t i n c t i o n
s e s s i o n i n w h i c h t h e m a g a z i n e s o u n d w a s p r o d u c e d o n Fl 5 , FR, a n d DRP s c h e d u l e s .
RESULTS
Fi g u r e 1 p r e s e n t s t h e r e s u l t s w i t h o n e b i r d d u r i n g t h e f i r s t t w o e x p e r i m e n t a l e x t i n c t i o n s e s -
s i o n s . In t h e f i r s t s e s s i o n ( Fr a m e A) , t h e m a g a z i n e s o u n d i n i t i a l l y o c c u r r e d o n a DRP o f
1 0 s e c o n d s . Pe r i o d s d u r i n g w h i c h l o w r e s p o n s e r a t e s r e s u l t e d i n t h e f r e q u e n t o c c u r r e n c e o f
t h e m a g a z i n e s o u n d a r e s h o w n a t a a n d b . Du r i n g t h e 7 5 m i n u t e s i n w h i c h t h e DRP
s c l i e d u l e w a s i n e f f e c t , t h e a v e r a g e r e s p o n s e r a t e w a s 1 4 . 2 r e s p o n s e s p e r m i n u t e .
Im m e d i a t e l y a f t e r t h e p a u s e a t b , t h e n e x t r e s p o n s e p r o d u c e d t h e m a g a z i n e s o u n d
( CRF) . Fo r t h e r e m a i n d e r o f t h i s f i r s t e x t i n c t i o n s e s s i o n , r e s p o n s e s p r o d u c e d t h e m a g a z i n e
s o u n d o n a n FR s c h e d u l e . Th e r e s p o n s e r e q u i r e m e n t w a s i n c r e a s e d f r o m FR 5 t o FR 2 5 .
Th e r e s u l t s a r e p r e s e n t e d i n t h e t h i r d a n d f o u r t h c u m u l a t i v e - r e c o r d s e g m e n t s i n Fi g . l A.
Du r i n g t h e 2 8 m i n u t e s i n w h i c h t h e FR s c h e d u l e w a s i n e f f e c t , t h e a v e r a g e r e s p o n s e r a t e
w a s 2 7 . 9 r e s p o n s e s p e r m i n u t e .
On t h e f o l l o w i n g d a y ( Fr a m e B) , t h e DRP s c h e d u l e w a s a g a i n i n e f f e c t a t t h e s t a r t o f t h e
s e s s i o n . Th e r e s u l t s a r e p r e s e n t e d i n t h e f i r s t c u m u l a t i v e r e c o r d i n Fi g . 1 B. Ag a i n , l o w
r e s p o n s e r a t e s a t c r e s u l t e d i n f r e q u e n t p r e s e n t a t i o n s o f t h e m a g a z i n e s o u n d . Du r i n g t h i s
e x p o s u r e t o t h e DRP s c h e d u l e , t h e a v e r a g e r e s p o n s e r a t e w a s 1 8 . 3 r e s p o n s e s p e r m i n u t e . Im -
m e d i a t e l y a f t e r c , t h e m a g a z i n e s o u n d w a s a g a i n p r e s e n t e d o n FR s c h e d u l e s o f t h e v a l u e s
i n d i c a t e d . As s h o w n i n t h e s e c o n d c u m u l a t i v e r e c o r d o f Fi g . I B, a v e r a g e r e s p o n s e r a t e s i n -
c r e a s e d t o 3 6 . 6 r e s p o n s e s p e r m i n u t e . In t h e t h i r d c u m u l a t i v e r e c o r d o f Fi g . 1 B, t h e DRP
w a s a g a i n i n t r o d u c e d , a n d t h e a v e r a g e r e s p o n s e r a t e d e c r e a s e d t o 1 8 . 5 r e s p o n s e s p e r m i n u t e .
Lo w r e s p o n s e r a t e s a t d r e s u l t e d i n f r e q u e n t p r e s e n t a t i o n s o f t h e m a g a z i n e s o u n d . In
t h e f o u r t h r e c o r d o f Fi g . I B, t h e FR p r o c e d u r e w a s a g a i n i n t r o d u c e d , a n d t h e a v e r a g e r e -
s p o n s e r a t e s i n c r e a s e d t o 3 5 r e s p o n s e s p e r m i n u t e .
Th e r e s u l t s f o r t h e s e f i r s t t w o s e s s i o n s o f e x p e r i m e n t a l e x t i n c t i o n d e m o n s t r a t e t h a t t h e
s c h e d u l e o f p r e s e n t a t i o n o f t h e m a g a z i n e s o u n d c a n b e u s e d t o m a n i p u l a t e r e s p o n s e r a t e s
e v e n w h e n f o o d i s n o t p r e s e n t e d . Th e r e s u l t s w i t h t h e DRP s c h e d u l e i n d i c a t e t h a t t h e
m a g a z i n e s o u n d m a y b e f o l l o w e d b y a l o w o r z e r o r e s p o n s e r a t e . Ho w e v e r , e v e n a f t e r a
d e m o n s t r a t i o n o f t h i s v e r y l o w r e s p o n s e r a t e f o l l o w i n g t h e m a g a z i n e s o u n d , h i g h r e s p o n s e
r a t e s c a n s t i l l b e p r o d u c e d i f t h e m a g a z i n e s o u n d i s o n a n FR s c h e d u l e .
Af t e r a n a d d i t i o n a l 1 5 h o u r s o n t h e Fl 5 s c h e d u l e o f f o o d r e i n f o r c e m e n t , a n o t h e r s e s -
s i o n o f e x p e r i m e n t a l e x t i n c t i o n w a s c o n d u c t e d . Cu m u l a t i v e - r e s p o n s e r e c o r d s f o r o n e b i r d
a r e p r e s e n t e d i n Fi g . 2 . In t h i s s e s s i o n , a l l t h r e e s c h e d u l e s o f p r e s e n t a t i o n o f t h e m a g a -
z i n e s o u n d w e r e u s e d . Ch a n g e s f r o m o n e s c h e d u l e t o a n o t h e r a r e d e s i g n a t e d .
As s h o w n i n t h e f i r s t t w o s e g m e n t s o f Fi g . 2 , t h e m a g a z i n e s o u n d w a s p r o d u c e d o n a n
FI 5 s c h e d u l e , a n d t h e p o s i t i v e l y a c c e l e r a t e d r e s p o n d i n g c h a r a c t e r i s t i c o f Fl s c h e d u l e s o f
2
CONDITIONED REINFORCEMENT DURING EXTINCTION
Fi g u r e 1 . Cu m u l a t i v e - r e s p o n s e r e c o r d s s h o w i n g f i r s t ( Fr a m e A) a n d s e c o n d ( Fr a m e B) s e s s i o n s o f e x p e r i -
m e n t a l e x t i n c t i o n . Pe r f o r m a n c e s o n DRP 1 0 s e c o n d s a n d v a r i o u s FR v a l u e s a r e p r e s e n t e d . Pi p s i n d i c a t e p r e s -
e n t a t i o n s o f t h e m a g a z i n e s o u n d .
f o o d r e i n f o r c e m e n t w a s m a i n t a i n e d . No t e t h a t r e s p o n s e r a t e s w e r e h i g h e s t j u s t b e f o r e t h e
m a g a z i n e s o u n d a n d l o w e s t j u s t a f t e r .
In s u b s e q u e n t s e g m e n t s , p e r i o d s d u r i n g w h i c h FR s c h e d u l e s w e r e i n e f f e c t a l t e r n a t e d w i t h
p e r i o d s i n w h i c h e i t h e r Fl 5 o r DRP 5 s e c o n d s w a s i n e f f e c t . Re s p o n s e r a t e s w e r e u s u a l l y
h i g h d u r i n g t h e FR s c h e d u l e . W h e n t h e s c h e d u l e o f t h e m a g a z i n e s o u n d w a s s h i f t e d f r o m
FR t o Fl 5 ( a s a t a , c , a n d e ) , t h e h i g h r e s p o n s e r a t e s c h a r a c t e r i s t i c o f t h e FR s c h e d u l e
o c c u r r e d a t t h e s t a r t o f t h e Fl 5 s e g m e n t . In e a c h c a s e , f u r t h e r e x p o s u r e t o Fl 5 ( a s a t b )
d e c r e a s e d t h e s e r e s p o n s e r a t e s f o l l o w i n g t h e m a g a z i n e s o u n d . W h e n e v e r t h e DRP 5 s e c o n d s
w a s i n e f f e c t , r e s p o n s e r a t e s w e r e l o w ; h o w e v e r , r e s p o n s e r a t e s i n c r e a s e d r a p i d l y w h e n e v e r
3
ROGER T. KELLEHER
7 I
S
5 - 8 w N
No R
No R
Fi g u r e 2 . Cu m u l a t i v e - r e s p o n s e r e c o r d s s h o w i n g t h i r d s e s s i o n o f e x p e r i m e n t a l e x t i n c t i o n . Pe r f o r m a n c e s o n
Fl 5 , FR, a n d DRP 5 - s e c o n d s c h e d u l e s o f p r e s e n t a t i o n o f t h e m a g a z i n e s o u n d a r e s h o w n . Th e r e c o r d i n g p e n
r e s e t w h e n t h e m a g a z i n e s o u n d w a s p r e s e n t e d o n t h e Fl 5 s c h e d u l e o r w h e n t h e t y p e o f s c h e d u l e w a s c h a n g e d .
Pi p s i n d i c a t e p r e s e n t a t i o n s o f t h e m a g a z i n e s o u n d o n t h e FR o r DRP 5 - s e c o n d s c h e d u l e s .
t h e b i r d w a s s h i f t e d f r o m DRP 5 s e c o n d s t o FR. Th e r e s u l t s f o r t h e t h r e e e x p e r i m e n t a l
e x t i n c t i o n s e s s i o n s w e r e c o n f i r m e d w i t h t h e s e c o n d b i r d .
DISCUSSION
W h e n t h e s o u n d o f t h e f o o d m a g a z i n e w a s u s e d a s a c o n d i t i o n e d r e i n f o r c e r , r e s p o n s e
r a t e s a n d p a t t e r n s o f r e s p o n d i n g c o u l d b e m a n i p u l a t e d d u r i n g e x p e r i m e n t a l e x t i n c t i o n .
W h e n t h e m a g a z i n e s o u n d w a s s c h e d u l e d t o o c c u r o n l y w h e n t h e b i r d p a u s e d f o r a b r i e f
p e r i o d o f t i m e ( DRP) , l o w r e s p o n s e r a t e s d e v e l o p e d . Pe r f o r m a n c e o n t h i s s c h e d u l e d e m o n -
s t r a t e d t h a t t h e m a g a z i n e s o u n d , a s a d i s c r i m i n a t i v e s t i m u l u s , c o u l d c o n t r o l a z e r o r e -
s p o n s e r a t e i n e x t i n c t i o n . W h e n t h e m a g a z i n e s o u n d c o u l d b e p r o d u c e d o n a n Fl 5 s c h e d u l e ,
c h a r a c t e r i s t i c Fl p e r f o r m a n c e s w e r e d e v e l o p e d ; t h a t i s , t h e r e s p o n s e r a t e w a s l o w e s t f o l l o w -
i n g t h e m a g a z i n e s o u n d , a n d t h e n i n c r e a s e d a s t h e i n t e r v a l e l a p s e d . W h e n t h e m a g a z i n e
s o u n d c o u l d b e p r o d u c e d o n a n FR s c h e d u l e , h i g h r e s p o n s e r a t e s p r e v a i l e d .
Th e FR s c h e d u l e p r o d u c e d h i g h r e s p o n s e r a t e s e v e n a f t e r l o w r e s p o n s e r a t e s h a d b e e n
p r o d u c e d o n t h e DRP s c h e d u l e . Ab r u p t s h i f t s f r o m t h e FR t o t h e FI s c h e d u l e c a u s e d t r a n -
s i e n t d i s r u p t i o n i n t h e Fl r e s p o n s e p a t t e r n . Th a t i s , t h e b i r d s r e s p o n d e d a t a v e r y h i g h
r a t e f o l l o w i n g t h e m a g a z i n e s o u n d . Th e p a t t e r n s o f r e s p o n d i n g t h a t o c c u r r e d w h e n t h e b i r d s
w e r e s h i f t e d f r o m t h e FR t o t h e Fl s c h e d u l e a r e s i m i l a r t o t h o s e o c c u r r i n g o n m i x e d
Fl FR s c h e d u l e s o f f o o d r e i n f o r c e m e n t ( Fe r s t e r & Sk i n n e r , 1 9 5 7 ) .
Ot h e r i n v e s t i g a t i o n s h a v e s u g g e s t e d t h a t t h e p r e s e n t a t i o n o f t h e m a g a z i n e s o u n d e n -
h a n c e s r e s i s t a n c e t o e x p e r i m e n t a l e x t i n c t i o n o n l y b e c a u s e t h e m a g a z i n e s o u n d i s e i t h e r a
c o n d i t i o n e d s t i m u l u s w h i c h e l i c i t s r e s p o n d i n g ( Bu g e l s k i , 1 9 5 6 ) o r a d i s c r i m i n a t i v e s t i m u l u s
w h i c h c o n t r o l s a h i g h r a t e o f r e s p o n d i n g ( W y c k o f f , Si d o w s k i , & Ch a m b l i s s , 1 9 5 8 ) . Th e
p r e s e n t e x p e r i m e n t d e m o n s t r a t e s t h a t t h e m a g a z i n e s o u n d c a n c o n t r o l e i t h e r a h i g h o r a l o w
r a t e d u r i n g e x p e r i m e n t a l e x t i n c t i o n . In e i t h e r c a s e , t h e m a g a z i n e s o u n d i s a c o n d i t i o n e d
r e i n f o r c e r t h a t c a n b e u s e d t o m a i n t a i n o r d e v e l o p c h a r a c t e r i s t i c p a t t e r n s o f r e s p o n d i n g
i n i n d i v i d u a l o r g a n i s m s d u r i n g e x p e r i m e n t a l e x t i n c t i o n .
4
CONDITIONED REINFORCEMENT DURING EXTINCTION 5
SUMMARY
Pi g e o n s t h a t h a d b e e n t r a i n e d o n a 5 - m i n u t e , f i x e d - i n t e r v a l s c h e d u l e o f f o o d r e i n f o r c e -
m e n t r e c e i v e d t h r e e s e s s i o n s o f e x p e r i m e n t a l e x t i n c t i o n . Du r i n g t h e e x t i n c t i o n s e s s i o n s , t h e
b i r d s c o u l d p r o d u c e t h e s o u n d o f t h e f o o d m a g a z i n e a c c o r d i n g t o d i f f e r e n t s c h e d u l e s .
Sc h e d u l e s o f p r e s e n t a t i o n o f t h e m a g a z i n e s o u n d w e r e e f f e c t i v e i n c o n t r o l l i n g r e s p o n s e p a t -
t e r n s a n d r e s p o n s e r a t e s d u r i n g e x t i n c t i o n . Th e m a g a z i n e s o u n d c a n b e u s e d a s a c o n d i -
t i o n e d r e i n f o r c e r .
REFERENCES
Bu g e l s k i , R. Th e p s y c h o l o g y o f l e a r n i n g . Ne w Yo r k : He n r y Ho l t a n d Co m p a n y , 1 9 5 6 .
Fe r s t e r , C. B. , a n d Sk i n n e r , B. F. Sc h e d u l e s o f r e i n f o r c e m e n t . Ne w Yo r k : Ap p l e t o n - Ce n t u r y - Cr o f t s , 1 9 5 7 .
Sk i n n e r , B. F. Th e b e h a v i o r o f o r g a n i s m s . Ne w Yo r k : Ap p l e t o n Ce n t u r y Co . , 1 9 3 8 .
W y c k o f f , L. B. , Si d o w s k i , J . , a n d Ch a m b l i s s , D. J . An e x p e r i m e n t a l s t u d y o f t h e r e l a t i o n s h i p b e t w e e n s e c o n d -
a r y r e i n f o r c i n g a n d c u e e f f e c t s o f a s t i m u l u s . J . c o m p . p h y s i o l . Ps y c h o l . , 1 9 5 8 , 5 1 , 1 0 3 - 1 0 9 .
Re c e i v e d J u n e 1 5 , 1 9 6 0