강화와 처벌 - 2부 : 지연과 2차 강화물

 1부에서는 강화의 기본적 내용과 강화물, 만족에 대해 배웠으니까 이번 글에서는 강화와 시간(지연)에 대한 관계를 알아볼게. (티아라 지연 아님)

 

 복습해보면, 강화는 어떤 행동을 조성하기 위해 특정 행동에 대한 보상으로 강화물을 제시하여 행동 확률을 높이는 것인데.. 여기서 주목할 것은 '제시'에 있어. 보상을 언제 줘야 될까? 바로? 나중에?

 

 잠시 Pavlov의 고전적 조건형성을 기억해 볼게. 종->밥->침 기억나지? 종치고 밥주면 침흘리는거.. 여기서 종치고 밥을 언제줄까? 만약 종을 친 직후 밥을 바로 주지 않고 한 참 뒤에 밥을 주면 어떻게 될까? 우리는 종과 밥의 연합이 약해질 것이라고 쉽게 추측할 수 있어. 맞아. 종을 친 시간과 밥 사이의 시간적 간격이 길면 길 수록 종에대한 침흘리는 반응은 약해질거야..

 

 하지만 도구적 조건형성에도 마찬가지 일까? 

 

 

 

 Wolfe는 1934년에 쥐를 가지고 실험을 했어. 실험은, 위의 그림과 매우 비슷해. (저번에 봤던 그림이지?) T자형 미로에서 쥐가 먹이상자를 찾아가는 실험이야. 하지만! 이 실험을 그대로 하지 않고 먹이상자로 가는 길목에 지연상자라는 문을 달아 놨어. 그 문은 실험자가 문이 열리는 시간을 조정할 수 있었어. 이 장치를 통해 지연을 실험 할 수 있겠지?

 

 Wolfe는 0초(문이 열린 상태)부터 60초 까지 문이 열리는 시간을 조정해 보았어. 결과는? 다 거기서 거기였어. 1분 안에서 쥐가 먹이상자를 찾아가는 행동의 증가는 비슷했어. 그럼 60초 이후에는? 별 효과가 없었어. 아예 없던건 아니야. 심지어 20분 동안 문이 열리지 않았는 데도 학습이 된다는 증거가 발견되기 까지 했어! 20분이나!

 

 다시 고전적 조건형성의 종밥침으로 돌아가 볼게. 종을 땡 치고 20분 뒤에 밥을 주면.. 과연 침을 흘릴까? 10초 뒤에 밥을 줘도 연합이 약해지는데..? 아닐거야. 그런데 왜 도구적 조건형성에서 강화물을 통해 학습하는 쥐들은 20분이 지연되어도 학습이 가능한 걸까?

 

 우리가 생각치 못한 곳에 답이 있었어. 심리학자 Hull(1943)은 우리가 발견하지 못한 답이 바로 '문'에 있다고 생각했어. 도구적 조건형성은 강화물을 통한 행동의 학습이지만.. 그 강화물이 전이 될 수도 있다는 생각을 한거야. 항상 말로 하면 어려운거 같아 그림을 그려줄게 잠깐만.. 포토샵 키기 귀찮다. ㅠ.ㅠ

 

 

 

 왜 지연상자가 2차 강화물이 될 수 있는지에 대해 생각해 보려면, 우리가 쥐의 입장이 되어 보면 알 수 있어!

 '난 쥐다. 찍찍. 나는 이상한 통로에 놓여있다. 찍찍. 통로에는 아무것도 없다. 찍찍. 그런데 저기 이상한 문 같은게 있다. 찍찍. 엇!? 갑자기 문이 열린다! 찍찍. 문이 열리고 안으로 들어가 보니까 너무 맛있는 치즈가 있다! 찍찍! 맛있다! 찍찍!.

 이번에도 나는 이상한 통로에 있다. 찍찍. 통로를 헤매다가 이상한 문을 찾았다. 찍찍. 이상한 문이 열렸다!. 찍찍. 문 안에는 치즈가 있다! 찍찍! 맛있다! 찍찍!

 나는 다시 통로로 돌아왔다. 찍찍. 저번에 봤던거 같은 문이 있다. 찍찍. 저 문이 열리면 아마 치즈가 있지 않을까? 찍찍. 앗! 문이 열린다! 찍찍! 문이 열리면 치즈가 나오는 구나! 찍찍! 치즈 맛있다! 찍찍!'

 내가 쥐가 되어봤어. 쥐는 아마 이렇게 생각했..겠지?

 

 지연상자는 쥐가 도착했다고 바로 열리진 않지만, 지연상자가 열리면 쥐는 바로 먹이를 먹을 수 있었어. 지연상자가 열리면 치즈를 먹는거지. 그게 반복 학습되면? 쥐는 지연상자가 열리게 되면 치즈를 먹을 수 있다는걸 학습하는거야! 조건도 충분했어. 지연상자 근처에서는 먹이의 냄새가 풍겨왔고, 지연상자가 열리면 쥐는 치즈를 먹을 수 있었지. 근접해 있었으니까!

 근데 정말일까? 지연상자가 정말 2차 강화물이 된걸까? 내가 쥐가 되어 생각 한 것 처럼 쥐는 지연상자가 열리면 치즈를 먹을 수 있다는걸 학습한걸까?

 

 이 물음의 대답은 심리학자 Perkins가 1947년에 한 실험에서 알 수 있어. 실험은 위의 미로 실험과 똑같아. 하지만 지연상자가 조금 달라져. 일단 지연상자A와 B가 준비돼. 위에 실험에서는 하나의 지연상자 에만 먹이가 들어있었지. 하지만 이번에는 50%의 확률로 지연상자A에 먹이가 있을 수도 있고, 지연상자B에 먹이가 있을 수도 있어. 두가지 상자 모두 절반의 확률로 2차 강화물이 되는거야. 이렇게 되면? 지연상자 A와 B모두 2차 강화물이 되지만, 지연상자가 어떨때는 정반응, 어떨때는 오반응 일수도 있게 된거야.

 

 Hull의 분석에 따르면 이제 쥐들은 지연상자 A와 B중 어느 쪽을 선호할 필요가 없어졌어. 50%의 확률이었으니까.. 그리고 Perkins는 이렇게 두개의 지연상자가 뒤바뀌면서 이차 강화물이 된 집단(실험집단)과 지연상자가 제대로 2차 강화물이 된 집단(지연상자A에 먹이가 제대로 들어있는 통제집단)을 비교해 보았어. 그리고 이제부터는 지연상자 A에만 먹이를 넣어놓고 실험을 했어.

 

 당연히 실험집단의 학습이 유의미하게 느렸어. 하지만 이 실험집단에서도 지연이 2분까지 늘어나도 학습이 일어남을 발견할 수 있었어.

하지만 Wolfe의 실험에서 20분의 지연에서도 학습이 되었던 것에 비하면 1/10밖에 안돼. 그럼에도 2분이라는 시간까지 학습이 일어나는 것은 여전히 수수께끼야. 어떻게 2분이라는 시간까지 연합이 될 수 있을까?

 

 Spence의 가설 중 한가지가 이 물음의 대답이 될 수 있어. 바로 '고유수용자극(固有受容刺戟:Proprioceptive Stimuli)'에 대한 가설인데.. 이 블로그에서 다루기에는 너무 신경생리학적 측면이 강한거 같아서 간단하게 넘어갈게. (하지만 심리학, 특히 UX/UI에 대한 신경생리학적 접근인 필수야) 쉽게 설명하면, 만약 오른쪽 통로에 지연상자가 있으면 쥐는 오른쪽으로 도는 것 자체를 학습할 수도 있다는 거야. 오른쪽으로 돌때 사용되는 근골격의 감각수용기가 활성화되는거지. 사실상, 쥐는 맞는쪽으로 움직이는 것 자체를 스스로 강화하고 있는거야.

 이 가설은 Perkins의 지연상자를 뒤바꾸는 실험보다 Wolfe의 실험이 왜 더 학습이 잘 되는지에 대한 설명도 가능해. 그리고 2차 강화물의 확립을을 지배하는 본질적 법칙들이 사실은 고전적 조건형성과 동일하다는 것도 알 수 있어. 우리가 이 두가지 조건형성을 서로 떼어놓고 생각하면 안되는 이유중 하나야.

 Spence의 가설은 2차강화물에 대해 포괄적이고 깔끔한 설명을 제공할 수 있어. 또한 이 고유수용자극은 다른 자극 요소들과 달리 제거 할 수 없는 요소야. 실험체 내에 실험을 위해 있는 요소니까.. 근데 이 요소를 실험에 있어서 제거할 수 없을..까?

 

 아니! 있어! 어떻게?! 다음시간에..

 

-

 

 2014.04.21 추가

 

 아 용어설명 짱시룬데 어쩔 수 없이 용어설명 조금하고 갈게.

 외부수용자극과 내부수용자극이야. 외부수용자극은 말 그대로 외부에서 오는 자극을 수하는건데, 불빛이나 소리 전기충격과 같은 것들이 있어. 그리고 내부수용자극은 말 그대로 내부에 있는 배고픔이나 공포, 놀람, 기쁨 이런 자극이라고 할 수 있고..

 

 그리고 위에서 말한 고유수용자극은 내부수용자극중에서도 근육운동에 기원하는 것들이야. 근육운동이면 내 몸을 움직이는 거니까 외부 아니야? 할 수도 있는데, 눈을 감고 팔을 흔들어 봐. 눈을 감아도 내가 내 팔을 흔드는 느낌을 느낄 수 있지? 내 내부에 있는 근육을 통해서 말야. 그런 감각이 고유수용자극이야.

 

 정리하면, 고유수용자극은 '근육이 움직이는 것을 내가 느끼는 거' 라고 간단하게 알고 넘어가면 돼.

 

 이걸 왜 알아야 하냐면,

 도구적 조건형성의 목표와 관계가 매우 깊기 때문이야.

 강화를 통해서 하려는게 뭐라고? '행동'을 만드는 거지. 행동을 만들려면? 우리몸에 있는 근육을 움직여야 돼. 관련이 있지?

 

 저 위에 보면, 쥐가 Perkins의 미로를 찾아가기 위해 몸을 돌려야 하잖아. 그 행동을 할 때 필요한 근육들이 있겠지? 그 근육들이 움직이는 것을 느끼는게 고유수용자극이고..

 

 '쥐가 먹이를 찾아 가려고 오른쪽 길을 학습하는 것'이 사실은,

 '쥐가 먹이를 찾아 가려고 오른쪽 길로 가기 위해 근육을 움직여 먹이를 찾아가는 것' 이라는 단계가 숨어있는 거지.

 

 그리고 고유수용자극은 '자극'이기에 바로 없어지는 것이 아니야. 형광등을 바라보고 있다가 불을 꺼도 잔상이 남아 있는 것 처럼, 근육운동도 방금 움직였다 멈췄다고 해서 그 감각이 바로 사라지는게 아니잖아. 젖산도 분비될거고, 신경계가 활성화 될거고, 근육 이완 축소 어쩌고 저쩌고 하는 것들이 있겠지만 자세히 알 필요는 없고..

 아무튼, 오른쪽으로 몸을 돌릴 때 썼던 근육들의 감각(고유수용자극)이 먹이를 먹을 때 까지 남아 있는거지.

 강화단계가 한번 더 추가 되었으니까 이차 강화물이 되겠지?

 그리고 감각들이 남아 있다면?

 

 쥐는 이제 오른쪽으로 몸을 돌리는 것을 스스로 강화하게 되는거야. 몸을 돌릴 때 쓰는 고유수용자극이 먹이로 인해 강화 되었거든!!

 

 이로 인해 지연에 대해 Spence는 깔끔하고 포괄적인 설명을 할 수 있게 되었어.

 하지만!! 이 포스트의 제목이 Spence의 '이론'이 아닌 '가설'이잖아. 왜 일까?

 앞서 말한 운동흔적, 근육의 움직임이 서서히 소멸된다는 것에 대해 직접적인 증거가 없거든.. 그래서 Spence의 가설이라고 해.

 

 Spence는 만약, 외부수용자극들 뿐만 아니라 고유수용자극 마저 없앨 수 있다면 아주 짧은 지연의 시간이라도 강화를 심각하게 손상시킬 것이라고 주장했어. 그럴듯 하지? 하지만 고유수용자극은 없앨 수 없는 거니까 가설이 되겠지! 안뇽!

  

 

 

<감수>

성균관대학교 심리학 - 천지현