강화와 처벌 - 1부 : 강화, 처벌 그리고 소거

'강화强化:Reinforce' 란 말 많이 들어봤지? 온라인 게임을 해본 사람들은 진짜 많이 들어봤을거야. 아이템을 강화해서 더 강하게 만드는거 많이 해봤지? 이번에 다룰 강화도 비슷한 맥락이야.

 

<현금가 1억이 넘는다는 리지니의 강화된 아이템>

 

 강화에 대한 이야기에 앞서 Thorndike의 고양이 실험을 떠올려 봐. 고양이의 행동을 반복 시키기 위해서는 어떤게 필요하지? 고양이가 만족할 만한 보상! 그런데.. '만족滿足:Satisfaction'이 뭐야? 만약 생선을 싫어하는 고양이가 있다면? 생선으로 만족이 될까? 만족이 뭐야?

 심리학자들은 이 너무나 주관적 용어를 가지고 Thorndike에게 딴지를 걸기 시작했어. 우리가 신도 아니고 고양이의 생각을 읽을 수가 없는데 고양이가 만족하는지 어떻게 알겠어? 하지만 고양이의 행동이 증가되는 것으로 보아 우리는 짐작하는 거야. 고양이가 보상물에 대해 만족하고 있다고..

 

 "만족스런 상태라는 것은 동물이 회피하기 위한 아무런 행동도 하지 않고, 종종 그것을 얻기 위해 혹은 유지하기 위해 어떤 행동을 하는 것을 의미한다." Thorndike, 1911, p245

 

 Thorndike 또한 이런 문제를 알고 있었어. Meehl(1951)이 나중에 보상의 성질을 '초상황성'이라고 명명했지만 알 필요는 없어. 그러다가 Sheffield, Wulff 및 Backer(1951)들이 만족이라는 말이 위험하다고 실험을 했어.

 

 

 직선 미로를 만들어 놓고 한 쪽에는 발정기의 수컷 쥐를, 보상에는 발정기의 암컷 쥐를 놓았어. 수컷 쥐가 달려가는 속도를 측정해서 보상의 정도를 평가해 보는거야. 그런데 이 실험은 매우 잔인한 실험이야.. 정상적인 쥐들의 교미 양상은 평균 10회정도의 삽입 후 수컷의 사정이 이루어 진다고 해. 하지만 실험자들은 수컷 쥐가 통로를 달려 암컷쥐에게 다가가 2회의 삽입을 했을 때 수컷 쥐를 암컷 쥐에게 재빨리 떼 내어 다시 직선 미로의 처음으로 돌려 놓았어. 수컷쥐는 전혀 만족하지 못했는데!! 그런데 수컷쥐가 다시 암컷쥐에게 달려가는거야. 전번보다 훨씬 빠른 속도로!! 다시 암컷 쥐에게 다가가 삽입을 한 수컷 쥐를 실험자들은 2회 삽입 때 또 떼어내 버렸어. 수컷쥐는 미칠거 같았겠지.. 다시 원점으로 돌아간 수컷쥐는 더 빠른 속도로 암컷쥐에게 달려갔어. 만족스런 보상이 없었는데도 수컷쥐의 행동이 개선된거야! 이 잔인한 실험으로부터 심리학자들은 만족을 줄 수 있는 '보상報償:Reward'이라는 용어 보다 '강화물 强化物:Reinforcer'라는 용어를 더 많이 쓰게 되었어. 그리고 강화물로 인한 동물 행동 화률의 증가는 '강화 强化:Reinforce'라고 불리게 돼.

 

 그럼 강화와 항상 함께 나오는 세트인 '처벌處罰:Punishment'은 뭘까? 간단해. 강화의 반대야..

 

 "동일한 상황에서 행해진 여러 반응들 중에서.. 동물에게 불편함을 주거나 곧이어 불편함을 수반하는 반응들은. 다른 것들이 동일하다면, 그 상황과의 연결이 악화될 것이고, 따라서 그 상황이 다시나타날 때, 그 반응들은 덜 일어나게 될 것이다." Edward L. Thorndike, Animal Intelligence, 1911. p244

 

 Thorndike의 말처럼 동물들에게 불편함이나 수반되는 반응들이 주어진다면 정말 그 상황과의 연결이 약화될까? Skinner의 실험을 보자!

 그 전에 '소거消去:Extinction'에 대해 알고 있어야돼. 소거는 심리학을 공부하는사람이라면 한번쯤 처벌과 헷갈려 본 용어일거야.. 그럼 처벌과의 차이는 뭘까?

 처벌은 강화와는 반대로 어떤 행동을 했을 때 만족할 만한 보상인 강화물을 주는 것이 아니라 불만족 스러운 어떤 불편함을 주는거야. 예를들어 쥐가 레버를 내렸을 때 먹이가 아닌 전기 충격을 줘서 쥐를 아프게 만드는 것이 처벌이야. 스키너 상자의 기억을 떠올려 보면 상자 바닥에 전기충격 장치가 설치되어 있던 거 기억나?

 소거는 처벌과 달리 불편함을 제공하지 않는거야. 하지만 강화물도 제공하지 않아. 즉 아무것도 제공하지 않는거야. 예를들어 쥐가 먹이를 먹으려고 레버를 눌렀는데도 아무것도 나오지 않는거야. 아무것도 나오지 않으면 어떻게 될까? 쥐는 레버를 눌러도 더이상 먹이가 나오지 않는다는 것을 학습하고 레버 누르는 행동을 줄여 나가다가 결국은 하지 않게 될거야.

 이 두 용어가 헷갈리는 이유는 동물 행동 확률을 줄이기 위한 목적이 같다는데 있어. 그래서 헷갈리지만 제공되는 것의 유무를 따지면 기억하기 쉽지? 이제 밑에 있는 그래프를 볼게.

 

  각 그래프의 면적은 동물의 누가 반응이야. 노란색 그래프는 강화물을 제공하지 않는(소거)것과 동시에 처벌을 주었고, 초록색 그래프는 처벌 없이 소거만 했을 경우야. 첫째날에는 처벌의 효과가 엄청 커 보이지? 실제로 반응 횟수 또한 처벌을 가한 집단이 매우 적은것을 볼 수 있어. 그에 반해 소거만 행한 집단에서는 소거의 효과가 그렇게 두드러지지 않아. 하지만 둘째날이 되면 상황이 조금 변해. 처벌을 하지 않고 소거만 한 집단에서도 반응의 증가율이 높지 않게 돼. 왜 그럴까?

  쥐를 생각해 보자. 쥐는 먹이를 얻기 위해 레버를 눌렀고 레버를 누르면 먹이가 나왔어. 하지만 어느날 부터 레버를 눌러도 먹이가 나오지 않게 돼. (초록색 그래프) 근데 다른 친구 쥐는 레버를 누르니까 먹이도 안나오는데 전기충격까지 가해지는거야! (노란색 그래프) 하지만 쥐가 생각했을 땐 분명히 전에는 레버를 눌렀을 때 먹이가 나왔는데.. 하곤 레버를 누르게 돼. 그리고 결국엔 레버를 눌러도 먹이가 안나온다는걸 알게 되는거야. 전기 충격이 있던 없던, 결국엔 말이야.

 하지만 처벌은 단지 일시적으로 효과가 있는 것 처럼 보이게 할 뿐이지. 끝에 가서는 처벌이 없는 집단과 비슷한 정도의 행동 수준을 볼 수 있어.

 1938년에 행해진 이 실험은 우리에게 많은 교훈을 남겨. 행동의 변화에 있어 처벌이 끼치는 영향이 일시적이고 미약하다는 것이야. 그리고 그 일시적이고 미약한 효과를 얻기 위해 우리가 처벌이라는 행위를 하는 데에는 많은 심리적 불편이 따르겠지.. 자신이 부모라 생각하고 가정해 봐. 내 자식의 행동을 변화시키기 위해 소거만 해도 충분할 것을 처벌까지 하면 어떻겠어? 그러면 처벌이 정말 아무 효과가 없는 것일까?

 

 Boe와 Church는 1967년에 이에 대한 실험을 하나 했어. Skinner의 실험과 마찬가지로 쥐가 레버를 누를 때 가하는 전기 충격의 강도를 다르게 해 보았던 거지. 최소 0V(전기 충격X) 최대 220V 까지 충격을 가해 보았어. 전기 충격의 강도가 없거나 약할 때에는 Skinner의 실험 결과와 비슷하게 나왔어. 하지만 강도가 높아지면 어떨까?

 Meduim Voltage로 보이는 75V부터는 쥐의 반응이 뚜렷하게 달라지는걸 볼 수 있어. 그리고 높은 강도인 220V에는 전체 반응수가 마지막 강화시행 동안의 반응에 비해 10%도 되지 않았어. 잉? 그럼 처벌의 강도가 높을 수록 효과가 있는거 아냐?

 응 아냐! 왜 아냐?

 

 

 이에 관해서는 Azrin, Holz 및 Hake등의 1963년에 행한 연구에서 알 수 있어. 비둘기는 처음에 건반을 쪼으면 먹이가 나오는 학습을 했어. 충분히 학습이 된 후에 건반을 쪼으면 먹이 대신 전기 충격을 주었어. 이놈의 전기충격.. 실험자들은 쇼크의 강도가 80V일 때 비둘기의 반응이 완전 억압된다는 것을 알게 되었어. 하지만 처음부터 80V의 전압이 아니라 그보다 낮은 60V의 전압을 주었을 때는 별 효과가 없었어. 그런데! 60V의 전압을 경험한 비둘기가 다시 건반을 쪼아서 80V의 전압을 경험했을 경우는? 놀랍게도 별 효과가 없었어. 그럼 100V는? 마찬가지로 이 전에 60V, 80V를 경험했기에 100V에서도 별 효과가 없었어.. 이런 식으로 점진적으로 증가하여 300V까지 도달 했는데도 불구하고 반응은 계속 되었어! 처음부터 80V를 경험한 비둘기는 완전 억압 됐는데 그 두배가 넘는 300V가 되어서도 반응이 억압되지 않은거야! 비둘기 들이 반응 강도에 순응한거지. 처벌에 순응한거야. 그럼 비둘기의 반응이 억압되는 최소의 정도인 80V는 어떻게 알까? 그건 경험으로 밖에 알 수 없는 거야.. 어렵지?

 그럼 처벌의 효과를 정하는 것이 처벌의 강도 밖에 없을까? 아니야! 또 중요한 요인이 하나 있어. 바로 '시간'이야. 그건 다음 글인 강화와 처벌 2부 에서 이어가도록 할게

 

 "우리는-고통이라는 막대한 대가를 치르고서-처벌이 장기적으로 어떤 행동의 발생확률을 감소시킬 수 없다는 것을 점차 발견해 나가고 있다." B.F. Skinner, 1948, Walden Two.