데이터 분석
-
04-6 표준정규분포의 넓이와 백분위 그리고 표준정규분포표데이터 분석/파이썬으로 배우는 데이터 분석을 위한 통계학 2022. 3. 18. 17:21
여태까지 표준화를 하기 위해 많은 연습들을 해 왔어. 그리고 어떤 데이터라도 표준화를 한다면 평균이 0, 표준편차가 1이 된다는것도 알았지. 그럼 평균이 0이고 표준편차가 1이라는 것 이외에 무엇을 알수 있을까? 통계에 대해 공부하기 위해서는 '확률'에 대해 알아야 돼. 그래서 고등학교 땐 '확률과 통계'로 배우잖아. 줄여서 확통! 그 만큼 통계와 확률이 밀접한 관계를 가지고 있기 때문이야. 그리고 확률에 대해 떠올려보면 전체는 100%라는 개념이 떠 오를거야. 바꿔 말하면 전체는 1이지. 어? 표준정규분포 또한 표준편차가 1인데? 1이라는 숫자가 자주 등장하는거 보니 또 무언가 연관성이 있지 않을까? 우리는 여러가지 통계적 지표들을 배워오면서 절대적인 수치보다 중요한 것은 상대적인 의미라는 것을 알게 ..
-
04-5 정규분포와 표준정규분포데이터 분석/파이썬으로 배우는 데이터 분석을 위한 통계학 2022. 3. 17. 21:19
앞서 우리는 원점수를 표준화하여 표준점수를 구해봤어. 그리고 표준점수를 활용한다면 다양한 척도의 다양한 값들을 비교하는것이 매우 용이하다는 것을 알게 되었지! 오예~! 세상에는 엄청 많은 수치들이 존재할거야. 바둑판만해도 우주의 별 보다 많은 경우의 수 들이 존재하잖아. 이러한 숫자들에 어떠한 규칙은 없을까? 우리의 뇌로 이 세상의 존재하는 모든 숫자들을 다 고려할 수 없기 때문에 한 가지 상상을 해 볼거야. 여러분이 원하는 한 가지 분야를 골라서 가상의 평균을 구해보는거야. 예를 들어 '모든 한국인들의 키'라고 해 볼까? 전 국민의 신장을 실시간으로 조사하는 방법은 존재하지 않기 때문에 상상을 해 보자는거지. 그리고 상상한 모든 키 들의 평균도 정할 수 있을거야. 어차피 내 상상일 뿐이니 정확하지 않아..
-
04-4 표준점수의 평균과 표준편차데이터 분석/파이썬으로 배우는 데이터 분석을 위한 통계학 2022. 3. 17. 21:18
이전 시간에 표준점수에 대해 배웠어. 표준점수가 필요한 이유는? 점수들의 척도가 다 다르니까 하나의 표준화된 척도로 맞춰주기 위해! 하나의 표준화된 척도로 맞추려면 다 다른 점수를 하나의 표준화된 점수로 맞춰주면 좋잖아? 척도는 상수를 더하거나 곱해서 변화시킬 수 있으니까! 기억나지? 그리고 원점수와 평균점수가 같다면 표준점수는 0이 될 수 밖에 없었지! 이 이야기를 조금 더 해볼게. 먼저 점수들을 볼까? 1학기 2학기 원점수 표준점수 원점수 표준점수 40 -1.15 40 -1.10 50 -0.69 45 -0.88 60 -0.23 65 0.00 85 0.92 85 0.88 90 1.15 90 1.10 우리는 원점수에서 평균을 뺀 다음 표준편차로 나눠서 표준점수를 구할 수 있었지. 그런데 혹시.. 이런 생..
-
04-3 파이썬으로 표준화데이터 분석/파이썬으로 배우는 데이터 분석을 위한 통계학 2022. 3. 17. 21:16
표준화를 직접 해보니까 어때? 굉장히 복잡해 보이지만 어렵지 않은 더러운 느낌이 나지.. 변수도 많고 과정도 코드로 구현하니까 길었잖아? 복습 차원에서 코드를 다시 한 번 쳐다볼까? 다시 봐도 참 길군.. 그럼 혹시 모듈이나 라이브러리를 사용하면 좀 더 쉽게 표준화를 할 수 있지 않을까?! - 우선 통계적 수치를 계산할 때 사용되는 파이썬 표준 라이브러리의 'statistics' 모듈을 활용해 볼게. statistics 모듈을 사용하면 표준점수를 엄청 간단하게 구할 수 있었지? 표준점수를 구하기 위해선 평균과 표준편차를 알아야 하는데 평균은 statistics 모듈의 'mean()' 함수로, 표준편차는 'stedv()' 함수로 구할 수 있어. 그리고 'statistics' 모듈은 통계학의 약자인 'sta..
-
04-2 표준화와 표준점수데이터 분석/파이썬으로 배우는 데이터 분석을 위한 통계학 2022. 3. 17. 15:57
이전 시간에 표준척도에 대해 사알짝 배워봤어. 척도는 변환될 수 있다는 것을 배웠으니, '여러 척도를 하나의 표준화 된 척도로 만든다면 비교하기 쉽지 않을까?' 라는 생각을 할 수 있게 되었지! 그치? 그러한 척도를 표준척도라 하고, 이 때 사용되는 점수가 표준점수가 돼. 표준점수에 대해 좀 더 살펴볼까? 나의 1학기 국어 시험 점수가 85점이라고 가정해 볼게. 2학기 국어 시험 점수도 85점이라고 해 볼게. 앞서 배웠듯이 절대적으로 관측되는 수치는 별 의미가 없다고 했지? 이 85점이라는 점수가 정말 높은 점수인지 낮은 점수인지는 바로 알 수 없어. 비교 대상들이 필요하지. 1학기와 2학기의 시험 점수가 아래와 같다고 가정해 볼게. 1학기 우리 조 국어 시험 점수들 : 85(내 점수), 84, 83, ..
-
04-1 척도데이터 분석/파이썬으로 배우는 데이터 분석을 위한 통계학 2022. 3. 17. 15:17
'척도(scale)'란 말 그대로 대상을 관측한 속성값을 타나내는 도구야. 그런데 관찰 대상이 같더라도 관측한 속성값은 다를 수 있어. 다양한 국가와 인종이 있는 만큼 척도도 다양 할 수 있지! 그래서 '표준척도(standard scale)'가 필요해. 척도의 표준을 맞춰야만 상대적으로 비교하기 쉽겠지? 그러나 미국 사람들은 표준척도에 대해서 아는 척도 하면 안 돼. 거기는 척도가 개판이거든. 미터법에서 물 1mL의 부피가 1cm³이고, 질량이 1g이며, 온도를 1℃ 올리는 데 에너지 1 cal가 필요해. 여기서 1℃는 물의 어는점과 끓는점 간극의 1%를 말하지. 또한, 수소 1g에 들어있는 수소원자의 양은 정확히 1 mol이야. 반면 미국의 단위계에서 '물 1갤런을 끓이기 위해 얼마나 많은가?'라는 질..
-
03-8 모집단과 표본집단 : 모수치와 통계치데이터 분석/파이썬으로 배우는 데이터 분석을 위한 통계학 2022. 3. 17. 15:15
모집단에서 표본집단을 추출하는 이유가 뭐라고했지? 시간과 돈과 노력과이 많이 드니까, 오래걸리고 돈도 많이 들고 귀찮으니까! 나는 베짱이! 우리는 전에 주의력결핍과잉행동장애(ADHD)를 앓고있는 학생들에게 리탈린이라는 약을 투여해서 학업 향상에 효과가 있는지 알아보기 위한 이야기를 했잖아. https://kimhaksung.tistory.com/entry/pytong01-2 01-2 기술 통계와 추론 통계 : 가설 검증 그럼 이제 본격적으로 통계학에 대해 배워볼까? 통계학이란 자료라고 불리는 양적 정보를 기술하고 해석하기 위한 방법을 연구하는 학문이야. 통계학의 정의만 보아도 4차 산업 시대에 가장 kimhaksung.tistory.com 기억나지? 이 실험에서 모집단은 ADHD를 앓고 있는 전 세계 학..
-
03-6 변산성의 지표 1 : 분산과 자유도데이터 분석/파이썬으로 배우는 데이터 분석을 위한 통계학 2022. 3. 17. 14:24
드디어 분산과 표준편차가 등장했구나~!~! 사실 이전까지의 글들은 분산과 표준편차에 대해 설명하기 위한 빌드업이었지. 빌드업치곤 너무 긴거 아니냐고? 그만큼 분산과 표준편차가 중요하니까! 빌드업도 길게 했던거지! 분산과 표준편차에 대해 알아보기 전에 변산성에 대한 정의를 다시 떠올려볼까? 변산성은 '점수들이 흩어진 정도', '점수들이 평균에서 떨어진 정도', '점수들이 서로 다른 정도'와 같은 의미를 갖고 있었어. 기억나지? 예를 들어 A집단의 점수들이 '60, 70, 80'이고 B집단의 점수들이 '50, 70, 90'이라고 가정해 볼게. 두 집단의 평균은 70으로 같겠지만 B집단이 A집단보다 변산성이 더 크지! B집단의 점수들이 평균으로부터 더 많이 떨어져있기 때문이야. 그럼 변산성에 대한 개념을 알았..