다메카솔

주변을 보면 개발자분들은 대부분 블로그를 하고 있는 것 같다.

블로그와 정보의 공유, 기록의 필요성은 충분히 공감하고 있어서 개인적으로도 몇번 글을 쓰려고 시도했었지만 남들에게 보여줄만큼 글을 쓰고 다듬는게 여간 힘든 일이 아니었다.

글을 쓸 목표를 잡고, 예상한 시간보다 몇 배의 시간을 들여서 글을 작성하여도 정말 최선의 결과인지 확신이 서지 않으니까 점점 더 글을 쓰기 힘들어지고 빈도도 낮아지다보니 나중에 해야지 하고 미루는 일이 반복되었다.

그렇게 남들에게 공유할 수 있는 글을 쓰지 않고, 대신 공부한 내용을 개인적으로 필기하는 정도로만 관리하다 보니까, 어느순간 공부는 하였어도 실제로 사회와 세계에 내가 배웠다는 사실이 아무런 영향을 미치지 않는다는 생각이 들었다.

강의를 듣고, 책을 보고, 생각을 정리하여서 내 지식이 성장하면 그것이 필요한 순간이 오고 세상에 기여을 할 수 있을 것이라고 생각했는데, 큰 착각이었던 것이다. 가만히 있으면 아무런 일도 일어나지 않는다. 당연한 것을 너무 늦게 깨달은 것 같다.

그래서 다시 글을 쓰고 다듬고 정리하기로 한번 더 시도하기로 했다.

글이 부족하면 부족한 대로 나 자신과 남들에게, 세상에 조금이나마 기여를 하고 변화를 줄 것이라고 생각한다.

우선 대충 창고에 박아놓은 느낌이 드는 원노트의 글들을 먼지를 털어내서 컨플루언스에 정리해놓고, 그 뒤에 다른 사람들이 볼 수 있을 만큼 다듬어서 하나씩 글을 채워나갈 예정이다. 너무 대충 넣어둔게 많아서 대청소를 하려면 정말 장기 프로젝트가 될 것 같다. 그래도 한 1~2년 하다보면 누군가 작은 도움 받았다면 언젠간 댓글도 달아주지 않을까

 요즘 통계관련된 책을 많이 찾아서 보고 있다.

방송통신대 통계학과에 편입해서 공부한게 엊그제같은데 벌써 졸업학기가 다가왔고, 내가 그동안 무엇을 공부했는지 돌이켜 보았는데 분명 퇴근하고 학과강의도 열심히 듣고, 주말에도 복습하고 과제하고 시험보고 많은 것을 한 것 같은데 막상 무엇을 할 수 있느냐고 물어보면 내가 뭘 할 수 있을까? 라는 의문이 들었기 때문이다.

 개발쪽 구직이 여러 이유로 지연되어서 시작한 통계공부지만, 그래도 2년넘게 공부하면서 나름 정도 생기고 요즘 트렌드도 데이터쪽을 중요시하고 업무적으로도 DB를 볼 일이 많다 보니까 점점 더 배우길 잘했다는 생각이 들었다. 근데 막상 무언가 하려고 하면 무엇부터 시작해야할지, 활용한 경험이 없어서 막막한 느낌이 드는 것이다.

개발할때도 똑같이 전공과목이나 언어등을 배우고 막상 무언가 만들려고 하면 막막한 느낌이 많이 들었는데, 목표를 가지고 무언가 만들어가면서 지식을 실제 문제해결과 연결하면서 창고에 쌓아놓았던 물건들을 세상에 내놓을 수 있도록 다듬어야 하는 과정이 없었던 것이다.

 아무튼 무언가 데이터분석을 해보려고 하려고 하니까, 예전에 배웠던 내용들이 잘 기억이 나지 않았다. 교수님이 말씀해주시거나 명확한 과제가 있어서 책을 찾아야 할 때는 그 과목의 맥락 안에서 개념들을 잘 떠올리고 해결했는데, 현실세계의 문제에 적용하려고 하니까 아 그게 뭐였지? 하고 다시 찾아봐야 할 필요성을 느꼈다.

마침 자주가는 커뮤니티에서 리뷰이벤트를 하여서 참여했는데 감사하게도 책을 볼 수 있는 기회를 얻었고 쭉 보면서 예전 개념들을 다시 한번 복습하고 있다.

책은 예상보다 난이도 있는 내용도 꽤 많이 들어가있었고(공부를 제대로 안해서 그런가 ㅠㅠ) 쉬운 내용들도 잘 정리되어있었다. 글자가 너무 빽빽하지도 않고, 이미지도 적당히 들어가있어서 보기 편하면서 설명이 많이 필요한 부분은 수식이나 사용예시도 잘 나와있었다.

각 개념별로 페이지구성도 백과사전이라는 단어에 걸맞게 보기편하게 잘 되어있었고, 전반적으로 만족스러운 책이다. 헷갈리는 개념등 다시 봐야할 필요가 있을 때 한번씩 보면 도움이 많이 될 것으로 기대한다.

서론

베이즈정리는 컴퓨터 연산능력의 향상과 빅데이터의 발전과 함께 재조명되었다.

통계학은 베이즈 통계학 이전과 이후로 나뉜다고도 일컬어진다

베이즈정리가 갑자기 왜 중요해졌고, 어떻게 쓰이길래 통계학의 역사를 구분한다고 할까? 

목표

베이즈정리를 이해한다.

베이즈정리의 활용사례를 이해한다.

정의

베이즈 정리는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리다.

쉬운 말로 풀면 지금 일어난 사건을 활용하여 그 사건의 확률을 구하거나, 이미 알려진 사건의 확률을 활용하여 지금 그 사건이 일어났는가 구할 수 있는 정리이다.

배경

과거 통계학은 전수조사의 어려움으로 추측통계와 검증을 메인로 하여 발전하였다.

하지만 컴퓨터 연산능력의 증가로 빅데이터가 쌓이고, 그 빅데이터를 분석할 수 있게 되면서 모수에 아주 근접한 확률을 얻을 수 있게 되었다.

그로 인하여 실험과 경험을 통하여 전체를 추측하는 과거 통계에서, 역으로 전체에서 구체적인 사건의 확률을 구하는 일이 가능해지고 이는 빅데이터분석과 인공지능의 주춧돌이 되었다.

예시

코로나에 걸릴 확률과, 검사를 통해 양성이 나올 확률을 생각해보자.

사람들이 코로나에 걸렸을 수도, 안걸렸을 수도 있으며

검사결과 양성이 나왔을 때, 진짜 코로나에 걸려서 양성이 나왔을 수도 있지만, 걸리지 않았는데 검사오류로 양성이 나올 수도 있다.

이때 베이즈정리를 활용하면 `코로나 검사 양성일 때', 내가 코로나에 걸렸을 확률을 알 수 있다.

위 다이어그램으로 예를 들면, A1은 코로나에 걸렸을 사건, A2는 코로나에 걸리지 않았을 사건이고 B는 검사키트가 양성일 사건이다. 얼핏 생각하면 양성키트의 진단율이 내가 양성이므로 코로나에 걸렸을 확률이라 착각하기 쉽지만, 실제 계산을 통하여 수치를 구하게 되면 생각한 확률과 큰 차이가 난다는 것을 볼 수 있다.

ex)

질병에 걸릴 확률 0.01 / 질병에 걸렸을 때, 테스트 결과가 양성일 확률 0.96 이라 하면

베이즈정리를 통하여 계산하였을 때 테스트 결과가 양성일 때 질병에 걸렸을 확률은 0.24가 나오게 된다.

정리

베이즈정리의 재발견은 통계학을 바라보는 시각을 변화시켰으며, 인지과학등 다른 학문에도 영향을 주며 그 중요도가 커지고 있다. 대부분의 계산은 컴퓨터가 하며, 수식 또한 라이브러리를 통하여 손쉽게 호출하여 계산할 수 있는 세상이니 개념만 잘 이해하면 빅데이터의 세계를 더 잘 이해할 수 있게 될 것이다.

용어

사전확률 : 특정 사상이 일어나기 전의 확률

사후확률 : 특정 사상이 일어난 후의 확률

출처

이미지

diagram -  wiki.com

위키-베이즈정리, https://ko.wikipedia.org/wiki/%EB%B2%A0%EC%9D%B4%EC%A6%88_%EC%A0%95%EB%A6%AC

서론

조건부확률은 복잡하고 서로 얽혀있는 현실세계의 확률을 계산하기 위해 필수적인 개념이다.

또한 현대통계학, 머신러닝에서 가장 중요한 베이즈정리를 이해하는데 꼭 필요한 개념이다.

조건부확률은 무엇이고, 사건이 서로 독립이고, 종속이라는 뜻인 무엇일까?

목표

조건부 확률을 이해하고 구할 수 있다.

사건의 독립을 이해한다.

정의

조건부 확률은 어떤 사건이 일어난 가정하에 다른 사건이 발생할때의 다른사건의 확률이다.

사건의 독립은 각 사건들에서 다른 사건에 대한 정보를 얻을 수 없는 관계를 의미한다.

예시

조건부확률:

위 다이어그램에서 B1의 확률은 0.1(B1/전체)이지만,

A가 발생했을 때 B1이 발생할 확률은 0.1/0.52(B1/A) =0.19..가 된다.

사건의 독립:

위 다이어그램은 전체에서 A 사건의 발생확률이 1/3인데 절묘한 비율로 B가 일어났을때 A가 발생할 확률도 1/3이다

B도 마찬가지로 전체에서의 확률과, A가 발생했을 때 B가 발생할 확률이 같다. 이런 관계를 독립이라 한다.

정리

독립의 경우 정의를 보면 조금 복잡하게 느껴지지만, 주사위를 던지면서 동시에 동전도 던지는 경우 각각의 사건이 서로에게 영향을 미치지 않는 경우, 대다수 현실세계의 사건들의 관계를 생각하면 된다.

조건부확률과 독립은, 확률을 식으로 표현할 때 간단히 정리하고 이해하기 쉽게 도움을 준다.

https://blog.naver.com/mykepzzang/220834900088

용어

조건부 확률: 어떤 사건이 발생했다는 조건하에서 다른 사건이 발생하는 확률

독립 : 주어진 정보하에서 조건부 확률과 주어진 정보 없이 구한 확률이 같을 때 두 사건 간의 관계

종속 : 사건 A의 발생이 사건B의 확률에 영향을 미치는 관계

출처

이미지

boxs - mockuptree.com

diagram -  wiki.com

위키-조건부확률, https://ko.wikipedia.org/wiki/%EC%A1%B0%EA%B1%B4%EB%B6%80_%ED%99%95%EB%A5%A0

서론

빅데이터나 머신러닝 등 데이터를 분석할 때 사용되는 이론이나 프로그램 함수들은 많은 수가 확률에 기반하고 있다.

확률을 공부함으로써 단순히 분석 프로그램을 돌리고 결과를 받아보는 것보다 깊은 통찰력을 얻을 수 있을 것이다.

목표

확률이란 무엇인가?

확률을 어떻게 계산하는가?

정의

확률은 크게 고전적 정의와, 공리적 정의로 나뉜다.

고전적 정의(수학적 정의)는 일상생활에서 흔히 쓰이는 개념으로 전체사건과 발생사건의 비율로 계산한다.

공리적 정의는 고전적 정의의 숨은 전제인 모든 사건의 발생 가능성이 같다는 가정에 의문을 제시하여 나온 정의이다.

공리적 정의는 3가지 명제로 정의되는데, 간단히 요약하면

1) 확률은 0에서 1 사이의 값이다.

2) 전체 표본공간의 확률은 1이다.

3) 표본공간 내의 각각의 사건들의 확률을 다 더하면 1이된다.

예시

예를 들면, 주사위를 던져서 1부터 6까지의 숫자 중 한가지가 나올 확률은 고전적 정의에선 1/6이다.

공리적 정의에서도 모든 사건의 발생 가능성이 같기 때문에 1/6으로 동일하다.

하지만 현실세계의 문제는 사건의 발생 가능성이 다른 경우가 훨씬 많다.

포장된 과자를 샀을 때, 안에 들어있는 과자의 수의 확률같은 경우

과자의 개수가 100개에서 150개 사이라고 할때, 구매한 과자의 수가 125개일 확률과 150개일 확률이 같을까?

자동화된 공장에서 정해진 공정에 따라 포장되는 과자의 수는 평균값에 가까울 확률이 크고, 많이 들었거나 적게 들은 경우는 평균값의 확률보다 더 낮을 것이다.

정리

확률은 모든 사건의 발생가능성이 같은경우 부분/전체로 구하거나 다른경우 각각의 확률을 측정해서 계산한다.

용어

표본공간 : 통계적 실험의 모든 가능한 결과의 집합

사건 : 표본공간의 부분집합

고전적 확률 : 사건의 원소수를 표본공간의 원소수로 나누어서 구한 확률

공리적 확률 : 고전적 확률을 일반화시킨 확률

출처

위키백과, https://ko.wikipedia.org/

이긍희,박진호,확률의 개념과 응용(KNOUPRESS)

파라미터와 매개변수, 사람들과 이야기할 때 자주 사용하는 단어이다.

어떤 사람들은 파라미터를 쓰고, 다른 사람은 매개변수라고 말하는데 두개 모두 함수에 전달하는 값을 의미하는 것 같은데 도대체 정확한 정의가 무엇인지, 왜 단어가 두개이고 혼용해서 사용해도 괜찮은 것인지 헷갈려서 찾아보았다.

https://stackoverflow.com/questions/156767/whats-the-difference-between-an-argument-and-a-parameter

구글링을 하였을 때 가장 먼저 나오는 스택오버플로의 답변은 파라미터는 함수의 정의, 선언에서 사용되는 변수를 뜻하고, 아규먼트는 함수를 호출하여 인자를 전달할 때 사용하는 변수들을 의미한다고 한다.

수학에서는 어떤 두 식 x = t+1, y = t^2 가 있을 때, 두 식을 묶어주는 변수 t를 매개변수라고 한다.

프로그래밍에서도 int a = abc(x) 명령어와 int abc(x){} 함수 선언 사이에 관계를 만들어 준다는 점에서 수학에서의 쓰임과 유사한 점이 있어서 혼용해서 사용하는 것 같고, 한글위키에서 수학의 매개변수 정의나 컴퓨터 프로그래밍의 매개변수 정의 모두 파라미터가 포함되어 있으며, 영문위키에서도 파라미터가 흔히 아규먼트(지역변수)처럼 사용된다고 언급하고 있다.

따라서 그냥 편한대로 써도 상관 없을 것 같다.

근데 두 단어의 차이를 알고 나니까 Java Main의 (String[] args)는 왜 메인함수의 선언인데 아규먼트의 약자를 썼을까 하는 생각과, sysparam이나 .param()등으로 자주 보이는 함수들은 왜 그렇게 썼을까 궁금해진다.

parameter : 함수,메서드의 선언에 사용되는 변수
arguments : 지역변수, 함수호출시 parameter에 전달되는 데이터