야니 이야기

1) 이론이란

▪ 법칙 : 어떤 현상에서 관찰 또는 실험을 통해 경험적으로 입증된 변인들 간의 관계를 진술해 놓은 것 예) 간조와 만조, 케플러의 법칙

 - 법칙의 특징 : 변인들 간의 관계가 규칙적이어야 함.

                     법칙이 성립하기 위한 전제나 가정이 자명해야 함.

▪ 원리 :

- 어떤 현상에서 관찰 또는 실험을 통해 경험적으로 입증된 변인들 간의 관계를 진술함.

- 법칙에 비하여 규칙성이 낮고 원리가 성립하기 위한 전제나 가정의 자명성이 부족함. ex) 최소집단의 원리(principle of the least sitegroup)

▪ 이론(theory)

- 구조적으로 또는 기능적으로 서로 유사성과 관련성이 높은 두 개 이상의 법칙이나 원리가 체제적으로 통합되어 있는 것. ex) 갈릴레이의 법칙+ 케플러의 법칙+갈릴레이의 조수 법칙=> 뉴튼의 기체운동론

- 종합성 : 적어도 두 개 이상의 원리나 법칙이 체계적으로 통합되어 있다는 점에서 종합적,

- 일반성 : 넓은 영역의 현상을 기술, 이해, 예언, 통제하는데 이용되고 있음.

▪ 이론의 기능( Hamilton과 Ghatatla )

첫째, 새로운 사실의 발견

- 어떤 현상에 관한 이론을 근거로 가설을 세우고 검증함으로써 이론에 부합되는 새로운 사실들을 찾아감

둘째, 단편적인 사실을 요약하고 상호 관련지음.

셋째, 기존의 관찰된 사실들을 설명.

2) 학습 이론이란?

▪ 학습 : 경험(훈련이나 연습 등)을 통하여 유기체에게 일어나는 비교적 지속적인 행동이나 인지의 변화.

▪ 학습 이론 : 어떤 학습의 결과(행동의 변화)를 일으키게 한 유기체 내의 학습과정을 설명하고 해석하는 것을 목적으로 하는 것(김종서, 1997).

(1)행동주의적 관점

- 학습에서 행동주의란 연합주의적 접근 또는 자극-반응(stimulus-response)이론

- 관찰 가능한 외현적 행동만을 가지고 행동이론을 제시

- 유기체의 행동은 경험의 결과로 일어나는 학습으로 이해 할 수 있음.

▪ 행동주의 학습이론의 특징

① 주로 인간 이외의 동물을 실험 대상으로 하였다.(진화론-동물의 연장, 윤리적인 문제)

② 학습은 무조건 자극과 조건 자극의 연합의 결과다.(파블로브의 실험)

③ 학습은 자극과 반응의 근접적 연합의 결과다.(광고, 구구단)

④ 학습은 강화의 결과다.(스키너 상자)

(2) 인지주의적 관점

- 인간의 학습에는 복합적인 정신적 과정이 중요한 역할을 함.

- 내적인 정신 과정을 연구하는데 중점.

- 학습을 인지구조의 습득과 변형으로 봄.

- 학습은 단순한 습관의 형성이 아니라 두 사건의 관계를 ‘아는 것(인지하는 것)’이 포함 되어 있다고 믿음(변영계, 1984).

- 인지학습이론 : 학습이란 한 개인이 자기가 갖고 있는 생각과 그에게 제시된 환경적 현상을 상호작용하게 하는 지적 과정이라고 할 수 있다.

3) 교수 이론이란?

▪ 교수는 수업에 비해 포괄적이며 구체적으로는 설계, 개발, 실행, 관리, 평가가 포함 됨.

▪ 교사가 교실에서 수업 시간에 가르치는 것이 수업이며, 이 수업은 포괄적인 교수 활동의 일부분이라고 보았음(Reigeluth).

▪ 수업이론의 성격

• Gage(1964) : 교수 이론의 필요성 

- 학습 이론은 교수 이론으로 변환될 때 교육에 주는 유용성이 더욱 커질 것임.

- 교수 이론은 모든 교사, 학생, 학습과제, 모든 수업장면에 적용될 수 있는 일반적 성격을 가져야 함.

• Bruner(1966) : 교수 이론의 본질

-교수 이론은 단순히 학습과정을 기술한 것이 아니라 학습과제를 어떻게 하면 학습자가 가장 잘 배울 수 있을 것인가에 관심을 갖는 것.

① 처방적(prescriptive) : 어떤 목적을 달성하기 위하여 어떻게 해야 하는지를 제시하는 것.

② 규범성(normative) : 학습자가 어느 정도까지 학습해야 하며(학습의 준거), 어떤 조건에서 학습해야 하는지(학습의 조건)를 제시해야 한다는 점에서 규범적이라고 봄.

③ 방법적 : 교수 이론은 학습 환경을 조작하는 방법에 관한 것.

- 교수 활동이란 학습자가 학습목표를 달성할 수 있도록 학습자의 내적·외적 환경을 의도적이고 체계적으로 조작해 가는 과정

- 교수 이론은 조작의 대상이 되는 내적·외적 환경이 무엇이며 어떻게 그것들을 조작할 수 있을 것인지 구체적인 방법과 전략을 제시해 주는 것이어야 함.

4) 교수 이론과 학습 이론의 비교

- 이론과 응용의 차이

- 상호 보완적이고 의존적인 관계

1) 고대의 학습관

-고대사회에서는 어떤 사태를 분석하는 체계적 수단이 없었기 때문에 주로 신화와 미신에 의존하여 지식을 얻고자 하였음

 ex) 바다의신 포세이돈이 폭풍을 일으키고, 벼락은 제우스가 형벌로 내리는 화살로 여김

-대략 B.C. 400년 경~16세기 중반까지 2,000여 년 동안 걸쳐 철학은 학습에 주된 지식원의 역할을 해 왔음

** 그렇다면 철학의 목적은 무엇일까?

  : 우주의 본질을 정의하고 ＇진리란 무엇인가?’, ‘ 지식이란..?’, ‘안다는 것은 무엇인가?’ 등과 같은 질문을 통해  ‘외적세계＇와 ＇내적세계’의 통합적 관점을 가짐

-16세기 중반 이후, 새로운 지식 발달 수단이 나타남. 기존의 철학처럼 논리와 추론에만 의존하지 않고, 실제 세계의 여러사상을 실험하는 방법인 ‘과학적 접근‘*을 시도    * 1500년 경 갈릴레이가 처음 도입

(1) 진화론과 학습이론

- 1700년 이후 서구 사회의 급변(독립혁명, 프랑스혁명, 산업혁명 등)으로 개인/사회/세계관 붕괴

- 환경의 변화와 적응이론 중 가장 유명한 이론 : 다윈의 진화론

  * 다윈의 적자생존의 법칙은 특정 환경에서 가장 잘 적응하는 종만이 살아남고, 환경이 바뀌면 그 환경에 적합하게 살아남을 수 있도록 종도 당연히 바

    뀐다(ex. 공룡은 환경에 적응 못해 멸종)

- 다윈의 연구결과는 정신과학에 많은 영향을 끼침(첫째, 우주관을 뒤집었고, 둘째, 변화의 과정에 주의를 기울임)

- 인간의 정신이 변화의 과정을 겪는 것이라면, 인간과 신 사이도 더 이상 주된 관심사가 아님

- 즉, 우주나 인간에 대한 불완전성의 책임을 신에게 돌는 것이 아니라 적자생존이란 개념으로 인류의 책임감 이라는 개념을 일깨워줌

- 다윈의 진화론을 근거한 학습이론을 정립한 심리학자가 바로 피아제와 스키너 임

  * 피아제는 ‘학습은 출생부터 성인기까지 주변 환경에 대한 적응으로 일어난다’고 주장

      EX) 어린아이는 움직이는 모든것이 살아잇다고 믿다가, 자라면서 믿음과는 상반된 사실에 직면하게 되고실제 사실에 자신의 신념을 새롭게 만든다

          (인지발달이론)

  * 스키너는 ‘유기체가 환경에 적응하는 것이 아니라 환경이 생존하기 적합한 특성을 선택한다＇고 주장

      EX) 인간의 행동에서 적절한 것만이 강화받고 계속 존재하게 되는데 그것을 학습이라 함(연기자가 박수갈채라는 보상을 받으며 성장하고 발전)

(2) 과학적 실증주의와 학습이론

 - 진화론으로 심리적 과정을 연구하는 길이 열렸지만, 실증적연구를 처음 한 사람은 정신과 의사, 과학자, 철학자였던 helmholz였음

  * 그는 지식을 선험적인 것으로 본 이전 논증들을 반박하며, 수학적 개념도 경험의 결과라 주장하였고, 평행선이 서로 만나지 않는 공리도 인류가 살고있는 공간속에서 경험으로 알게된 것이라 함

 - 인간의 정신세계를 연구하는 데 실험적 방법을 처음 도입한 사람은 유럽 심리학자들이며, Wilhelm Wundt(실험심리학의 아버지)가 그 중 한 사람임

  * 최초의 공식 심리학 연구소를 설립하였고, 실험심리학이 미국으로 도입되는 계기가 되기도 함

  * 이 연구소에서 정신검사(mental test)라는 용어가 생김

  * 미국으로 도입된 심리학 발전은 학교교육과 관련하여 실용적인 심리학이 요구되었고, 이러한 요구에 따라 4가지 경향으로 나타남

 ① James 학파

 - 미국심리학의 아버지 Wiliam James는 심리학의 본질에 대한 지식을 교실에서 실제로 증명하였음

  * 정서의 역할, 자유의지, 습관 형성 등에 대한 주제들을 연구하였고, 아동의 능동적 사고 증진을 주장

 ② Dewey의 진보적 관점

 - 기능주의 심리학 창시자, 인간의 신체적, 정신적, 도덕적 정응에 대한 연구를 강조

 - 또 인간의 행동을 인위적으로 자극-반응으로 구분하기 보다는 전체적이고 기능적으로 파악

 - 교육과정의 목적을 아동의 사회적 통찰력 발달에 두었음

 ③ 아동 연구 운동

 - 사회는 아동이 어떻게 자라는가에 따라 미래가 결정되며 학교의 미래는 아동의 자연스러운 발달에 얼마나 잘 적응하느냐에 따라 결정된다고 주장

 ④ 최초의 교육과학자 Thorndike

 - 교육심리학의 아버지, 행동에 관한 실험으로 얻은 학습이론, 교육과적에 적용한 학습법칙 형성

1) 수업 목표의 확정

 (1)수업목표의 성격과 기능

수업목표가 정확하게 진술될 때 목표 달성에 가장 알맞은 수업활동, 수업 매체, 수업자료를 선택할 수 있고 수업이 끝난 후 의 평가도 개관적으로 이루어 질 수 있다.

수업목표를 세부적이고 행동적인 것으로 기술 하다 보면 단편적인 것과 쓸모 없는 것을 골라내어 진술하기 쉽다는 점과 학교에서 가르치는 많은 교육목표들은 분석적이고 행동적으로 진술하기 어렵다 하여 수업목표를 분명하게  세부적으로 진술하는 것을 반대하기도  한다.

교수 · 학습과정이 효율적으로 수행되기 위해서는 치밀하고 과학적인 계획이 수립되어야 하는데  이를 위해서는 명확하고 분명한 수업목표가 반드시 필요하다

‘수업목표는 수업이 효과적일 경우 그 수업과정에 참여한 학생들의 생각과 느낌과 행동이 어떻게 변하는 지를 규정해둔  진술문 (김호권 , 1977)’

수업목표의 기능 (변영계, 1984)

첫째, 수업목표는 교육과정에서 의도하고 있는 목표와 내용을 성취시킬 수 있는 학습경험을 선정하는데 명확한 시사를 준다.

둘째, 수업목표는 그것을 달성하려는 학생들의 학습을 일반적으로 촉진시키는 기능을 한다.

셋째,  수업목표는  객관적인 평가의 준거가 된다.

-수업목표는 최종 수업 목표와 구체적 수업 목표로 나눌 수 있다. (변영계, 1984)

-구체적 수업목표의 필요성

① 수업자나 수업설계자가 수업목표를  분명히 알게 되면, 주어진 시간에 무엇을 가르쳐야 하는지가 분명해져서 수업시간을 낭비하지 않으며, 수업태도를 바르게 할 수 있다.

② 학습자가 학습목표를 알게 되면, 학습자 스스로 자기수업계획을 세우게 되어 학습의 효과를 높일 수 있다. 

③ 구체적이고 세분화된 수업목표는 학습평가의 타당도와 신뢰도를 높일 수 있으며, 따라서 수업의 질을 높일 수 있도록 평가의 결과를 재투입 한다는 면에서 효과를 낳을 수 있다. 수업목표가 세분화되어 있지 않으면 가르칠 때는 ‘이해’에 중점을 두고 평가할 때는 ‘적용’을 강조해서 평가 타당도를 낮게 만들 수 있다.

④ 학습목표가 세분화 되면 길러야 하는 행동이 무엇인지 분명해져서, 어떤 수업 매체를 선정해야하는 지가 명확해진다.

 수업목표가 이해 , 분석, 적용을 요구하는지에 따라 제공되어야할  수업사태나 수업매체가 달라질 수 밖에 없다.

2) 출발점 행동의 진단

(1)진단의 필요성

(2) 출발점 행동의 내용

출발점 행동은 하나의 새로운 단원이나 학습 과제를 학습하려는 출발선상에서 학습자가 가지고 있는 지식, 기능 , 태도 등을 의미하며 투입 행동이라고 부르기도 한다.

①선수학습능력: 어떤 단원이나 학습과제를 무난히 성취하기 위해서 수업이 이루어지기 전에 반드시 갖추어야 할 지적 능력이나 기능

②사전 학습 능력: 어떤 단원이나 학습과제에서 가르치려고 하는 수업목표들 중에서 수업이 시작되기 전에 학습자 개인이 이미 알고 있거나 가지고 있는 것을 말한다

③정의적 특성:  특정한 수업 전략이나 수업 방법에 관련이 있을 것으로 생각되는 학습자의 흥미, 성격, 경험, 자아개념, 자신감 등을 말한다.

세가지 요소는 학습자 개개인과 수업목표에 따라 차이가 있으므로 출발점행동은 고정된 것이 아니라 교과목이나 단원에 따라 달라진다.

3) 수업의 실제

수업의 실제 단계에서 학습자들에게 주어진 학습목표를 성취하도록 하기 위해 여러 활동을 계획하는 것을 수업전략이라고 한다. 수업전략을 수립하는 일은 어떻게 하면 보다 쉽고 능률적으로 가르칠 것인가에 관한 구체적인 계획을 마련하는 활동이다.

일반적으로 수업활동은 도입과 전개 , 정리 단계로 나누는데  치밀한 전략을 수립하기 위해서는 각 단계별로 무엇을 어떻게 할 것인가를 치밀하게 고려해야 한다.

 본 수업이 시작되는 5∼ 10분 정도 짧은 시간에 학습자의 주의를 집중시키고, 도달해야 할 학습목표를 제시하며, 과거의 관련학습을 회상시켜 본 수업과 관련시켜주어야 한다.

① 학습자의 동기유발

② 학습목표 제시

③ 선수학습과 관련 짓기

아래 사이트는 구글에서 머신러닝 사내교육을 공개한 것이다. 인공지능에 의한 해석이 더빙되어 있어 Machine Learning 기초를 공부하기에는 좋은것같아 공유한다

https://developers.google.com/machine-learning/crash-course/

▶ Radial Basis Function

- 방사형 구조를 기본으로 하는 네트웍으로서 1개의 은닉층에 확률 가우시안이 적용된다

 ▷확률 가우시안

샘플이 5개가 있으면 각 이벤트의 확률은 20%이고 두개의 샘플이 나오는 확률은 (1,2)(1,3)(1,4)(1,5)(2,1)(2,2)(2,3)~ 25개의 경우의 수가 나온다. 이러한 확률은 다양하게 발생되고 교집합과 합집합 확률, 조건부 확률 등이 있다.

여기서 좀 더 생각해야 할것은

1) Bayes' rule

두 사건 A와 B에 대해서 다음 식이 성립하며

두 사건이 서로 독립일때 아래 식이 성립한다

또한 확률분포는 균일분포와 정규분포로 표현할 수 있는 확률밀도함수(Probability Density Function : PDF)도 포함된다

 ▷방사형 구조의 RBF

1. 특징

- 다층 퍼셉트론의 은닉층에 해당되는 층은 비선형으로 방사형의 구조로서 이 층은 RBF 뉴런들을 포함, 전달함수로서 가우스 분포를 사용

- 은닉층이 1개이고, 유클리디안 거리와 역전파 알고리즘을 사용하며 안정성 판별이 가능

2. RBF 네트워크의 은닉층의 값

여기서 x는 입력, uj 는 채택 필드에 해당되는 영역 중심, 는 채택 필드의 폭, 는 j번째 뉴런의 출력

- 출력층은 전형적인 선형 뉴런들의 층으로 은닉 뉴런 출력의 선형 변환을 진행함

  :  이 층은 다층 퍼셉트론에서 선형 출력 층에 대응되고 최소제곱 알고리즘을 사용하여 전개함. 출력 층은 임계 값들을 사용할 수도 있고, 그렇지 않을 수

     도 있음

- 입력 벡터 x가 채택 필드의 중심의 근방에 있는 것이라면, 그것에 관련된 은닉 뉴런은 활성화되며 입력벡터가 두 개의 채택필드 중심 사이에 위치하면서

  채택 필드 폭 내에 속하는 것이라면, 은닉 층 뉴런들은 모두 부분 활성화됨

- 입력 벡터들이 모두 채택필드로부터 멀리 떨어져 있을 때 은닉 층의 활동은 없고, RBF 출력은 출력 층 임계 값들과 같음

- RBF는 지도 학습적인 방식으로 훈련되는 지역적인 네트워크

  `이것은 전역적 네트워크인 다층 퍼셉트론과 대조

  `지역적인 것과 전역적인 것의 구별은 함수 근사에 의해 수용되어진 입력 표면의 크기로 결정

3. 출력층의 값

여기서 C는 가중치, 가 비선형함수로 위의 은닉층의 값이고 b가 bias임

4. 훈련과정

훈련과정에서 역전파 알고리즘을 적용하고 있음

출력과정에서 가중치 c와 bias b는 다음층에 대해서 1:1 대응

가중치 C와 bias는 시냅스이다.

□

1. 학습의 성격

1) 학습이란 무엇인가 

- 광의의 의미 : ‘유기체가 그를 둘러싸고 있는 환경과 상호작용을 통해 그 유기체의 행동에 변화가 일어난 경우＇라고 성격을 규정

- 협의의 의미 : 학습자가 정해진 학습목표를 달성시키려는 상황에 참여하여 의도한 학습목표를 성취하는 활동을 하는 경우

예시 2 : 어린이 대공원에 있는 돌고래가 조련사의 지시에 따라 물 위로 펄쩍 뛰어올라 5m높이에 매달아 놓은 종을 들이받고 물속으로 헤엄쳐 들어간다.

예시 3 : 개구쟁이 같던 막내 동생이 초등학교 입학을 하고 난 며칠 후 부터 아침에 학교 갈 때는 아버지 어머니께 ‘학교에 다녀오겠습니다＇라며 공손하게 인사를 한다.

Ø광의적 해석

1) 유기체 : 돌고래, 초등학생 (유기체 전부)

2) 환경과 상호작용 : 조련사의 지시에 따라, 초등학교 입학을 하고 (학습주체가 그에게 허용된 환경과 상호작용하는 것)

3) 행동변화의 측면 : 종을 칠 수 있다, 인사를 한다 (전에는 할 수 없었으나 환경과 상호작용 후 유기체의 행동에 변화가 일어남

Ø협의적 해석

1) 학습의 주체를 학습자로 한정. 학습자란 교육적 기능을 가진 제도적 기관에서 교육을 받는 자에 국한

2) 학습의 상황이나 활동은 의도적으로 제공되는 것에만 국한. 학교나 공교육 기관의 의도적 계획적 조건

3) 학습을 통한 행동의 변화는 바람직한 행동의 변화를 전제로 함. 이 말은 어떠한 행동의 변화를 의도하느냐는 사회의 규범(사회적 지지)에 비추어 볼 때 정당해야 한다는 의미를 내포

->위 3가지 요건에 맞는 경우의 학습을 좁은 의미의 학습으로 한정

ü 저자의 학습에 대한 정의

1) 학습의 내용은 행동의 변화

  - 학습을 행동의 변화로 보는 것은 행동 주의적 관점이며 통찰, 지각 또는 동기의 변화로 보는 것은 인지주의적 관점

2) 학습의 수단 또는 방법은 경험과 훈련

  - 이 때 학습은 개체와 그를 둘러싼 환경이 상호작용하여 발생한다고 봄.

기계 학습의 분야 중 하나로 패턴 인식, 자료 회귀 분석을 위한 지도 학습 모델이며, 주로 분류와 분석에 사용된다. 두 카테고리 중 어느 하나에 속한 데이터의 집합이 주어졌을 때, SVM 알고리즘은 주어진 데이터 집합을 바탕으로 새로운 데이터가 어느 카테고리에 속할지 판단하는 비확률적 이진 선형 분류 모델을 만든다. 분류 용도의 신경망은 학습 데이터에 대한 오류를 최소화하는 가중치를 찾는 것이 학습 단계의 목표이다. 다층 퍼셉트론의 경우에 오차 함수 E를 최소화하는 가중치를 찾는다.

다시말하면 SVM은 원 훈련데이터를 비선형 매핑을 통해 고차원으로 변환한다. 이 새로운 차원에서 초평면을 최적으로 분리하는 선형 분리를 찾는다. 즉 최적의 Decision Boundary(의사결정 영역)을 찾는다.

왜 데이터를 고차원으로 보낼까?

2차원에서 비선형 분리가 있다면 이를 한 차원 높은 3차원으로 Mapping하게 되면 선형분리할수 있게 된다. 따라서 충분히 큰 차원으로 적절히 비선형 매핑을 사용하여 두개의 부류를 가진 데이터는 초평면에서 항상 분리될 수 있다..

SVM은 복잡한 비선형 의사결정 영역을 모형화 할 수 있기 때문에 매우 정확하며, 다른 모델들 보다 Over Fitting되는 경향이 적다.

아래 그림은 부류가 2개인 데이터를 분류하는 분류기의 결정 경계에 해당하는 직선들을 보인 것이다. 결정경계 h1은 회색점과 노란점들을 제대로 구별하지 못하기 때문에 바람직하지 않다. h2와 h3는 모두 두 부류를 젣로 분류하기 때문에 오차 함수 관점에서 두 결정 경계가 같은 정도로 우수한 것으로 판정된다. 학습에 사용되지 않은 데이터를 얼마나 잘 분류하는지를 의미하는 일반화 특성 관점에서 h2와 h3를 비교해 보자. h2는 결정 경계 바로 근처에 학습 데이터가 존재하지만, h3는 학습 데이터에서 멀리 떨어져 있다. 학습 데이터와 조금 차이가 있는 데이터가 발생할 때, h3가 h2보다 더 일관되게 판단을 할 수 있다. 결정 경계와 가장 가까이에 있는 학습 데이터까지의 거리를 여백(margin)이라고 한다. 여백 관점에서 보면 h3가 h2보다 우수하다고 할 수 있다.

SVM은 Vladimir Vapnik이 제안한 분류기로, 분류 오차를 줄이면서 동시에 여백을 최대로 하는 결정 경계를 찾는다. 이때 결정 경계로부터 가장 가까이에 있는 학습 데이터들을 서포트 벡터 라고 한다.

1) 초평면(Hyperplane)

데이터를 분류하는 선을 초평면이라하고 ' 데이터 embeding 공간에서 한 차원 낮은 부분 공간' 으로 정의 한다. 즉 n 차원의 공간에서의 hyperplane은 n-1차원의 subspace를 의미하는 것이며, 3차원의 경우 hyperplane은 2차원의 면이 되고, 2차원의 경우는 hyperplane은 1차원의 선이 된다.

SVM알고리즘은 서포트 벡터와 여유간격을 통해 두 클래스 데이터 사이를 분류하는 최적의 초평면을 구한다.

2) SVM의 학습

SVM은 2개의 부류가 있는 분류 문제에 적용되는 분류기이다. 긍정 결과는 +1, 부정 결과는 -1로서 하나의 값을 갖는다. 아래 그림은 2차원 데이터로서 선형적으로 분리가 가능하며 분리할 수 있는 직선은 무수히 많지만 분류 오류를 최소화하는 최적의 직선을 찾아야 하고 3차원 이상에서는 직선이 아닌 최적의 평면을 찾아야 한다. 최적의 초평면(Decision Boundary)을 찾아 분리하는 것이다

 아래 그림은 위 그림을 세분화하여 데이터를 분리하지만 직관적으로 볼때 오른쪽 그림의 초평면이 더 정확해 보인다

식으로 표현해보면 아래와 같다. 가중치 벡터위 그림에서 2차원이 두개의 속성값이 있을 것이다. 예를 들어 

는 속성 의 값이고 b와 w를 추가적으로 사용한다

초평면의 모든것은 위 식을 만족하는 서포트 벡터라고 한다. 아래 그림의 노란색이 그것이고 분류하기 가장 어렵지만 가장 중요한 정보를 준다 분리 초평면으로 부터 H1위의 점까지의 거리는 이고, 이며 w의 유클리드 norm이다. 최대 margin은 이다.

여기서 SVM은 최대 마진 초평면과 서포트벡터를 KKT(Karush-Kunh Tucker)조건과 라그랑지 방법을 이용하여 구한다.

이것은 SVM의 학습문제가 아래와 같은 제약조건 최적화 문제(Constrained Optimization Problem)가 되고

이것이 라그랑주 승수를 도입하여 단일 목적 함수인 라그랑주 함수(Lagrangian function) L( )을 최적화하는 문제로 변환될 수 있다.

□

MLPNN(다층퍼셉트론신경망)은 퍼셉트론이 여러층으로 이루어져 있는 형태로써, 초창기 신경망의 XOR문제를 해결하는데 중요한 자리를 차지했다.

* Backpropagation : 단층 퍼셉트론이 복잡하게 얽혀있는 다층 퍼셉트론 네트워크 구조로 되어있으며 이는 크게 입력층, 중간(은닉)층, 출력층으로 나누어진다. 입력층에 들어간 입력 signal은 각 연결강도(weight)와 곱해지고 각 노드(node)에서 더해진다. 출력층에서는 결과값과 실제값을 비교하여 오차가 작은 방향으로 노드간의 연결강도를 조절하는(delta rule)을 사용하여 학습이 이루어 진다.

하나의 퍼셉트론은 XOR 문제를 해결할 수 있는 결정 경계를 만들어 낼 수 없지만, 아래 그림과 같이 퍼셉트론을 3개 사용하면 XOR문제를 해결 할 수 있다. 아래 a에서 f1(x) 는 (0,0)에 대해서는 -1을 그리고 나머지에 대해서 +1에서 출력하는 퍼셉트론이고, f2(x)는 (1,1)에 대해서만 -1을 출력하고 나머지에 대해서는 +1을 출력하는 퍼셉트론이다. 그림 b는 이러한 결정 경계에 해당하는 가중치를 보여준다. 최종적으로 (1,0)과 (0,1)에 대해서 +1을 출력하려면, f3(x)와 같은 가중치를 부여하면 된다.

                                  [XOR 문제의 결정 경계]                                             [3개 퍼셉트론으로 구성된 2층의 퍼셉트론]

초창기 단일 퍼셉트론의 가중치를 결정하는 학습 알고리즘은 개발되었지만, (b)와 같이 여러개의 퍼셉트론이 층을 구성하는 경우에 대한 학습 알고리즘이 개발되지 못했다. 여러 개의 퍼셉트론을 층 구조로 구성한 신경망 모델을 다층 퍼셉트론(MLP)이라고 한다. XOR문제도 다층 퍼셉트론을 사용하면 해결할 수 있다는 것을 알고 있었지만, 가중치를 결정하는 학습 방법을 찾지 못해 1970년대부터 1980년대 초반까지는 신경망에 대한 연구가 침체된 시기이다. 다층 퍼셉트론을 학습시키지 못한 이유는 퍼셉트론의 전달 함수가 계단함수이기 때문에, 미분이 불가능하여 최대 경사볍과 같은 최적화 방법을 사용할 수 없었기 때문에, 미분이 불가능하여 최대 경사법과 같은 최적화 방법을 사용할 수 없었기 때문이다. 1980년대에 들어오면서 연구자들이 다층 퍼셉트론 학습에 대한 발상을 전환하였다. 미분 불가능한 계단 함수 대신, 이와 비슷하지만 미분 가능한 함수를 사용하는 간단한 아이디어를 도입한 것이다. 이러한 함수로 시그모이드함수와 쌍곡 탄젠트가 있다. 시그모이드 함수 Y(s)는 아래 1과 같이 정의되는 출력 구간(0,1)인 함수이고, 쌍곡 탄젠트 h(s)는 아래 2와 같이 정의 되는 출력 구간 (-1,1)인 함수이다.

아래 그림은 쌍곡 탄젠트 함수의 형태를 보여주는데, (b)와 같이 a값이 커지면 경사가 급해지고, 작아지면 경사가 완만해지는 특성이 있다. 시그모이드 함수와 쌍곡 탄젠트 함수를 미분하면, 아래 식과 같이 미분 함수가 원래 함수로 표현될 수 있다

1) 다층 퍼셉트론의 구성

입력이 주어지는 층을 입력층이라 하는데, 주어진입력을 다음 층으로 전달하는 역할을 한다. 여기에서 입력값들을 벡터(X1,X2, · · · ·,Xd)로 나타내고, 입력층의 노드를 나타내는 첨자로  i를 사용하고 다음층으로 연결되는 선의 가중치를 로 나타낸다. 출력을 내는 마지막 층을 출력층이라 하는데, 이노드들은 퍼셉트론이다. 출력값을 벡터(h0, h1, · · · · · · ·hm)으로 나타내고 첨자는 k를 사용한다.

입력층과 출력층 사이에 있는 층을 은닉층이라고 한다. 다층 퍼셉트론은 여러개의 은닉층을 가질 수도 있다. 여기에서 편의상 은닉층이 하나인 것을 대상으로 설명한다. 은닉층의 노드를 가리키는 첨자로 j를 사용하고 은닉층과 출력층 간의 가중치를 로 나타난다. 다중 퍼셉트론에서 연결선은 인접한 층 사이에서만 만들어진다. 다층 퍼셉트론은 (입력, 출력)쌍의 학습 데이터를 사용하여 학습한다. 입력이 주어질때 어떤 값이 출력되어야 하는지에 대한 정보가 있다. 출력층은 입력에 대한 기대하는 출력값에 대한 정보가 있는 반면에, 은닉층에 대해서는 어떤 값이 나와야 하는지에 대한 정보가 없다. 중간에 있는 층에는 어떤 값이 나와야 하는지에 대한 정보가 없기(숨겨져 있기)때문에 은닉층이라고 부른다

다층 퍼셉트론은 입력이 주어지면 전방향으로 계산해가면서 출력값을 만들어 낸다. 먼저 은닉층의 각 노드 J의 퍼셉트론은 다음과 같이 Zj를 출력한다

출력층의 각 노드 k의 퍼셉트론은 은닉층의 출력층을 사용하여 다음과 같이 ok를 출력한다

여기에서 퍼셉트론에 대한 전달 함수 f는 시그모이드 함수이다.

2) 다층 퍼셉트론의 학습

다층 퍼셉트론에서 학습은 학습 데이터 입력 (x1,x2,------xd)에 대응하는 학습 데이터 출력(t1,t2,----tm)이 나오도록 입력층과 은닉층 사이의 가중치 벡터 u와 은닉층과 출력층 사이의 가중치 벡터 v를 결정하는 것이다. 가중치를 결정할 때, 아래와 같은 제곱오차 E를 최소화하도록 가중치를 찾는다.

오차 함수 E를 최소화하는 가중치를 찾기 위해 일반적으로 다음과 같이 최대경사법(Gradient descent)을 사용한다. 여기에서 는 1보다 작은 양수값의 학습율(learning rate)이다

다층 퍼셉트론에서 오차 함수에 대한 편미분은 다음과 같이 계산된다.

위 식에서 마지막 부분은 모두 로 정리되는 항을 포함하고 있는데, 이 항은 오차와 관련이 있다. 학습할 때 각 학습 데이터의 입력을 다층 퍼셉트론에 집어넣어 출력을 계산하고, 출력값의 오차를 줄이도록 먼저 은닉층과 출력층 사이의 가중치 벡터 v를 수정한 다음, 입력층과 은닉층 사이의 가중치 벡터 u를 수정한다. 편미분식에 있는 오차 관련 항인 가 출력층에서부터 뒤로 전달되어가면서 가중치를 수정하기 때문에, 다층 퍼셉트론의 학습 알고리즘을 오차역전파(error backpropagation)알고리즘이라 한다. 최대 경사법을 사용할 때 학습 도중에 오차 함수의 모양이 평평한 부분을 만나게 되면 그레디언트가 영벡터가 되어 학습이 이루어지지 않는다. 또한 잡음 등으로 오차 함수에 지역적으로 잘못된 부분이 있을 수 있다. 이러한 상황에서는 직전 시점의 그레디언트를 어느 정도 고려하는 것이 바람직할 수 있다. 이때 가중치를 수정하는 식은 다음 식과 같이 되는데, 직전 시점의 이동 벡터에 대응하는 를 모멘텀항이라고 한다

위 식에서 는 모멘텀율(momentum rate)이라 하는데, 1보다 작은 양의 값이다.

3) 오차 함수

신경망 모델의 학습은 오차 함수를 최소화하도록 가중치를 결정하는 것이다. 오차 함수를 최소화 하기 위해 기본적으로 최대 경사법을 사용한다. 출력값이 실수값인 경우에는 오차 함수가 아래와같이 오차제곱합의 평균으로 정의된다. 이진 분류기의 경우에는 아래와 같이 하나의 출력 노드 t만 만들고, 이 노드가 특정 부류에 속할 활률 을 출력하도록 학습시킬 수 있다. 이때 출력 노드의 값 t는 다음과 같은 로지스틱 시그모이드를 활성함수로 사용한다.

여기에서 x는 입력 벡터를 나타내고, w는 가중치 벡터를 나타낸다.

두 개의 부류를 각각 C1과 C2라고 할 때, 출력 값 y(x,w)는 조건부 확률 에 해당하고, 1-y(x, w)는 조건부 확률 에 해당한다. 목표 출력 t값이 부류 c1일때는 1이고, 부류 c2일 때는 0으로 나타낸다고 하자. 이때 입력 x에 대한 목표 출력 t의 조건부 확률 는 다음과 같이 표현할 수 있다.

학습 데이터 집합이 로 주어질 경우, 학습의 목표는 신경망이 각 학습 데이터에 대한 확률 값을 크게 만들어 주도록 가중치를 결정하는 것이다. 가중치 벡터 w인 신경망이 주어진 학습 데이터 집합 D와 같은 결과를 만들어 낼 확률, 즉 가능도는 다음과 같이 표현할 수 있다.

이때 오차함수는 아래의 가능도에 로그함수를 적용한 후 -1을 곱한 음의 로그 가능도로 다음과 같이 정의한다.

                              [이진 분류기의 출력]                                                            [다중 분류기의 출력]

3개 이상의 부류가 있는 다중 분류기의 출력 노드의 값들이 각 부류별 확률이 되도록 만들 수 있다. 다중 분류 문제의 학습 데이터  집합은 입력 벡터 Xi와 출력 벡터 Ti의 쌍으로 구성된 학습 데이터들로 구성된다. 학습 데이터는 k개의 부류 중 하나에만 속한다. 만약 k번째 부류에 속하는 데이터라면 출력 벡터는 k번째만 1이고 나머지는 모두 0으로 표현한다. 이러한 표현 방식을 one-hot vector 또는 on-hot encoding 이라고 한다.

출력 노드의 값이 해당 부류에 속할 확률값인 분류기를 신경망으로 구현하려면 신경망의 출력 노드의 출력값이 0이상이면서 전체 출력값의 합은 1이 되도록 만들어 주어야 한다. 이를 위해 위의 그림 b와 같은 형태로 구성되는 softmax 층을 구성하는데, 각 노드 yk의 값은 다음과 같이 계산된다.

다중 분류 문제에서 학습 데이터 (xi, ti)의 조건부 확률은 위 식 (8)과 유사하게 다음과 같이 표현할 수 있다.

따라서 전체 데이터 D에 대한 가능도는 다음과 같이 표현할 수 있다.

확률값 출력을 하는 다중 분류기의 오차 함수 E(w)는 윗 식에 대한 음의 로그 가능도 함수로 다음과 같이 정의된다

위 식의 오차 함수는 전체 학습 데이터에 대해서 정의된 것인데, 하나의 학습 데이터(xi. ti)에 대한 오차 함수는 식 (9)에 대한 음의 로그 함수 가능도 함수로 다음과 같이 정의된다.

위 식은 확률 분포 와 에 대한 교차 엔트로피의 식과 같기 때문에 위 식의 오차 함수를 목표 분포 와 신경망 출력 분포 의 교차 엔트로피라고 부르기도 한다

다층 퍼셉트론은 대표적인 신경망 모델로서 패턴 인식, 컴퓨터 비전, 영상처리, 비즈니스 인텔리전스(BI:기업의 비즈니스 의사 결정을 위해 사용하는 데이터의 접근, 수집, 보관, 분석 애플리케이션과 기술) 분야에서 이용되고 있다. 다층 퍼셉트론 이외에도 SOM(Self-organizing feature map), 홈필드망, ART(Adaptive resonance theory), RBF(radial basis function) 망, 재귀신경망(recurrent network)과 같은 여러 신경망 모델이 있다.

학습된 다층 퍼셉트론은 새로운 데이터에 대한 예측이나 추정을 위해 사용된다. 학습된 다층 퍼셉트론은 학습데이터의 입력과 출력 관계를 나타내는 함수를 모델링한 것이다.

분류문제라면 입력된 데이터에 대해서 출력층의 어떤 노드가 가장 큰값을 가졌는지에 따라 부류가 결정된다. 회귀 문제라면 출력 노드의 값이 입력된 데이터에 대한 예측값이 된다. 새로운 입력에 대해서 출력을 계산하는 것은 앞에서 설명한 다층 퍼셉트론 동작 방법을 따른다.

□

1. 교수매체의 정의

 - 대중매체 : 많은 사람에게 정보와 지식을 전달하는 매체로서 신문.방송(라디오와 TV), 영화, 출판 따위를 말함

 - 다중매체 : 문자(text), 그림, 사운드, 동영상 등이 동시에 사용되는 혼합매체로서 컴퓨터와 정보통신기술의 발달과 함께 그 활용도가 점차 높아지고 있음.

 - 교수매체 : 수업의 효과를 높이기 위해 사용되는 시청각 기가재와 수업자료를 통칭

*교사가 효과적이고 효율적인 수업지도를 위하여 사용하는 시청각기자재로서 칠판, 모형, 실물, 융판, 차트, 게시판, 사진, 녹음테이프, 영화, 필름, TV, OHP,

 슬라이드, 컴퓨터 등.

*매체와 기술은 인간의 능력 확장 – 교수매체는 학습자의 감각기관을 확장

2. 교수매체의 변화와 발전

 - 교수매체의 변화와 발전은 교육공학 분야의 발달과정과 맥을 같이 함

   *1900년대 초 박물관 등을 중심으로 하여 시작된 시각 중심의 교육은 1923년 시각교육부의 창설함

   *1947년 시청각을 활용하여 교육을 위한 시청각교육부로 명칭이 변경

   *1970년 컴퓨터와 같은 디지털 매체를 활용하는 교육공학회로 발전

   *교수매체의 활용분야는 교육현장에서 효과적이고 효율적인 매체 선정의 문제, 매체간 수업 효과의 비교를 통한 매체의 특성 및 속성에 관한 논쟁 그리고 매체를 중심으로 한 교육환경의 변화로 말미암은 교사의 역할 변화 등에 관한 많은 연구와 논의를 통하여 발전하고 있음

 1) 1960년대 행동주의와 체제 이론의 발전

   - 체제 개념의 발전

   - 행동적 목표진술의 발현

   - 형성평가(Cronbach)의 개념과 구조 발생

   - Skinner의 교수기계, 프로그램 학습

   - 개별화 수업 : PSI, PLAN, IPI, IGE

 2) 1970년대 이후

   - 1970년 미국 시청각교육국 -> 미국교육공학회[ACET]

   - 요구분석

   - 교수체제설계 모형

   - 1980년대 인지주의 출현 : 학습자의 인지구조와 능동적 참여, 개인용 컴퓨터 활용 교육, Clark에 의한 미디어 효과 논쟁

   - 1990년대 구성주의 및 New Media 등장

   - 학습맥락, 상황, 학습 주체에 대한 새로운 시각 제공 : 수행공학, 웹기반 교육(e-learning, u-learning 등

3. 교수매체와 커뮤니케이션 모형

 - Media : 라틴어로서 ‘between(중간물)’의 의미이며 양자의 중간에 위치하여 연결하는 중간 매개 역할

 - 수업과정은 일반 소통과정과 유사, 송신자-교수매체-수신자

1) 벌로(Berlo)의 커뮤니케이션 모형 : SMCR

- 송신자와 수신자의 의도하는 메시지가 완전히 일치하지 않음

- 의사소통에서 청각, 시각뿐만 아니라 각 단계별 고려가 중요

- 벌로 모형의 의미 : 종래의 교수활동에 대한 연구가 매체를 중심으로 한 시청각 위주의 단순한 관점에서 벗어나, 의사소통에 영향을 미치는 요소는 교사와 학생의 특성을 포함하는 전체적인 관점에서 분석하게 되는 계기를 마련

2) 쉐넌과 쉬람의 커뮤니케이션 과정 모형

- 인간의 의사소통은 컴퓨터의 통신과 유사

- 무선통신 : 아날로그신호->디지털신호(PCM)->아날로그신호

- 이 과정에서 감쇠, 왜곡, 간섭, 누화, 잡음 등 : 디지털신호의 Noise

- 컴퓨터 통신에서와 같이 송신자가 보내는 메시지가 통신 경로를 통해 수신자에게 전달하는 과정을 부호화,해독, 경험의 장, 잡음과 피드백의 개념을 사용하여 설명

- 의미 : 교사와 학생이 공통으로 경험하는 장 또는 공감대 형성이 많으면 많을수록, 그리고 교사와 학생의 의사소통을 방해하는 여러 형태의 잡음이 적으면 적을수록 수업이 효과적으로 이루어짐

4. 교수매체의 기능과 학습 효과성

1) 교수매체의 기능

- 초기의 일방향 전달에서 컴퓨터의 출현으로 교사와 학생간의 양방향 의사소통

- 교수메체의 효과는 수십년간 비교 연구가 진행되었으나 유의미한 결과를 얻지 못함

- 따라서 교수매체는 메시지를 전달하고 저장하는 기능을 발휘할 수 있으나 직접적인 학습을 결정하지는 않는다고 볼 수 있음. 교수매체의 효과는 받아들이는 학생의 개인차에 따라 다르므로 획일적인 적절한 교수매체나 방법은 없음

2) 교수매체 효과성 연구

- 교수매체 비교연구 : 연구의 결과에 대한 일관성 부족으로 연구방법을 신뢰하지 못함

   *수업의 효과가 순수하게 교수매체 때문인지, 교수매체가 달라짐에 따라 교수방법이 달라져 이것이 수업의 효과에 영향을 미치는지 구분하기 어렵다는 지적

- 교수매체속성연구 : 비교연구의 한계점을 극복하기 위하여 교수매체의 고유속성 및 특징에 대한 연구를 시작.

   *교수매체가 그 자체로 특정한 교육의 효과를 발휘하는 것이 아닌가라는 가정에 근거한 것으로 교수매체의 절대적 효과성에 관한 연구

□