야니 이야기

1. selenium을 사용하기 위하여 anaconda설치  및 prompt에서 selenium을 install함

2. webdriver를 설치 - chrome webdriver를 설치 (webdriver를 C:\PythonHome에 설치)

3. 아래 프로그램을 작동하고 동일제목.txt가 생성

from selenium import webdriver

import time

driver = webdriver.Chrome("c:/PythonHome/chromedriver.exe")

driver.implicitly_wait(3)  

#창이 켜질 때가지 기다림<-인터넷 접속 속도/컴퓨터의 사양에 따라/3초/1초도 충분 테스트필요

name = __file__.split("\\")[-1][:-3]

search_address=f"http://sillok.history.go.kr/manInfo/branchList.do"

timesleep=0.5

for page in range(1,51):

try:

print("*"*20+"page"+"*"*20)

print(page)

print("*"*20+"page"+"*"*20)

url = search_address

xpath = f'//*[@id="cont_area"]/div/table[3]/tbody/tr[6]/th/a'

#크롬 f12(개발자도구) 주부식, f12, 엘리먼트옆 클릭하고 식생활 클릭, 오른마우스 copy xpath

driver.get(url)

time.sleep(timesleep)#크롤링 속도에 맞춰주기 위해

search_res = driver.find_element_by_xpath(xpath)

page_url=driver.find_element_by_xpath(xpath).get_attribute('href')

search_res.click()

########################################################

xpath_2 = f'//*[@id="cont_area"]/div[1]/ul[2]/li[{page}]/dl/dt/a'

# //*[@id="cont_area"]/div[1]/ul[2]/li[50]/dl/dt/a

# //*[@id="cont_area"]/div[1]/ul[2]/li[1]/dl/dt/a

# 식생활내에 첫번째줄만 클릭해서 들어간 상태

search_res = driver.find_element_by_xpath(xpath_2)

page_url=driver.find_element_by_xpath(xpath_2).get_attribute('href')

search_res.click()

title1=driver.find_element_by_css_selector('#cont_area > div.cont_in_left.cont_full > div.page_tit.clear2.pl_20 > h3').text

text1 = driver.find_element_by_css_selector('#cont_area > div.cont_in_left.cont_full > div.ins_view_wrap.clear2 > div.ins_view.ins_view_left.w100_w0 > div > div > p').text

print(title1)

with open(f"{name}.txt",'a',encoding='utf-8') as file:

file.write(title1)

file.write(",\n")

file.write(text1)

file.write(",\n")

except:

print(f"error:{page}")

break

driver.quit()

조선왕조실록 식재료 및 경제, 상업, 농업 등 크롤링

이 사이트는 아래와 같이 기사별 URL이 제공된다. 따라서 필요한 내용을 크롤링하기 위하여 본 URL을 이용하면 간단하게 진행할수 있다.

====================================================================

기사 ID^권수^날짜^제목^기사 URL
kca_10104010_003^태종실록 1권^태종 1년 4월 10일 무진 3번째기사^전국에 황색의 사용을 금하다^http://sillok.history.go.kr/id/kca_10104010_003
kca_10701019_002^태종실록 13권^태종 7년 1월 19일 갑술 2번째기사^영의정부사 성석린이 국방대책 등의 시무 20조를 진달한 상서문^http://sillok.history.go.kr/id/kca_10701019_002
kca_10904030_001^태종실록 17권^태종 9년 4월 30일 임인 1번째기사^상왕이 병이 낫지 않아 인보를 화장사에 시주하려 했으나 임금이 말리다^http://sillok.history.go.kr/id/kca_10904030_001

-

-

===========================================================================

주의할 점은 첫줄의 제목을 제거해야 한다

1. 위 txt파일을 작업폴더(\ooo\\)로 이동. 예시로 제목을 행정이라 함

2. 작동하면 url_행정.txt와 result_행정.txt가 동시에 생성

======================================

from urllib.request import urlopen

import bs4

# name_list=["농업","물가","상업","수산업","식생활","풍속","금융"]

name_list=["행정"] #text 파일에서 첫줄 삭제후 작업시작

detail_address="C:\study\python-\OOO\\"

for name in name_list:

urls=[ ]

with open(f"{detail_address}{name}.txt",'r',encoding='utf-8') as file:

lines=file.readlines()

for i,line in enumerate(lines): #line = kzc_10709003_001^순종실록부록 5권^순종 부록 7년 9월 3일 양력 1번째기사^이왕직의 본년도 세비의 잉여금을 조선은행에 예금하다^http://sillok.history.go.kr/id/kzc_10709003_001

url=line.split("^")[-1]   # http://sillok.history.go.kr/id/kzc_10709003_001

urls.append(url)

with open(f"{detail_address}urls_{name}.txt",'w',encoding='utf-8') as file:

for url in urls:

file.write(url)

with open(f"{detail_address}urls_{name}.txt",'r',encoding='utf-8') as file:

lines=file.readlines()

for i,line in enumerate(lines):

url=line

print(i)

source = urlopen(url).read()   # 해당하는 url주소로 처리한다는 뜻

source_bs4 = bs4.BeautifulSoup(source,"html.parser")  # html, bs4로 처리한다는 뜻

title1=source_bs4.select('#cont_area > div.cont_in_left.cont_full > div.page_tit.clear2.pl_20 > h3')[0].text #제목 selector

text1=source_bs4.select('#cont_area > div.cont_in_left.cont_full > div.ins_view_wrap.clear2 > div.ins_view.ins_view_left.w50_w50 > div > div > p') #내용 selector

with open(f"{detail_address}results_{name}.txt",'a',encoding='utf-8') as file: #append

file.write(f"{i}\n")

file.write(title1+"\n")

for t in text1:

file.write(t.text)

file.write("\n")

1) 수업 이론의 제 측면

□

1. 수업의 성질과 기본가정

* 교사의 책임 : 교실에서 학습자들의 교과내용에 대한 기술과 지식으로 표현되는 언어적 행동을 발전시킴

-> 그러나, 교실학습에 있어서의 전통적인 논의는 학습의 과정에 대한 세밀한 분석에 기인하지 못하였음을 지적

* 교수기술에 대한 다음과 같은 세가지 기본 가정을 강조

-학습의 과정 : 행동의 습득

  `Skinner ‘효과의 법칙은 반응과 결과의 관계를 일시적으로 설명하고 있지만, 새롭고 복잡한 유형의 개발 혹은 행동의 형태는 복잡하고 세련된 강화로부터 생겨난다.’

  `차별강화(differential reinforcement): 여러 행동 중 어느 하나만을 선택적으로 강화하는 것

1) 행동조형(Shaping Behavior)

- 복잡한 행동의 습득은 조형 과정의 결과이다. → 변별자극, 강화를 포함하고 있다

- 조형은 자연적인 상태에서 일어날 가능성이 없는 복잡한 행동도 성공적으로 이끌 수 있어서 중요하다.

- 복잡한 행동은 ‘프로그램’이라 불리는 일련의 체계적 강화계획에 의해 만들어진다.

→ 프로그램의 각 단계는 반응을 일으키고, 다음 단계에 반응할 준비를 하게 한다.

→ 행동 조형과정에서 알맞은 강화가 주어져야 한다.

*변별자극 : 어떤 행동이 강화를 받게 될 것인지 혹은 강화를 받지 않게 될 것인지를 암시해 주는 단서이다. 변별 자극은 어떤 행동과 자극이 반복적으로 관련될 때 발생한다. 예를 들어 쥐가 레버를 누를 때마다, 그렇지만 불빛이 켜져 있는 경우에만 먹이를 받도록 실험 상자를 조정한다고 하자. 결과는 쥐가 불빛이 켜져 있을 때(S＋)에는 레버를 누르고 꺼져 있을 때(S-)에는 누르지 않는 것이 될 것이다. 이때 쥐가 ‘불빛 켜짐’ 상황과 ‘불빛 꺼짐’ 상황을 변별한다고 말한다. [네이버 지식백과] 변별 자극 [discriminate stimuli] (실험심리학용어사전, 2008., 시그마프레스㈜)

2) 강화계획(강화 스케줄)

(1) 고정간격 강화계획(fixed interval: FI)

일정한 시간 간격이 지난 다음에 유기체가 한 반응에 대하여 강화한다. Ex) 변기

기본단위: 분(‘)

Ex) FI5’ = 고정 간격이 5분

    FI5” = 고정 간격이 5초

(2) 고정비율 강화계획(fixed ratio: FR)

유기체가 하는 일정한 반응 횟수마다 보상할 때 고정비율 강화가 일어난다.

Ex) 칭찬스티커, 음식점 쿠폰

기본단위: 횟수

Ex) FR5 = 5번마다 강화

강화 후 휴지(post-reinforcement pause): 고정간격과 고정비율 강화계획에서는 어떤 반응이 보상을 받게 되면 대개 그 다음에는 반응률이 하락하게 된다.

(3)변동간격 강화계획(variable interval : VI)

시간 간격이 불규칙하나 수시로 보상을 받는 경우 → 고정간격 강화에서 나타나는 선형 효과도 제거되고 안정되면서 적절하게 높은 반응률을 보인다.

Ex) 마트 타임세일

(4) 변동비율 강화계획(variable ratio : VR)

강화를 얻는데 필요한 반응의 수가 항상적이지 않다→ 변동비율 계획의 대상자는 언제 강화가 일어나는지 알지 못하기 때문에 강화를 받은 다음에도 휴식을 취하지 않고 장기간 동안 높은 반응률을 보여 주는 경향이 있다.

Ex) 슬롯머신, 밀당

**강화계획 (강화스케쥴)

간격＜비율, 고정＜변동

→ 상황에 따라 효과가 좋은 강화는 다르다.

□

1) 조작적 조건화

 조작적 조건화의 3 요소 : ① 반응의 원인(변별자극), ② 반응, ③ 강화되는 결과(강화자극)

변별자극(Discriminative Stimulus)

2) 강화자극

- 강화란 행동을 강하게 유지시키는 어떤 행동의 결과라 정의함

- 스키너는 강화를 학습의 주요 요인으로 강조하고 있지만, 강화도 상황 여하에 다라 학습을 유발시키기도 하고, 그 반대의 경우를 낳기도 한다.

 * 강화가 제 기능을 발휘하기 위해서는 다음사항을 고려해야 함

 ① 어떤 특별한 사태에 대해 강화할 것인지 하지 않을 것인지를 결정하기 위해서는 직접적인 실험이 필요

 ② 어떤 특별한 방법으로 행동변화의 효과를 거두기 위해서는 적절한 반응의 수행에 따라 강화가 이루어 짐

 ③ 강화는 반응비율을 증가시키지만 횟수를 줄이면 반응비율은 떨어짐. 반은비율의 감소를 소멸이라 부르며, 강화는 행동의 소멸을 막아주는 기능을 함

3) 일차적 강화와 이차적(조건화된)강화

(1) 일차적 강화(primary reinforcers)

-훈련없이 반응 비율이 증가되는 경우의 자극, 즉 그 자체로 생리적 만족감을 주는 것

ex) 배고픈 사람에게 음식은 생리적 욕구의 만족을 주는 강화

(2) 이차적 강화(secondary reinforcers)

 - 원래 강화력이 없던 중성적 자극이 강화력이 있는 일차적 강화물과 여러 번 연결됨으로써 강화력을 가지게 된 자극

ex) 파블로프의 ‘종‘ 실험

(3) 일반화된 강화물(generalized reinforcers)

 - 하나 이상 일차적 강화인과 짝 지어져 있는 이차적 강화인

ex) 돈은 궁극적으로 거의 모든 일차적 보상과 결합되어 있기 때문에 일반화된 강화인임. 일반화된 강화인의 주된 이점은 그것이 어떤 특정의 박탈조건에 의존하지 않는데 있음. 이 외 트로피, 메달 등이 일반화된 강화인

4) 정적강화와 부적강화

(1) 정적강화

-행동 중이거나 직후에 가치있는 것을 제공함으로써 바람직한 행동의 강도와 빈도를 증가시키는 것

Ex) 국어시험 80점 이상 맞았을 때 상품수여, 노트정리 잘하는 학생에게 칭찬, 학생의 잘된 작품 전시

(2) 부적 강화

Ex) 30분 내 수학문제 20개를 푼 학생에게 숙제 면제, 근육통은 진통제를 복용했을 때 감소되거나 제거되는 자극이 되어 알약을 복용하는 행동이 증가

(3) 감정적 부산물

ex) 소란 -> 교사의 야단 -> 조용(불안 도피를 위한 일시학습)

5) 벌

벌은 반응을 약화는 절차로서, 반응을 증가하게 되는 정적.부적 강화와는 다름

흔히 벌과 부적강화를 혼돈하는 경우가 많은데, 벌은 반응 빈도의 감소효과, 부적강화는 증가효과를 나타냄

- 처벌 사용의 문제점

- 처벌 사용의 유익한 점

- 벌과 강화의 관계

□

▪ Skinner

- 행동주의 심리학분야의 독보적인 학자 중 1인

▪ 조작적 조건형성이론

- 흰쥐를 실험

- 인간 행동은 어떤 외부 세력에 의해 형성

- 주요변인 : 자극(stimulus), 반응(response), 강화(reinforcement)

  * 반응 : 행동이 일어나도록 하는 작동은 자극의 통제와 강화의 제시 방법에 의해 결정됨

학습목표

1. 조작적 조건화를 정의 할 수 있다.

2. 일반화의 개념을 설명할 수 있다.

3. 강화의 정의를 말할 수 있다.

4. 강화계획을 설명할 수 있다.

5. 벌에 대해 설명할 수 있다.

6. 일반화와 변별에 대해 설명할 수 있다.

7. 학습이 일어나는 과정의 주요요소를 말할 수 있다

1) 학습에 관한 기본가정

≈ ‘심리학은 행동의 연구를 통해서만이 과학성이 보장’ (Watson)

∴ ‘학습은 행동 변화의 과정’(Skinner)

≈ ‘행동연구에 있어서는 엄격한 절차를 중심’(Hull)

≠ 행동과학의 본질과 학습된 행동의 특성에 관한 그의 신념은 학습자의 내적 상황은 거의 무시하고 외부로부터 제공되는 조작적 조건(operant conditioning)의 원리에 기초

(1) 내적 상태와 관련된 문제

- 행동

 ∙ 전통적 연구결과 : 행동은 어떤 정신적인 상태에 의해 ‘원인이 된’ 것 - ‘이차적, 부차적인 변인’- 즉, 행동을 단순히 내적이고 정신적인 것과 심리적 행동의 표출 혹은 ‘증상’으로 간주

 ∙ 전통적 연구결과 관점의 문제

- 행동을 다른 변인들을 위한 대용물로 간주하는 것은 그것을 명확하게 설명하는데 장애 요인 됨

- 행동을 다른 중요한 변수들에 대한 단순한 척도로서 보는 것은 행동 변화를 이해하는데 있어서 도움이 안됨

- 즉, 행동은 일차적인 변인으로 다루어져야 함.

(2) 실험적 분석

“ 가장 정확한 정보의 원천은 세밀한 통제 조건하에서 관찰된 행동 변화이다.”

▪ 행동의 실험적 분석(experimental analysis)

① 행동을 종속 변수로 간주하고,

② 행동을 관찰할 수 있고 조작할 수 있는 물리적 조건하에서 설명해 나감

③ 집단보다는 개개인에 대한 연구를 요구

- 집단의 결과를 평균해서 해석하는 것은 행동의 왜곡된 모습을 나타낼 수 있음

(3) 실험실 방법

2) 학습의 정의

“ 학습(learning)이란 곧 행동이다”

  * 학습- 반응의 비율증가, 비학습-반응의 비율 감소

▪ 반응의 비율로 학습을 설명하는데 있어서의 이점

① 임의의 기준으로서 체계적이고 계속적인 행동 변화의 자료가 된다.

② 반응 비율의 중요한 특징은 행동 변화를 분명하게 분류한다.

③ 반응의 비율은 교실에서 학생들의 반응에서부터 실험실 비둘기의 반응에 이르기까지 행동에 다양하게 적용될 수 있다.

1) 행동주의 이론에서 강조하는 학습원리

①학습자는 ‘수동적인 시청자’가 아니라 ‘능동적인 참여자 여야 한다. – 학습자의 반응 중시,‘행하면서 배운다.’

②’반복’은 기술 습득과 파지(把持)를 보장하기 위해 중요하다.- 타이프치기, 피아노연주하기, 외국어 습득등을 위해  반복적인 연습 필요

③’강화’가 중요하다. 바람직한 반응이나 정확한 반응이 보상을 받는 반복적인 강화가 제공되어야 한다.

 -일반적으로  부적 강화(벌, 실패)보다 정적 강화(보상, 성공)가 더 바람직하다.

④’일반화’ ‘변별’이 더욱 광범위한( 또는 더욱 한정된) 자극에 대해서 학습이 이루어지기 위해서는 다양한 상황에서 연습이 필요하다.

⑤’새로운’ 행동은 모델의 모방이나 단서 등을 통해서도 길러진다.

⑥’욕구’는 학습에서 중요하다. –동기상태가 학습에 중요하다.

2) 인지이론에서 강조하는 학습이론

①”지각적 특성’을 고려하여 학습자에게 문제를 제시하는 것이 중요한 학습 조건이 된다. 따라서 학습의 기본적인 특징이 학습자의 눈에 잘 띌 수 있도록 학습문제 형태를 재구조화하여 제시해야 한다.

②‘지식의 구조’는 교사나 수업계획자에게 중요한 관심사가 되어야 한다.

  * 단순한 것→ 복잡한 것은 ‘단순화된 전체→ ‘더욱 복잡한 전체’로 진행을 의미한다.

  * 어떤 지식의 부분-전체의 문제는 그 지식의 구조나 체계의 문제이기 때문에 복잡한 것이 어떻게 체계화되었는가에 관한 이론을 떠나 처리 될 수 없다.    

  * 지식의 구조나 체계화는 학습자의 발달 수준에 달려있다.

③’이해를 통한 학습’은 기계적인 암기학습이나 공식을 통한 학습보다 더 영속적이고 전이(轉移)가 잘 된다.

④’인지적 피드백’은 정확하게 학습한 지식을 확인해주고 틀린 학습은 교정해준다.

   *학습자가 무엇인가 잠정적으로 시행해 본 다음, 그 결과에 따라 그가 했던 바를 수용하거나 거부하게 되는 것을 의미한다.

   *해동주의 이론의 강화에 해당하지만 , 인지론은 피드백을 일종의 가설 검증과정으로 보고 있다.

⑤학습자에 의한 ‘목표 설정’은 학습동기를 유발시킨다는 의미에서 중요하며, 이 목표의 달성여부는 후속되는 새로운 목표의 설정에 중요한 요인이 된다.

⑥논리적으로 정확한 해답을 이끌어 주는 수렴적 사고 뿐만 아니라 문제의 창의적인 해결이나 새롭고 가치 있는 결과를 창조하게 해주는 ‘확산적 사고’가 육성돼야 한다.

 *독창성에 의거한 개인의 잠정적인 노력을 적절히 지원(피드백)하여 스스로 창의적인 잠재력을 가졌다고 지각하게 함으로써  이와 같은 확산적 사고를 형성할 수 있다.

□

(개괄)

*행동주의

*인지주의

1) 장이론(Gestalt Psychology)

 *지각 경험을 연구하는 데 중점

 Marx  Wertheimer(1880~1943) : 유대계 독일의 심리학자, 게슈탈트 심리학의 창시자. 1912년에 강의한 《운동시(運動視)의 실험적 연구》로 형태심리학(게슈탈트 심리학) 이론을 전개하였다. 즉 지각 및 사고연구를 전문 영역으로 하여 경험의 전체성을 강조하는 형태심리학을 창조했다.

*기본적인 가정 : 지각의 전체성

1) 행동주의 등장배경과 기본 입장

- 구조주의 : 정신의 요소나 구조를 알아내는데 주안점을 두는 심리학의 한 흐름

   `어떤 사물의 의미는 개별로서가 아니라 전체 체계 안에서 다른 사물들과의 관계에 따라 규정된다는 인식을 전제로 하여 개인의 행위나 인식 등을 궁극적으로 규정하는 총체적인 구조와 체계에 대한 탐구를 지향한 현대 철학사상의 한 경향

- 기능주의 : 인간의 행동을 인위적으로 자극-반응으로 구분하기보다 전체적이고 기능적으로 파악하며, 정신 작용의 과정을 연구하는데 중점을 둔 심리학의 한 흐름

  `제임스(W. James)와 듀이(J. Dewey)의 실용주의(實用主義)에 입각하여 19세기 말엽 시카고 대학에서 형성되었던 미국의 한 심리학파. 의식의 내용을 원자적인 요소들로 분석하여 종합하는 분트 학파의 구조주의(構造主義)에 반대하여 의식의 기능을 강조했다. 여기에서 「기능」이라는 용어는 정적(靜的)인 구조와 대조되는 능동적인 작용 또는 활동을 뜻한다. 진화론의 영향으로 이러한 기능 또는 활동은 유기체가 환경에 적응하는 문제해결적인 행동으로 간주되었다. 이에 따라 기능주의는 의식 또는 정신을 유기체가 환경에 적응하는 데 공헌하는 유용성이라는 각도에서 파악해야 한다고 주장했고, 의식이 “무엇이냐”의 문제를 회피하고 의식이 “무엇 때문에 어떻게 활동하느냐”의 문제를 실험적으로 연구할 것을 강조했다. 적응에 대한 관심 때문에 개인의 적응능력의 차이와 그 측정에 중점을 두어 각종의 심리검사(心理檢査)들을 제작하였다. 기능주의의 기수는 듀이이지만 안젤(J.R. Angell)과 카아(H.A. Carr) 등에 의하여 체계화되었다. 기능주의는 의식을 인정하나 심리학의 방법으로 과학적 실험을 강조했기 때문에 결국에는 행동주의에 흡수되고 말았다. 우리가 해방 이후 미국에서 받아들였던 새교육은 실용주의적 교육인 진보주의(進步主義)였기 때문에 교육심리학에서는 실용주의적 심리학인 기능주의가 주도적인 역할을 하였다.

- 구조주의와 기능주의의 주된 연구방법 : 자기반성, 자기보고

   ->20세기 초, 정신의 상태나 과정에 대한 연구는 죽은 것으로 간주하였고 자기 반성, 자기보고 같은 연구방법은 비과학적이라고 생각하여 행동주의가 나타남

*행동주의의 기본 입장(Gredler, 1994)

 1. 관찰 가능한 행동을 주된 연구 영역으로 삼았다