연구방법 입문 | 체크리스트 하나로 시작하는 교과서 분석 — 있다/없다 + 명시/암시

교과서 분석이 처음이라면 이것부터 하세요. 체크리스트 하나로 교과서 활동을 보고 "있다/없다", 있다면 "드러내 놓고 말하는지(명시) / 활동 속에 숨어 있는지(암시)"만 판정하는 방법입니다. 외국 교과서 분석 논문에서 가장 많이 쓰는 방식이고, 하루면 연습 한 바퀴를 돌 수 있습니다.

오늘 할 수 있게 되는 것

• 분석 단위와 체크 항목을 정합니다.
• 활동 2개를 직접 판정해 봅니다.
• 두 사람의 판정이 얼마나 같은지(일치율, κ)를 손으로 계산합니다.

① 전체 흐름: 7단계

1. 질문 하나 — "교과서 발명 활동은 발명 과정의 어떤 단계를 보여 주는가?"
2. 분석 단위 — 활동 1개 = 1단위. 활동 제목부터 활동지·평가표까지 한 묶음으로 봅니다.
3. 체크 항목 — 볼 요소를 5–8개로 정합니다.
4. 판정 규칙 — "있다"와 "명시"의 기준을 한 문장씩 씁니다.
5. 코딩 시트에 기록 — 판정과 근거(쪽, 문장)를 적습니다.
6. 두 사람이 따로 — 같은 활동을 각자 판정한 뒤 맞춰 봅니다.
7. 표로 정리 — 항목별로 몇 개 활동에 있었는지, 그중 명시는 몇 %인지 셉니다.

② 체크 항목 정하기 (발명 단원 예시)

코드	항목	한 줄 정의
I1	문제 발견	학생이 불편이나 필요를 찾는 과정
I2	아이디어 발상	해결 아이디어를 여러 개 떠올리는 과정
I3	선택·구체화	아이디어를 비교해 고르고 그림·설명으로 구체화
I4	만들기·시험	시제품을 만들고 작동을 확인
I5	개선	시험 결과를 보고 고침

항목은 외국 논문의 틀(공학 설계 단계, 발명 과정 틀)을 가져와 우리 교과서에 맞게 줄입니다. 처음에는 5개로 충분합니다.

③ 판정 규칙 두 줄

있다 학생이 그 과정을 실제로 하게 되어 있으면 "있다". 본문에서 개념만 설명하고 활동에서 시키지 않으면 "없다"로 봅니다.

명시 "있다" 가운데, 그 과정을 이름으로 부르거나 학생에게 그 과정을 의식하게 하는 질문·기록란·평가 항목이 있으면 "명시". 그런 말 없이 하다 보면 거치게 되는 것이면 "암시".

이 정의는 과학의 본성(NOS) 교과서 연구에서 쓰는 명시/암시 구분(Abd-El-Khalick 외, 2017)을 활동 단위에 맞게 바꾼 것입니다. 중국 물리 교과서를 분석한 Zhang 외(2025)는 "engineering", "design" 같은 단어가 있느냐로 명시를 판정했는데, 기술 교과서는 "설계"라는 말이 거의 늘 나오기 때문에 우리는 단어가 아니라 학생에게 의식시키는지로 판정합니다.

④ 직접 해 보기: 예시 활동 2개

아래 두 활동은 설명을 위해 만든 예시입니다. 실제 교과서 문장이 아닙니다.

예시 A. "우리 집 불편 해결 발명품"

① 집에서 불편했던 경험을 세 가지 적어 보자. ② 그중 하나를 골라 해결 아이디어를 스케치하자. ③ 우드락으로 모형을 만들어 친구에게 보여 주자.

코드	있다?	명시?	근거
I1 문제 발견	있다	명시	"불편했던 경험을 적어 보자" — 문제 찾기를 직접 시킴
I2 발상	있다	암시	스케치는 하지만 아이디어를 여러 개 내라는 말은 없음
I3 선택·구체화	있다	암시	"하나를 골라"는 있으나 비교 기준이 없음
I4 만들기·시험	있다	암시	모형은 만들지만 작동 확인 지시는 없음
I5 개선	없다	—	고치는 단계가 없음

예시 B. "물이 새지 않는 컵 받침"

① 아이디어를 두 가지 이상 그리고, 표의 기준(크기, 재료비, 물 흡수)으로 비교해 하나를 고르자. ② 만든 뒤 물 50 mL를 부어 새는지 확인하자. ③ 결과를 기록하고, 새면 무엇을 고칠지 쓰자.

코드	있다?	명시?	근거
I1 문제 발견	없다	—	문제가 이미 주어짐
I2 발상	있다	명시	"두 가지 이상 그리고"
I3 선택·구체화	있다	명시	기준표로 비교해 고르게 함
I4 만들기·시험	있다	명시	"50 mL를 부어 새는지 확인"
I5 개선	있다	명시	"무엇을 고칠지 쓰자" — 기록란

두 활동 모두 "발명 활동"이지만, A는 문제를 찾게 하고 B는 시험과 개선을 의식시킵니다. 단순히 "발명 활동이 몇 개 있다"고 세면 보이지 않는 차이입니다. 이것이 이 방법의 핵심입니다.

⑤ 두 사람이 맞춰 보기: 일치율과 κ

활동 20개를 두 사람이 각자 "I5 개선 있다/없다"로 판정했다고 합시다.

	B: 있다	B: 없다	합
A: 있다	8	2	10
A: 없다	2	8	10
합	10	10	20

1. 일치율 = 같은 판정 ÷ 전체 = (8 + 8) ÷ 20 = .80
2. 우연히 같을 확률 = (A 있다 비율 × B 있다 비율) + (A 없다 비율 × B 없다 비율) = (.5 × .5) + (.5 × .5) = .50
3. Cohen κ = (일치율 − 우연) ÷ (1 − 우연) = (.80 − .50) ÷ .50 = .60

일치율은 80%로 높아 보여도, 우연을 빼면 κ는 .60입니다. 보통 κ .61 이상을 "상당한 일치"로 보므로, 이 경우엔 다른 판정 2+2건을 두고 정의를 다듬은 뒤 연습을 한 번 더 합니다. 외국 논문들은 본 코딩 전에 이렇게 연습해 κ를 .70–.80 이상으로 올린 뒤 시작합니다(예: Halawa 외 2024는 활동 1/4로 연습해 κ = .82를 확인).

⑥ 결과 표 모양

항목	있는 활동 수(%)	그중 명시(%)
I1 문제 발견	○○ (○○%)	○○ (○○%)
I2 발상	○○ (○○%)	○○ (○○%)
…

이 표 하나에 출판사 열을 붙이면 "출판사마다 다른가"(χ² 검정)로, 교육과정 개정 열을 붙이면 "개정마다 달라졌나"로 이어집니다. 그것이 다음 단계(「연구방법 01」의 M5 비교·M6 변화 추적)입니다.

⑦ 코딩 시트 양식

활동ID	교과서·쪽	코드	있다(1/0)	명시(1/0)	근거 문장	헷갈린 점
MR1-01	미래엔①, 000쪽	I1	1	1	"…을 적어 보자"

스프레드시트에 이 7칸을 만들고, 활동 하나에 코드 5줄씩 적습니다. "헷갈린 점" 칸이 코드북을 고치는 재료가 됩니다.

⑧ 처음 할 때 자주 하는 실수

• 단어만 보고 명시로 판정 — "발명"이라는 말이 있어도 그 과정을 의식시키지 않으면 암시입니다.
• 본문 설명을 활동으로 셈 — 본문에서 "발명은 문제 발견에서 시작한다"고 설명만 하면 활동에서는 "없다"입니다(본문은 따로 분석).
• 근거를 안 적음 — 맞춰 볼 때 왜 그렇게 봤는지 모르면 합의가 안 됩니다. 쪽과 문장을 꼭 적습니다.
• 맞춰 보기 전에 서로 의논 — 독립 코딩이 아니게 됩니다. 판정이 끝난 뒤에만 비교합니다.

과제 — 교과서 1권에서 발명 관련 활동 3개를 골라 위 시트에 판정하고, 짝과 바꿔 일치율을 계산해 보세요. 다른 판정은 "헷갈린 점"에 적어 오세요.

참고문헌

• Abd-El-Khalick, F., Myers, J. Y., Summers, R., et al. (2017). A longitudinal analysis of the extent and manner of representations of nature of science in U.S. high school biology and physics textbooks. Journal of Research in Science Teaching, 54(1), 82–120. https://doi.org/10.1002/tea.21339
• Halawa, S., Hsu, Y.-S., & Zhang, W.-X. (2024). Inquiry activity design from Singaporean and Indonesian physics textbooks. Science & Education, 33, 581–607. https://doi.org/10.1007/s11191-022-00396-2
• Zhang, X., Xiao, Y., Bao, L., Zhang, J., Yang, L., & Xiong, J. (2025). Comparative analysis of engineering elements in five Chinese junior high school physics textbooks. Science & Education, 35(1), 165–192. https://doi.org/10.1007/s11191-025-00649-w