학습 구간을 통과한 매매법, 검증 구간에서 무너지다

01무엇을 했나 — 100개를 같은 기준으로

커뮤니티와 블로그에서 자주 거론되는, 차트 모양이나 날짜(달력)로 만드는 매수 규칙 100개를 모았습니다. 「5연속 양봉」(5일 연속으로 종가가 시가보다 높게 끝남), 「52주 신고가」(최근 52주 최고가 돌파)처럼 사람마다 해석이 갈릴 수 있는 말을, 누가 계산해도 같은 결과가 나오도록 공식으로 고정했습니다.

시험 방식은 100개 모두 같았습니다.

• 신호가 나온 다음 거래일 시가(그날 장이 열릴 때의 첫 가격)에 산다고 가정합니다.
• 20거래일 뒤, 같은 기간 시험 대상 종목 전체를 똑같은 비중으로 샀을 때의 평균보다 얼마나 더 벌었는지 잽니다. 이것이 초과 수익이고, 단위 %p는 「퍼센트끼리의 차이」입니다.
• 상장폐지된 종목까지 포함했고, 거래가 너무 적은 종목은 뺐습니다.
• 방향이 맞는지만 걸러 보는 단계라 거래 비용은 넣지 않았습니다. 넣으면 결과는 더 나빠질 수밖에 없습니다.

02학습 구간의 우등생 둘, 검증 구간에서 무너지다

기간은 둘로 나눴습니다.

• 학습 구간(2016~2024년): 100개 중 쓸 만한 것을 걸러내는 곳입니다.
• 검증 구간(2025년 1월~2026년 8월): 학습 구간을 통과한 규칙만 딱 한 번 판정하는 곳입니다. 결과를 본 뒤 규칙을 고치지 않습니다.

학습 구간의 합격선은 20일 초과 수익 +1.0%p 이상, 신호 100건 이상, 연도별로 절반이 넘는 해에 플러스, 그리고 t값 3.0 이상이었습니다. t값은 「이 결과가 우연일 가능성이 얼마나 낮은가」를 보여 주는 점수로, 클수록 우연이라고 보기 어렵습니다.

100개 중 이 선을 넘은 것은 둘이었고, 둘 다 검증 구간에서 방향이 뒤집혔습니다.

규칙	학습 구간(2016~2024)	검증 구간(2025~2026.8)
5연속 양봉	+1.06%p (t=4.77, 9년 모두 플러스)	−6.01%p (t=−5.74)
52주 신고가	+1.49%p (t=3.88)	−9.61%p (t=−7.8)

검증 구간의 t값이 이렇게 큰 음수라는 것은 우연히 조금 빗나간 정도가 아니라 반대 방향이 뚜렷했다는 뜻입니다. 학습 구간만 봤다면 「9년 내내 플러스인 방법을 찾았다」고 생각했을 것입니다. 상위권 규칙들의 검증 구간 성적은 대체로 −4~−10%p 안팎이었습니다.

검증 구간에서 유일하게 플러스(+0.64%p)였던 규칙이 하나 있었지만, 학습 구간 합격선을 넘지 못했던 규칙이라 의미를 두지 않았습니다. 결과를 본 뒤에 골라내면 같은 실수를 되풀이하기 때문입니다. 최종 통과는 0종이었습니다.

03왜 이런 일이 생길 수 있나

첫째, 많이 재면 운 좋은 것이 섞입니다. 동전 100개를 각각 던져 앞면이 유난히 많이 나온 동전을 「실력 있는 동전」이라 부르는 것과 비슷합니다. 통계의 흔한 기준(5%)으로 100개를 재면 아무 효과가 없어도 우연히 5개쯤은 합격선을 넘습니다. 그래서 합격선을 t값 3.0으로 높였지만, 그 선을 넘은 둘도 처음 보는 기간에서는 성적이 이어지지 않았습니다. 합격선을 높이는 것만으로는 부족하고, 처음 보는 기간에서 한 번 더 확인해야 한다는 뜻입니다.

둘째, 과거를 보고 고르면 과거에 맞춰집니다. 학습 구간에서 잘 맞은 이유가 그 시기의 시장 분위기였을 수도, 처음부터 우연이었을 수도, 알려진 방법이라 효과가 사라졌을 수도 있습니다. 이 검증만으로는 가려내지 못했고, 원인은 단정하지 않습니다.

셋째, 결과를 보고 기준을 고치면 검증이 아니게 됩니다. 검증 구간 결과를 본 뒤 규칙을 손보면 그 구간은 더 이상 「처음 보는 기간」이 아닙니다. 그래서 성과를 보기 전에 공식과 합격선을 적어 두고 바꾸지 않습니다.

04그래서 우리는 이렇게 한다

• 사전 선언: 새 아이디어는 검증하기 전에 가설·공식·합격선·비교 대상을 글로 고정합니다. 결과가 나쁘다고 기준을 바꿔 살려 주지 않습니다.
• 랜덤 대조군 「무념이」: 아무 생각 없이 무작위로 고른 가상 매매입니다. 어떤 방법이든 무념이보다 나은 증거가 없으면 실력이라 부르지 않습니다. 다만 이번 100개 검증의 비교 기준은 무념이가 아니라, 같은 기간 시험 대상 종목 전체를 똑같은 비중으로 산 평균이었습니다. 아무 종목이나 무작위로 하나 골랐을 때 평균적으로 기대할 수 있는 성적이 바로 이 값이라 같은 역할을 합니다.
• 재론 금지: 검증에서 증거를 찾지 못한 기법은 새로운 자료나 조건 없이는 다시 꺼내지 않습니다. 숫자만 살짝 바꾼 변형도 새 아이디어로 치지 않습니다.

이 결과는 우리가 정한 규칙 정의·기간·종목 범위 안에서의 이야기이고, 다른 조건에서는 다를 수 있습니다. 다만 우리 검증에서는 차트 모양이나 달력으로 만든 매수 신호가 처음 보는 기간에서 살아남는다는 증거를 찾지 못했습니다.

앞으로 어떤 매매법 이야기를 만나면 먼저 세 가지를 묻기로 했습니다.

1. 몇 개 중에서 골라낸 것인가?
2. 처음 보는 기간에서도 확인했는가?
3. 무작위로 한 것과 비교했는가?