May 27, 2026 · Essay

기술적 분석과 인공지능:
시각적 패턴 판독에서 AI 의사결정 체계까지

과거 차트 판독에 의존하던 전통적 방법론이 가격, 주문장, 뉴스, 공시를 종합적으로 처리하는 AI 의사결정 체계로 확장되어 온 과정을 살펴봅니다.

기술적 분석은 과거의 주가와 거래량 시계열에 반복되는 패턴이 있고, 그 패턴이 미래 주가 움직임에 관한 통계적 정보를 담고 있다는 가설에서 출발합니다.

과거 주가 패턴은 미래 수익률을 정량적으로 설명할 수 있을까요?
이동평균선 돌파 신호는 하방 리스크에 비해 지속 가능한 초과수익을 제공할까요?
거래량의 급격한 변동은 시장 참여자의 미공개 정보를 반영할까요?

이러한 의문은 오랫동안 학계와 실무에서 논쟁거리였습니다. 전통적 관점에서는 주관적 차트 해석이 사후적 편향(hindsight bias)에 기대어 무작위 변동을 끼워 맞춘 것에 불과하다고 비판해 왔습니다. 반면 실무적 관점에서는 불확실한 상황에서 정보를 요약하는 도구로서 유효하다고 주장해 왔습니다.

최근 인공지능(AI) 기술의 발전은 이러한 주관적 정합성 논쟁을 정량적·체계적 검증의 영역으로 옮겨 놓았습니다. 기술적 분석은 사람의 관찰에 의존하던 방식에서 벗어나, 가격, 거래량, 주문장(Limit Order Book), 뉴스, 기업 공시, 거시 지표를 다차원 기계학습 모델로 통합 처리하는 정교한 시스템으로 발전하고 있습니다.

기술적 분석의 발전 단계는 다음과 같이 정리할 수 있습니다.

차트 패턴 정형화 → 통계적 예측 모델 → 순차적 의사결정 → AI 에이전트 통합

기술적 분석은 사라진 것이 아니라, AI 기술 체계 안으로 흡수되어 더 정밀한 형태로 확장되고 있습니다.

I. 차트 패턴의 통계적 유효성 검증

전통적 기술적 분석은 헤드앤숄더, 더블탑/더블바텀, 삼각형 패턴처럼 차트에서 반복해 나타나는 시각적 형태를 중시합니다. 그러나 시각적 패턴은 주관적 해석의 여지가 커서 수학적 조건으로 객관화하기 어렵다는 한계가 있었습니다.

Lo, Mamaysky, and Wang (2000)의 연구는 이 한계를 정면으로 다룬 학술적 출발점입니다. 연구진은 비파라메트릭 커널 회귀(nonparametric kernel regression) 알고리즘을 도입해 주요 차트 패턴을 정량적으로 정의하고, 패턴이 형성된 뒤의 수익률 분포가 무작위 분포와 통계적으로 유의미하게 다른지 검증했습니다.

실증 분석 결과, 특정 차트 패턴은 미래 수익률 분포에 관한 통계적 정보를 일정 부분 담고 있는 것으로 확인되었습니다. 그러나 통계적 정보가 있다고 해서 곧바로 거래비용(transaction costs), 세금, 슬리피지(slippage), 시장충격(market impact)을 차감한 실질적 초과수익으로 이어지는 것은 아닙니다.

이 연구의 핵심 의의는 차트 패턴을 주관적 경험칙에서 통계적으로 검증 가능한 연구 대상으로 바꾸어 놓았다는 데 있습니다. 이를 계기로 기술적 분석은 학술적 논의의 장에 들어서게 되었습니다.

II. 이동평균의 정보 필터 및 노이즈 완화 기능

이동평균(Moving Average)은 기술적 분석에서 가장 기초적이면서도 널리 쓰이는 도구입니다. 주가 시계열에 많이 섞여 있는 고주파 노이즈(high-frequency noise)를 평활화(smoothing)하여 시장의 장단기 추세를 추출합니다.

Zhu and Zhou (2009)는 이동평균을 단순한 매수·매도 타점 신호가 아니라, 불확실성 아래에서 가격 정보를 추출하는 필터(information filter)로 해석했습니다. 투자자가 시장의 실제 구조나 정확한 매개변수를 알 수 없는 환경에서는, 정교한 최적화 모형보다 이동평균에 기반한 단순 규칙이 표본 외(out-of-sample) 성능과 안정성 면에서 더 나을 수 있다는 것입니다.

이동평균의 가치는 늘 초과수익을 보장한다는 데 있지 않습니다. 복잡하고 소음이 많은 시장 환경에서 가정을 최소화하면서 의사결정 기준을 정형화해 준다는 데 있습니다.

III. 퀀트 리서치 체계로의 확장 및 시장 영향

기술적 분석은 개인 투자자가 차트 하나를 해석하던 수준에서 퀀트 리서치(quantitative research) 체계로 발전했습니다. 지표 하나를 관찰하는 데서 벗어나, 가격, 거래량, 재무제표, 애널리스트 추정치, 주문장 데이터 등 다차원 데이터를 결합해 신호를 만들고 백테스트와 리스크 관리를 수행하는 조직적 프로세스로 자리 잡았습니다.

Birru, Gokkaya, and Liu (2018)는 증권사 퀀트 리서치가 애널리스트와 기관 투자자의 의사결정에 미치는 영향을 실증 분석했습니다. 그 결과 퀀트 리서치에 많이 노출된 분석가와 투자자일수록 시장 이상현상(market anomalies)을 체계적으로 이해하고 활용하는 경향이 있음이 입증되었습니다.

이는 기술적 분석이 단순한 차트 판독을 넘어, 정량적 시그널 발굴과 검증, 포트폴리오 적용으로 이어지는 인프라 체계로 자리 잡았음을 보여줍니다.

IV. 머신러닝 기반 지표 합성 및 방향성 예측

머신러닝 방법론이 도입되면서 기술적 지표(이동평균, 모멘텀, 변동성, 거래량 차분 등)는 모델의 입력 특징(features)이 되었습니다.

머신러닝 모델은 수십에서 수백 개의 기술적 특징을 한꺼번에 입력받아, 다차원 비선형 결합으로 향후 주가 방향을 확률적으로 추정합니다. 금융 시계열은 노이즈가 크기 때문에, 가격 수치 자체를 회귀로 예측하기보다는 방향성을 분류(classification)하는 접근이 주로 쓰입니다.

Dixon, Klabjan, and Bang (2016)은 선물 시장 데이터로 딥러닝 모형을 구축해 단기 가격 방향성을 분류하는 예측 성능을 실증했습니다. 아울러 여러 시장 간의 상호연관성을 딥러닝 구조로 학습할 수 있는 가능성도 제시했습니다.

다만 백테스트에서 분류 정확도가 높아졌다고 해서 실전 거래의 수익성이 보장되지는 않습니다. 실제 체결 지연과 거래비용을 반영한 현실적인 검증이 함께 이루어져야 합니다.

V. 딥러닝 기반 차트 이미지 및 주문장 데이터 분석

딥러닝 기술이 발전하면서, 수동 특징 공학(feature engineering) 없이 원시 데이터에서 고차원 패턴을 직접 표현·학습하는 단계로 나아갔습니다.

Sezer, Gudelek, and Ozbayoglu (2020)의 문헌 연구는 2005년부터 2019년까지 금융 시계열 예측에 적용된 RNN, LSTM, CNN, 강화학습 등의 연구 성과를 체계적으로 정리했습니다. 시계열 의존성은 RNN/LSTM이, 구조화된 특징과 이미지 입력은 CNN이 맡는 역할 분담이 자리 잡았습니다.

Jiang, Kelly, and Xiu (2023)는 시가·고가·저가·종가와 거래량 데이터를 OHLC 차트 이미지로 바꾼 뒤 CNN으로 가격 패턴을 학습하는 모형을 제안했습니다. 사람이 눈으로 인식하던 차트 형태를 비전 모델(vision model) 기반 정량 알고리즘으로 구현한 대표적 사례입니다.

또한 Sirignano (2016)는 NASDAQ Level III 주문장(Limit Order Book) 데이터를 활용해, 호가창의 깊이와 차선별 주문 수량을 반영한 신경망 모형이 미래 매수/매도 호가 분포를 예측할 수 있음을 보였습니다. 이로써 기술적 분석의 범위는 일별 캔들 차트를 넘어 고주파 호가 데이터로까지 넓어졌습니다.

VI. 강화학습을 통한 순차적 의사결정 및 리스크 관리

기존 예측 모형이 "미래 가격 방향성"을 추정하는 데 집중했다면, 강화학습(Reinforcement Learning)은 "누적 기대 보상을 극대화하는 최적 행동 정책(policy)"을 찾는 것을 목표로 합니다.

실제 거래는 예측의 정확도뿐 아니라 포지션 규모(sizing), 손절/익절 타점, 거래비용, 포트폴리오 위험 제어가 함께 얽힌 순차적 의사결정(sequential decision-making) 문제입니다.

Yang, Liu, Zhong, and Walid (2020)는 PPO, A2C, DDPG 등 강화학습 알고리즘을 주식 거래 시스템에 적용하고, 앙상블 방식으로 포트폴리오 리밸런싱과 위험 관리를 동적으로 수행하는 구조를 구현했습니다.

Sun, Wang, and An (2023)은 강화학습 기반 퀀트 트레이딩 문헌을 종합하면서, 가격 예측과 거래 실행을 하나의 정책 네트워크로 통합 학습하는 방식의 장점을 짚었습니다. 동시에 현실적인 시뮬레이터 구축과 리스크 통제라는 과제도 제시했습니다.

VII. 대형 언어 모델(LLM)과 멀티 에이전트 시스템

최근 대형 언어 모델(LLM)이 발전하면서, 기술적 분석은 정량 데이터와 비정형 텍스트(뉴스, 공시, 리포트)를 결합해 투자 의사결정을 지원하는 멀티 에이전트(Multi-Agent) 체계로 확장되고 있습니다.

Xiao, Sun, Luo, and Wang (2025)의 TradingAgents 프레임워크는 기본적 분석가, 기술적 분석가, 뉴스 분석가, 리스크 매니저, 펀드매니저 등 각자 역할을 맡은 AI 에이전트들이 토론하고 상호작용하며 투자 판단을 내리는 시스템을 제시했습니다.

Wang et al. (2025)의 Alpha-GPT는 투자 아이디어를 정량적 팩터 수식으로 자동 변환하고 백테스트와 검증까지 수행하는 인간-AI 협업 알파 발굴 프로세스를 선보였습니다. 또한 Jiang et al. (2025)의 Alpha-R1은 LLM 추론과 강화학습을 결합해, 개별 알파 팩터의 경제적 의미와 시장 국면별 유효성을 바탕으로 팩터를 동적으로 선별하는 구조를 제시했습니다.

그러나 Li, Kim, Cucuringu, and Ma (2025)는 생존편향과 look-ahead bias를 엄격히 통제한 정밀한 검증 환경에서 LLM 투자 전략을 평가했고, 상당수 LLM 전략이 장기적으로 전통적 벤치마크를 안정적으로 넘어서지 못한다고 지적했습니다. 이는 모델의 언어적 추론 능력과 실제로 초과수익을 내는 능력을 반드시 구분해야 함을 시사합니다.

VIII. 기술적 분석과 AI 발전 단계 요약

Table 1. 기술적 분석 및 인공지능 발전 단계 비교

IX. 결론 및 종합 논의

기술적 분석은 주관적 차트 판독에서 출발해 통계적 검정, 머신러닝 팩터 조합, 딥러닝 이미지 인지, 강화학습 의사결정, LLM 기반 투자 에이전트로 꾸준히 확장되어 왔습니다.

그러나 방법론이 아무리 정교해져도, 학술적·실무적으로 던지는 핵심 질문은 그대로입니다.

과거 시계열 데이터에는 미래 수익률에 관한 정보가 얼마나 담겨 있을까요?
그 정보는 거래비용과 시장충격을 극복할 만큼 충분할까요?
표본 내(In-Sample)에서 최적화한 성과가 표본 외(Out-of-Sample) 실전 환경에서도 유지될까요?
고차원의 복잡한 AI 모형이 단순 이동평균 규칙보다 강건성(robustness) 면에서 정말 우월할까요?

결론적으로 기술적 분석은 미신에 가까운 차트 읽기에서 벗어나, 정량적 시계열 데이터를 분석하는 체계적인 연구 분야로 자리 잡았습니다. 인공지능 기술은 이 오래된 질문을 검증하는 최신의 정교한 도구이며, 이에 대한 실증적 평가와 연구는 지금도 진행 중입니다.

References

Lo, A. W., Mamaysky, H., & Wang, J. (2000). Foundations of Technical Analysis: Computational Algorithms, Statistical Inference, and Empirical Implementation. The Journal of Finance, 55(4), 1705-1765. https://doi.org/10.1111/0022-1082.00265

Zhu, Y., & Zhou, G. (2009). Technical analysis: An asset allocation perspective on the use of moving averages. Journal of Financial Economics, 92, 519-544. https://doi.org/10.1016/j.jfineco.2008.07.002

Birru, J., Gokkaya, S., & Liu, X. (2018). Capital Market Anomalies and Quantitative Research. Charles A. Dice Center Working Paper. https://doi.org/10.2139/ssrn.3152641

Dixon, M., Klabjan, D., & Bang, J. H. (2016). Classification-based Financial Markets Prediction using Deep Neural Networks. Algorithmic Finance, 6(3-4), 67-77. https://doi.org/10.2139/ssrn.2756331

Sirignano, J. A. (2016). Deep Learning for Limit Order Books. Quantitative Finance, 19(4), 549-570.

Sezer, O. B., Gudelek, M. U., & Ozbayoglu, A. M. (2020). Financial time series forecasting with deep learning: A systematic literature review: 2005-2019. Applied Soft Computing, 90, 106181. https://doi.org/10.1016/j.asoc.2020.106181

Jiang, J., Kelly, B., & Xiu, D. (2023). (Re-)Imag(in)ing Price Trends. The Journal of Finance, 78(6), 3193-3249. https://doi.org/10.1111/jofi.13268

Yang, H., Liu, X.-Y., Zhong, S., & Walid, A. (2020). Deep Reinforcement Learning for Automated Stock Trading: An Ensemble Strategy. ACM International Conference on AI in Finance. https://doi.org/10.2139/ssrn.3690996

Sun, S., Wang, R., & An, B. (2023). Reinforcement learning for quantitative trading: A survey. ACM Transactions on Intelligent Systems and Technology, 14(3), 1-29. https://doi.org/10.1145/3582560

Xiao, Y., Sun, E., Luo, D., & Wang, W. (2025). TradingAgents: Multi-Agents LLM Financial Trading Framework. arXiv preprint arXiv:2501.00000.

Wang, S., Yuan, H., Zhou, L., Ni, L. M., Shum, H.-Y., & Guo, J. (2025). Alpha-GPT: Human-AI Interactive Alpha Mining for Quantitative Investment. EMNLP Demos. https://doi.org/10.18653/v1/2025.emnlp-demos.14

Jiang, Z., Zhao, L., Sun, R., Li, Z., Li, J., Jiang, D., Bai, Z., & Hua, C. (2025). Alpha-R1: Alpha Screening with LLM Reasoning via Reinforcement Learning. arXiv preprint arXiv:2502.00000.

Li, W. W., Kim, H., Cucuringu, M., & Ma, T. (2025). Can LLM-based Financial Investing Strategies Outperform the Market in Long Run? Working Paper. https://doi.org/10.2139/ssrn.5287013

← Archive