중학생 프로그래머 · AI 개발자 · 한국어 LLM 제작자
코드를 쓰는 것에서 끝내지 않고, 모델을 직접 만들고 학습시키며 원인을 추적합니다.

Middle School Programmer · AI Developer · Korean LLM Creator
I don't stop at writing code—I build models, train them, and trace the reasons behind every result.

저는 AI가 어떻게 만들어지는지 직접 이해하고 구현하는 것을 좋아하는 중학생 프로그래머입니다.

현재 파이썬 기본, 알고리즘, 알고리즘 심화, 데이터 분석, 머신러닝까지 다 배웠고, 현재 c언어를 배우고있습니다.

특히 한국어 LLM을 만드는 데 관심이 많아서, 모델 구조를 코드로 구현하고 데이터를 준비하고 학습을 돌리면서 결과를 분석하는 프로젝트를 계속 확장하고 있습니다.

저에게 개발은 완성된 답을 가져오는 일이 아니라,

아이디어
  ↓
코드로 구현
  ↓
실제로 실행
  ↓
이상한 결과 발견
  ↓
로그 / 데이터 / 코드 분석
  ↓
가설 세우기
  ↓
수정하고 다시 학습
  ↺

이 과정을 반복하면서 **"왜 이렇게 됐는가?"**를 알아가는 일에 가깝습니다. 🧠

I'm a middle school programmer who loves directly understanding and implementing how AI is built.

I've completed courses in Python basics, algorithms, advanced algorithms, data analysis, and machine learning. Currently, I'm learning C.

I'm particularly interested in building Korean LLMs, so I continuously expand projects where I implement model architectures in code, prepare data, run training, and analyze results.

For me, development isn't about getting finished answers—it's about repeating this cycle:

Idea
  ↓
Implement in Code
  ↓
Actually Run It
  ↓
Find Strange Results
  ↓
Analyze Logs / Data / Code
  ↓
Form Hypotheses
  ↓
Fix and Retrain
  ↺

And through this, I learn to ask "Why did this happen?" 🧠

Build → Train → Analyze → Improve → Repeat

약 1.09B 파라미터 규모의 한국어 LLM을 직접 개발하고 학습시키는 프로젝트입니다.

단순히 모델을 불러와 사용하는 프로젝트가 아니라, 모델과 학습 파이프라인 자체를 이해하고 개선하는 것을 목표로 하고 있습니다.

A project where I directly develop and train a Korean LLM with ~1.09B parameters.

This isn't just about using a pre-built model. The goal is to understand and improve the model architecture and training pipeline itself.

모델을 학습시키다 보면 항상 멋진 결과만 나오지는 않습니다.

최근에는 학습 중 모델이 시스템 프롬프트를 반복해서 출력하는 문제를 직접 경험했고, 설정을 되돌리고 기존 체크포인트를 정리한 뒤 다시 학습하면서 원인을 추적하고 있습니다.

현재는 50,000 step 규모의 학습을 목표로 다시 진행하면서, 중간 결과를 저장하고 특정 구간의 출력과 로그를 비교하는 방식으로 실험하고 있습니다.

저는 이런 과정도 프로젝트의 중요한 일부라고 생각합니다.

실패한 학습도 데이터입니다.

결과가 이상하다면 실패를 지우는 것보다, 왜 실패했는지 기록하는 쪽을 선택합니다.

Training models doesn't always produce great results.

Recently, I experienced a problem where the model kept repeating system prompts during training. I reverted settings, cleaned up checkpoints, and retrained while tracking the root cause.

Currently, I'm working toward 50,000-step training, saving intermediate results and comparing outputs and logs across specific ranges.

I believe these failures are an important part of the project itself.

Failed training is also data.

When results are wrong, I choose to record why it failed rather than delete the failure.

• Korean-llm-v1 : 첫 한국어 LLM 프로젝트
• Korean-llm-v2 : 구현과 실험 확장
• Korean-llm-v3 : PyTorch 기반 개선
• Korean-llm-v4 : 약 1.09B 규모로 확장한 현재 메인 프로젝트

각 버전은 단순한 새 폴더가 아니라, 이전 버전에서 생긴 문제와 배운 점을 다음 버전으로 가져가는 실험 기록의 연속입니다.

• Korean-llm-v1 : First Korean LLM project
• Korean-llm-v2 : Expanded implementation and experiments
• Korean-llm-v3 : PyTorch-based improvements
• Korean-llm-v4 : Current main project scaled to ~1.09B

Each version isn't just a new folder—it's a continuous record of experiments, carrying forward problems and lessons from previous versions.

사용하는 도구는 계속 바뀌고 있습니다. 중요한 건 도구의 개수보다 직접 이해하고 사용할 수 있는가라고 생각합니다.

The tools I use keep evolving. What matters isn't the number of tools but understanding and actually using them myself.

저는 AI를 배울 때 설명만 읽기보다 직접 구현하고 결과를 관찰하는 방식을 선호합니다.

예를 들어 어떤 설정이 모델에 영향을 주는지 궁금하면,

1. 현재 설정으로 학습합니다.
2. 로그와 생성 결과를 저장합니다.
3. 하나의 변수만 바꿉니다.
4. 다시 학습합니다.
5. 두 실험을 비교합니다.
6. 차이가 왜 생겼는지 가설을 세웁니다.

이렇게 작은 실험을 쌓아가면서 모델을 이해하려고 합니다.

When learning AI, I prefer implementing directly and observing results over just reading explanations.

For example, if I'm curious how a setting affects the model:

1. Train with the current setting.
2. Save logs and generation results.
3. Change only one variable.
4. Train again.
5. Compare the two experiments.
6. Form hypotheses about why the difference occurred.

By accumulating these small experiments, I try to understand the model.

• 모델 크기가 커지면 한국어 생성 품질은 어떻게 달라질까?
• 학습 초반과 후반의 출력은 무엇이 달라질까?
• 데이터의 구성이 모델의 말투와 지식에 어떤 영향을 줄까?
• 학습이 잘 되고 있는지 loss 이외에 어떻게 판단할 수 있을까?
• 추론 속도와 메모리 사용량을 어떻게 줄일 수 있을까?

• How does larger model size affect Korean generation quality?
• What's different between early and late training outputs?
• How does data composition affect the model's voice and knowledge?
• Beyond loss, how can I judge if training is working well?
• How can I reduce inference speed and memory usage?

개념을 배우는 가장 좋은 방법 중 하나는 직접 작은 버전을 만드는 것이라고 생각합니다.

The best way to learn a concept is to build a small version yourself.

나중에 비교할 수 없는 실험은 다시 배울 수 없는 실험이 됩니다. 그래서 학습 과정과 결과를 계속 기록하려고 합니다.

Experiments you can't compare later become experiments you can't learn from. So I keep recording the training process and results.

모델의 이상한 출력이나 실패한 실험도 버리지 않고 원인을 추적합니다.

I don't discard odd model outputs or failed experiments—I trace the root cause.

처음부터 완벽한 시스템을 만들기보다, 지금 되는 것을 기준으로 다음 문제를 해결합니다.

Rather than building a perfect system from scratch, I solve the next problem based on what currently works.

Korean-llm-v4를 실제로 사용할 수 있는 한국어 모델에 최대한 가깝게 발전시키는 것입니다.

그 다음에는 모델 자체뿐 아니라 추론, 평가, 서비스화까지 포함한 AI 시스템 전체를 직접 다뤄보고 싶습니다.

Advancing Korean-llm-v4 to be as close as possible to a usable Korean language model.

After that, I want to directly tackle the entire AI system, not just the model itself, including inference, evaluation, and productionization.

                 ┌───────────────────────┐
                 │     Korean LLM        │
                 │       Korean-llm-v4   │
                 └──────────┬────────────┘
                            │
          ┌─────────────────┼─────────────────┐
          │                 │                 │
          ▼                 ▼                 ▼
     Model / Arch        Data Pipeline      Training
      Transformer         Korean Data       Pretraining
      RoPE                Caching            SFT
      Attention           Processing         Optimization
          │                 │                 │
          └─────────────────┼─────────────────┘
                            ▼
                     Logs & Evaluation
                            │
                            ▼
                        Improvement
                            │
                            └──────↺

이 구조 전체를 하나씩 이해해보는 것이 지금의 가장 큰 공부입니다.

Understanding this entire structure step by step is my greatest learning right now.

Korean-llm-v4 (Main) — ~1.09B Parameter Korean LLM
Korean-llm-v3 — PyTorch Implementation
Korean-llm-v2 — Experiment & Expansion
Korean-llm-v1 — Project Foundation

Repository	Language	Stars
korean-llm-v4	Python
korean-llm-v3	Python
korean-llm-v2	Python
korean-llm-v1	Python

지금은 한국어 LLM 하나를 만드는 데 집중하고 있지만, 최종 목표는 특정 모델 하나에 머무르지 않습니다.

모델의 구조를 이해하고, 데이터를 다루고, 학습을 설계하고, 추론 시스템을 만들고, 실제 사용자가 쓸 수 있는 AI 서비스까지 연결하는 개발자가 되고 싶습니다.

Model
  ↓
Training
  ↓
Evaluation
  ↓
Inference
  ↓
Service
  ↓
Real Users

한 단계씩 올라가면서 직접 만들어보겠습니다. 🚀

Right now I'm focused on building one Korean LLM, but my ultimate goal isn't to stop at a single model.

I want to become a developer who understands model architecture, handles data, designs training, builds inference systems, and connects everything into AI services real users can actually use.

Model
  ↓
Training
  ↓
Evaluation
  ↓
Inference
  ↓
Service
  ↓
Real Users

I'll build this step by step myself. 🚀

현재 메인 프로젝트. 약 1.09B 규모의 한국어 LLM을 개발하고 학습합니다.

Current main project. Developing and training a ~1.09B Korean LLM.

PyTorch 기반 한국어 LLM 구현 및 학습 프로젝트.

PyTorch-based Korean LLM implementation and training project.

초기 구현과 학습 실험을 확장한 프로젝트.

Expanded initial implementation and training experiments.

한국어 LLM 프로젝트의 시작점.

Starting point of the Korean LLM project.

_{Made with Python, curiosity, and a lot of training logs.}

_{Python, 호기심, 그리고 수많은 훈련 로그로 만들어졌습니다.}