# 📌 주말 과제 안내: Airflow 배치 파이프라인 재료 리서치

[ppabam]

✅ 늘상 과제

• 학습기록장 업데이트 https://vim.sunsin.shop

🎯 과제 목표

• Airflow를 이용해 배치 파이프라인을 구축 시 어떤 데이터를 수집할 수 있을지 조사합니다.
• 수집 주기가 Daily에 적합한 공개 데이터셋을 찾아보고, 활용 가능성에 대해 간단히 정리합니다.

📚 과제 내용

아래 항목을 포함하여 리서치 보고서를 작성해 코맨트로 달아 주세요

1. Daily 배치로 수집할 수 있는 데이터 예시 2~3가지

   • 예: 기상 데이터, 환율 정보, 뉴스 헤드라인, 공공기관 API 등 ....

2. 각 데이터에 대해 다음 항목을 정리합니다:

   • 데이터 출처 및 링크
   • 데이터 크기 예상
   • 수집 주기 / 업데이트 주기
   • 제공 포맷 (예: JSON, CSV, XML, API 등)
   • 수집 및 자동화 난이도

3. Airflow로 어떻게 활용할 수 있을지 간단한 아이디어

   • 예: DAG 설계 방향, 저장소 (DB or 파일), 알림 설정 등

[sgcho0907]

리서치 보고서

분석목표

• 서울시내 대중교통 경로우대 이용자들의 행동패턴 분석 (버스 또는 지하철)
  그들은 출근시간에 얼마나 많을까

Daily 수집 가능 데이터

1. 국토교통부 일일 정류장별 이용량 데이터, 공공데이터포털 - 버스
2. 국토교통부 일일 노선별 이용량 데이터, 공공데이터포털 - 버스
3. 서울시 대중교통 이용패턴 정보, 서울시열린데이터광장 - 버스, 지하철
4. 서울시 지하철호선별 역별 승하차 인원 정보, 서울시열린데이터광장 - 지하철

각 데이터별 항목 정리

1. 국토교통부 일일 정류장별 이용량 데이터, 공공데이터포털

• 데이터 크기 예상: 기간에 따라 다를 것으로 예상...
• 갱신 주기: 매일
• 제공 포맷: JSON+XML
• 수집 및 자동화 난이도: 정제가 반드시 필요

2. 국토교통부 일일 노선별 이용량 데이터, 공공데이터포털

• 데이터 크기 예상: 기간에 따라 다를 것으로 예상...
• 갱신 주기: 매일
• 제공 포맷: JSON+XML
• 수집 및 자동화 난이도: 정제가 반드시 필요

3. 서울시 대중교통 이용패턴 정보, 서울시열린데이터광장

• 데이터 크기 예상: 용량 1G 미만, csv파일 기준 약 252,300 row x 7 col (2021.11.30 ~ 2025.04.09)
• 갱신 주기: 매일
• 제공 포맷: CSV, JSON
• 수집 및 자동화 난이도: 수집 및 가공 비교적 쉬움. 자동화 필요 수준 낮음(엑셀로 전체 기간 한번에 작업 가능), 필요 시 파티셔닝

4. 서울시 지하철호선별 역별 승하차 인원 정보, 서울시열린데이터광장

• 데이터 크기 예상: 용량 1G 미만, csv파일 기준 약 700,000 row x 6 col (2021.11.30 ~ 2025.04.09)
• 갱신 주기: 매일
• 제공 포맷: CSV, JSON
• 수집 및 자동화 난이도: 수집 및 가공 비교적 쉬움. 자동화 필요 수준 낮음(엑셀로 전체 기간 한번에 작업 가능), 필요 시 파티셔닝

Airflow로 어떻게 활용할 수 있을지 간단한 아이디어

1,2. 국토교통부 '일일 정류장별 이용량 데이터'와 국토교통부 '일일 노선별 이용량 데이터'

• 함께 제공되는 교통약자 이용량 조회를 활용하여 전체 이용량과 교통약자의 이용량을 비교분석한다
• 각 데이터를 운행일자, 시도코드, 시군구코드, 시간대 등 동일한 파라미터에서 한 파일로 합치며(merge), 승차인원수와 하차인원수를 '전체'와 '교통약자' 로 구분되는 열을 추가한다.
• merge된 파일을 운행일자(일일 단위), 이용자구분(전체, 교통약자)로 Parititioning한다

3,4 서울시 대중교통 이용패턴 정보, 서울시 지하철호선별 역별 승하차 인원 정보

• CSV로 제공되므로, 최대한 엑셀 작업으로 정제 후 Parquet나 DataFrame으로 재가공한다.
• 국토교통부 데이터 패턴분석을 보조하는 데이터로 활용한다

기타 - 맛보기...

• 서울시 대중교통 이용패턴 정보: 요일별 지하철 이용 패턴은 일반이용자와 경로우대이용자가 비슷하다. 대체 왜?
  
• 서울시 대중교통 이용패턴 정보: 패턴별 전체 평균 비중은 경로우대이용자는 일반이용자와 매우 다르다
• 일반이용자는 지하철과 버스의 비중이 2 : 1 정도인 반면, 경로우대이용자는 8.6 : 1 정도까지 벌어진다.
• 버스 승하차 인원수 데이터를 기반으로 해당 패턴을 적용하여 지하철 승하차 인원수 데이터를 추정할 예정임.
  
  
  

[stundrg]

Daily 배치 수집 데이터 리서치 과제 (내용 수정 및 추가 예정)

• 큰 틀 작성 후 수정할 예정입니다. ( 아예 바뀔수도... )

📌 주제 제안: 주가 변동 데이터 (Stock Market Data)

---

📈 1. 주가 변동 데이터

• 출처 및 링크

  • 한국거래소(KRX)
  • 공공데이터포털 주가 API (추가 예정)
  • Yahoo Finance (비공식)

• 예상 데이터 크기

  • 약 1~2MB/day (종목 수 × 필드 수 기준)

• 수집 / 업데이트 주기

  • 매일 주식 시장 마감 이후 (~오후 5시 기준)

• 제공 포맷

  • JSON / CSV / XML (API 및 크롤링 방식 다양)

• 수집 및 자동화 난이도

  • 중간 수준 (공공 API는 인증키 필요, 비공식 API는 구조 변경 리스크 존재)

• Airflow 활용 아이디어

  • DAG: 매일 17시 실행
  • Task 1: API 또는 웹에서 데이터 수집
  • Task 2: 포맷 정제 및 변환 (ex. JSON → CSV)
  • Task 3: GCS 저장 → BigQuery 적재
  • Task 4: 알림 (Slack 또는 Email)
  • 💡 확장 가능: 뉴스와 결합하여 급등락 요인 분석, 산업별 트렌드 탐지 등

---

📑 2. 관련 보조 데이터셋 (함께 수집하면 좋은 데이터)

---

📰 A. 뉴스 헤드라인 (특히 경제/기업 뉴스)

• 출처: NewsAPI, 네이버 뉴스 OpenAPI
• 데이터 크기: 200~500KB/day
• 수집 주기: 하루 수십 회 → Daily Top 기사만 수집
• 활용 예시:
  • 주가 급등 종목 관련 뉴스 자동 탐지
  • 키워드와 종목 연관 분석 (예: "AI"라는 키워드 등장 시 AI 관련 주가 동향 분석)
  • 이벤트 기반 이상 탐지

---

💱 B. 환율 정보 (USD/KRW 등)

• 출처: 한국은행 외환 API
• 데이터 크기: 수십 KB/day
• 수집 주기: 매일 (10시 ~ 12시 사이)
• 활용 예시:
  • 외환 변동이 주가에 미치는 영향 분석
  • 수출입 관련 종목과 연계한 시계열 회귀 분석

---

🏭 C. 산업별 지수 (섹터 데이터)

• 출처: KRX 산업군 지수 / ETF 종목 등
• 데이터 크기: 약 500KB/day
• 수집 주기: Daily
• 활용 예시:
  • 종목별 트렌드 뿐 아니라 산업 전체 흐름 분석
  • 특정 산업군 급등 → 하위 종목 알림 트리거 생성

---

🧠 정리

항목	출처	활용 목적
주가 데이터	KRX, Yahoo	종목별 가격/변동 수집 (핵심)
뉴스 헤드라인	NewsAPI, 네이버	이슈 감지, 키워드 분석
환율 정보	한국은행	수출입 종목 영향 분석
산업별 지수	KRX	시장 흐름 / 산업 비교 분석

---

[vhzkclq0705]

날씨와 음악의 상관관계 분석

🎯 분석 목표

날씨 및 기온에 따라 사람들이 어떤 유형의 음악을 즐겨 듣는지 분석
(특정 장르에 국한된 것이 아닌, BPM 위주로 신나는 곡인지 아닌지 판별)

🗒️ 요약

• 일별 날씨 데이터 수집
• 일별 Top10 음악 데이터 수집
• 날씨와 음악 데이터에서 원하는 정보 추출 후 적재
• 일별 날씨와 음악 데이터를 통한 상관관계 분석

📚 내용

수집 데이터 목록

1. 공공 데이터 포털 - 기상청 단기예보 조회서비스 API

특정 일자의 기상 데이터

• 링크: https://www.data.go.kr/tcs/dss/selectApiDataDetailView.do?publicDataPk=15084084
• 크기 예상: 하루 기준 약 80KB
• 수집 주기: daily
• 제공 포맷: XML, JSON
• 수집 및 자동화 난이도: 쉬움

2. Spotify - 한국 Top 10 음악

특정 일자의 스트리밍 순위 (Selenium을 통한 크롤링으로 track_id를 얻는 선작업 필요)

• 링크: https://charts.spotify.com/charts/view/regional-kr-daily/2025-04-10

3. Spotify - 음악의 감정적 통계 API

특정 곡의 감정 통계 데이터

• 링크: https://developer.spotify.com/documentation/web-api/reference/get-audio-features
• 크기 예상: 하루 기준 약 100KB (10곡)
• 수집 주기: daily
• 제공 포맷: JSON
• 수집 및 자동화 난이도: 2번 작업을 먼저 해야하고, 해당 작업에서 Selenium 및 WebDriver를 사용해야 하기 때문에 조금 어려움

Airflow 활용 아이디어

DAG 설계 방향

총 3개의 DAG를 통해 각 작업 병렬 처리 예정

• fetch_weather_dag

일일 날씨 정보를 받아오는 DAG

API로 받아온 JSON 데이터를 parquet로 변환하여 GCS 버킷에 저장
start >> fetch_weather >> load_data >> end

• fetch_spotify_dag

일일 Top 10 스트리밍 곡 정보를 받아오는 DAG

크롤링하여 받아온 track_id를 통해 곡 정보 API 호출, 결과 JSON 데이터를 parquet로 변환하여 GCS 버킷에 저장
start >> crawl_top10_songs >> fetch_audio_features >> load_data >> end

• meta_dag

날씨와 곡 정보에서 필요한 정보만을 저장하는 DAG

필요한 정보 추출 후, 날짜 컬럼을 추가하여 parquet로 저장 (날짜별 파티셔닝)
start >> meta >> end

DB

• GCS 버킷 이용
• 예상 meta_data DB 스키마

속성	정의
dt	날짜
location	위치(서울)
weather_info	날씨 정보
avg_temp	평균 기온
avg_song_bpm	Top 10 곡 평균 BPM
avg_song_danceability	Top 10 곡 평균 danceability
avg_song_energy	Top 10 곡 평균 energy

분석 결과 예시

비가 오는 날엔 Top 10 곡의 평균 BPM, danceability, energy가 맑은 날에 비해 상대적으로 낮았다.
-> 날씨가 사람들이 듣는 음악에 영향을 미친다.

[Jacob-53]

리서치 보고서

1. Daily 배치로 수집할 수 있는 데이터 예시 2~3가지

환율 API (한국수출입은행)

• 데이터: 기준환율, 매매 기준율 등 전체 통화 (전처리 포함)

• 활용 통화: 전체 수집

• DB 저장 필드: 통화코드, 기준일, 환율, 등락률 등

뉴스 API (네이버 뉴스 Open API)

• 대상 키워드: "환율" 키워드 검색

• 필터링 대상 통화: ['달러', '유로화', '엔화'] 관련 기사만 연관 처리

• 수집 필드: 제목, URL, 발행일, 헤드라인

• 처리 방식: 키워드 추출

2. 데이터 정리

데이터 출처 및 링크

• 한국수출입은행 환율 API
• 네이버 뉴스 API

데이터 크기 예상

환율 데이터 (23개국 기준) - 일간/연간 예상 데이터 크기

1. 1일당 예상

항목	예상량
통화 개수	23개
필드 수	약 5개 (기준일, 통화코드, 기준환율, 전일비, 등락률 등)
평균 JSON/레코드 크기	약 300~500 bytes
총 1일 데이터 크기	약 10KB 이하

---

2. 1년치 (평일 기준 약 250일)

계산	값
10KB/day × 250일	2.5MB 예상
+ 인덱스, 메타데이터	여유 잡아도 5MB 이하

---

뉴스 데이터

1. 1일당 예상

항목	예상
대상	‘환율’ 관련 뉴스 중 USD, EUR, JPY 연관만 필터
예상 수집량	약 10~30건/일 (보수적으로)
1건당 저장 크기	0.5~1KB (title, url, published_at, sentiment, keywords)
1일당 총량	약 10~30KB
1년치	3~10MB 정도

---

종합 1년치 예상

항목	용량
환율 데이터	~5MB
뉴스 데이터	~10MB
감성/키워드 분석 결과	~3MB
합계	약 15~20MB 수준

수집 주기 / 업데이트 주기

• 장 종료 후 그리고 뉴스 기사가 어느정도 나온 시각인 매 월요일 부터 금요일 오후 6시

제공 포맷

• API (json)

수집 및 자동화 난이도

• api 수집으로 난이도는 어렵지 않음 단순 전처리 과정을 거친다면 자동화 난이도도 어렵지 않음
• 데이터 분석을 위한 재가공 처리시 ai 모델 혹은 다른 라이브러리 사용시에는 난이도가 조금 있을 것으로 예상

3. Airflow로 어떻게 활용할 수 있을지 간단한 아이디어

• Dag 설계 방향

[GCP (Airflow)]
    │
    ↓
[환율 API] → [전처리]
    ↓
[뉴스 API] → [전처리 + 키워드 분석]   → [NeonDB (PostgreSQL) OR Parquet on GS]
                                              ↓
                                [디스코드 알림 (요약 리포트 발송)]

# API 수집단계 그리고 추출 처리단계에서 병렬화 처리 시 dag 변경 필요

fetch_exchange_data   - 환율 API 수집
        ↓
fetch_news_data - 뉴스 API 수집
        ↓
validate_fetched_data - 수집된 데이터 유효성 검사
        ↓
clean_and_save_raw_data - 전처리 (pandas/regex)
        ↓
keyword_extraction - 키워드 추출
        ↓
join_exchange_with_news - 뉴스 키워드와 환율 비교 연동 (USD, EUR, JPY만)
        ↓
save_to_db_or_gcs - NeonDB 저장 or Parquet 저장 (GCS)
        ↓
send_discord_summary - Discord 알림 전송

• 저장소 구성 (NeonDB OR parquet on GS)

• DB 타입: PostgreSQL (NeonDB) 혹은 GCS 버켓

• 테이블 스키마

  • exchange_rates: "cur_unit"(pk), data_date(생성필요), "cur_nm", "deal_bas_r"

| 항목              | 타입      | 설명                                       
|------------------|----------|--------------------
| CUR_UNIT         | String   | 통화코드                          
| CUR_NM           | String   | 국가/통화명                       
| TTB              | String   | 전신환(송금) 받으실 때             
| TTS              | String   | 전신환(송금) 보내실 때              
| DEAL_BAS_R       | String   | 매매 기준율                      
| BKPR             | String   | 장부가격                                   
| YY_EFEE_R        | String   | 년환가료율                           
| TEN_DD_EFEE_R    | String   | 10일환가료율                     
| KFTC_DEAL_BAS_R  | String   | 서울외국환중개 매매기준율 
| KFTC_BKPR        | String   | 서울외국환중개 장부가격            

• news_articles : "hash"(pk) url을 프라이머리 키로잡기는 주소가 너무 길기 때문에 주소의 해시 값으로 설정 하거나 serial 로 설정 ,
  channel, lastBuildDate, title, originallink, description, pubDate

| 요소          | 타입      | 설명 
|--------------|----------|------
| channel      | -        | 검색 결과를 포함하는 컨테이너. channel 요소의 하위 요소인 title, link, description은 RSS에서 사용하는 정보이며, 검색 결과와는 상관이 없습니다.
| lastBuildDate| dateTime | 검색 결과를 생성한 시간
| total       | Integer   | 총 검색 결과 개수 
| start       | Integer   | 검색 시작 위치 
| display     | Integer   | 한 번에 표시할 검색 결과 개수 
| item        | -         | 개별 검색 결과. JSON 형식의 결괏값에서는 items 속성의 JSON 배열로 개별 검색 결과를 반환합니다. 
| title       | String    | 뉴스 기사의 제목. 제목에서 검색어와 일치하는 부분은 `<b>` 태그로 감싸져 있습니다. 
| originallink| String    | 뉴스 기사 원문의 URL 
| link        | String    | 뉴스 기사의 네이버 뉴스 URL. 네이버에 제공되지 않은 기사라면 기사 원문의 URL을 반환합니다. 
| description | String    | 뉴스 기사의 내용을 요약한 패시지 정보. 패시지 정보에서 검색어와 일치하는 부분은 `<b>` 태그로 감싸져 있습니다. 
|pubDate     | dateTime   | 뉴스 기사가 네이버에 제공된 시간. 네이버에 제공되지 않은 기사라면 기사 원문이 제공된 시간을 반환합니다. 

• daily_summary : data_date, summary_text, keyword_list, link_list

• 혹은 용량이 작을것으로 예상이 되니 Parquet 처리 하여 사용 할 수도

• Streamlit 대시보드

• 구성 페이지

  • 대시보드 홈: 날짜별 요약

  • 통화별 환율 추이 (선형 차트)

  • 뉴스 키워드 트렌드 (워드클라우드/막대 그래프)

  • 뉴스 감성 변화 추이 (Pie or Line chart)

  • 필터: 날짜, 통화, 감성

  • 추가 작성 분석 보고서 페이지

• 자동 연동: Airflow DAG 종료 후, Streamlit이 DB에서 자동 조회 → 최신 데이터 반영됨

• 디스코드 자동 리포트 전송

• 전송 시점: DAG 완료 시

• 전송 내용 (예시):

 [2025-04-14] 환율 & 뉴스 요약

💱 환율 요약
- USD: 1422.0원 (-0.36%)
- EUR: 1615.32원 (-0.12%)
- JPY: 9.91원 (-0.16%)

뉴스 키워드 (TF-IDF 기준)
- 셀 아메리카, 약세, 상호관세, 트럼프, 반도체

주요 기사
1. [달러 약세로 환율 1,420원대...코스피·코스닥 상승](https://www.ytn.co.kr/_ln/0102_202504141554204529)
2. [美증시 반등에 코스피 1%대 상승세…환율 20원 급락](https://www.hankyung.com/article/2025041489216)

• 가능한 주제

✅ 1. 여론 정서 흐름 분석: 뉴스 감성과 환율의 상관 관계

“시장의 심리적 흐름은 환율 움직임에 어떤 영향을 줄까?”

주요 포인트:

• 뉴스 제목/요약 기반 감성 분석 (긍정/부정/중립)

• ‘불안’, ‘위기’, ‘긴축’ 등 주요 부정 키워드 빈도 추적

• 환율 변동률과 감성 평균 점수 비교 → 시계열 상관 분석

• 급등/급락 시점에 뉴스 정서가 어떻게 달랐는지 확인

활용 AI:

• FinBERT, KoBERT, rule-based 감성 사전

---

✅ 2. 경제 이슈 키워드 트래킹

“뉴스에 자주 나오는 이슈 키워드가 환율에 어떤 영향을 주나?”

주요 포인트:

• 뉴스 본문 or 요약에서 키워드 추출 (TF-IDF or KeyBERT)

• ‘금리’, ‘중국’, ‘연준’, ‘무역전쟁’ 등의 빈도 시계열 추이

• 환율 변동과 키워드 등장 시점 비교 → 상관관계 분석

• 키워드별 ‘감성 변화’도 함께 추적

---

✅ 3. 환율 트렌드 + 키워드 클러스터링 분석

“환율 급변한 날에 뉴스 키워드는 어떤 패턴을 보이는가?”

주요 포인트:

• 환율 변화율 기준 급등/급락 날짜 선정

• 해당 날짜의 뉴스 키워드 추출 → Clustering (KMeans 등)

• 유사한 키워드 패턴이 반복되는지 군집 분석

• 클러스터별 감성 스코어 평균도 함께 비교

---

✅ 4. 환율 뉴스 통계 대시보드 (EDA 중심)

“최근 환율과 관련된 뉴스 상황을 시각적으로 요약하자”

주요 포인트:

• 날짜별 뉴스 수량 변화

• 통화별 환율 변화와 뉴스 빈도 비교

• 특정 키워드 출현량, 감성 평균 트렌드 시각화

• 분석가가 날짜/통화/키워드 기준으로 탐색 가능

---

✅ 5. 감성/키워드 기반 환율 변동 예측 시도 (ML 기초)

• 입력: 뉴스 감성 평균 + 주요 키워드 출현 빈도

• 출력: 다음날 환율 변동률 (분류 or 회귀)

• 모델: LightGBM, Logistic Regression, 간단한 LSTM

[jiwon1118]

분석 주제

의료기관 정보와 교통 정보를 통해 합리적 위치의 응급 의료 시설 추천,제공을 위한 분석

1. 수집 데이터 목록

전국 응급의료기관 정보 API🚑

국립중앙의료원_전국 응급의료기관 정보 조회 서비스로 응급실 가용 병상이나 응급 의료기관 목록, 위치, 기본정보를 지역별로 알 수 있다.

• 데이터 출처 및 링크
  공공데이터 포털
  https://www.data.go.kr/data/15000563/openapi.do#tab_layer_detail_function
• 데이터 크기 예상
  검색 지역별로 다를 것으로 예상 (지역별 의료 기관 수)
• 수집 주기 / 업데이트 주기
  필요, 요청 시 수집 (혹은 1일 1회)
• 제공 포맷 (예: JSON, CSV, XML, API 등)
  XML, API
• 수집 및 자동화 난이도
  가용 병상 수나 병원 위치, 병원 정보 수집만을 위한 거라 키 발급 후 GET 방식으로 호출 하여 수집 -> 난이도는 쉬울 거 같음
  XML 파싱 필요

교통 소통 정보🚗

고속도로 및 국도 별 실시간 소통정보 데이터와 API를 제공

• 데이터 출처 및 링크
  국가교통 정보센터
  https://www.its.go.kr/opendata/opendataList?service=traffic
• 데이터 크기 예상
  하루 데이터 기준 csv 파일이 5GB 정도 나옴
• 수집 주기 / 업데이트 주기
  일단 집계주기는 5분 간격
• 제공 포맷 (예: JSON, CSV, XML, API 등)
  CSV, API
• 수집 및 자동화 난이도
  실시간성, 데이터량이 많아 일정 수준의 저장공간/데이터 처리 고려 필요
  도로이름, 시작, 종료의 구간ID를 검색하면 평균 통행 속도와 구간을 지나는데 걸리는 시간으로 알려주는 것이기 때문에 도로 상황에 대해서는 기준을 직접 만들어서 자동화 시켜줘야 함 -> 난이도가 높을 것으로 예상

2. Airflow로 어떻게 활용할 수 있을지 간단한 아이디어

수집 및 저장

• 응급의료기관 정보: 1일 1회, 병원 목록/위치/가용 병상 정보 수집
• 교통 소통 정보: 5분~30분 간격, 주요 지역 또는 병원 반경만 선택 수집 가능
  -> 수집 데이터는 DB 혹은 Cloud Storage 에 저장

시간 기반 패턴 분석

• 병원별 시간대/요일별 평균 가용 병상 수

• 병상이 항상 많거나 안정적인 병원 파악 → "우선 방문 가능 병원" 추천

• 최근 일주일간 급격한 병상 수 변화 감지 → 지역 유행 질병 조기 탐지 가능성

• dag 예상
  병원 데이터 로드 -> 병원별 시간대/요일별 병상 평균 계산 -> 병상 수 급격한 변화 감지 -> 시각화 및 리포트 생성

위치 기반 병원 추천

• 병상 수 + 교통 정체도 반영하여 가까우면서 진료 가능한 병원 추천 (예: "가장 빠르게 도달 가능하고, 병상이 많은 응급실 TOP 3")

• dag 예상
  최신 병상 데이터 가져오기 -> 현재 교통 상황 데이터 가져오기 -> 위치 + 병상 + 교통 고려하여 병원 순위 계산 -> 추천 리스트 저장

추가

• streamlit을 통해 지도나 병원 정보도 같이 보여준다면 더욱 효과적 일 듯

[wminhyuk]

📝 Airflow 프로젝트 계획안

주제: BABIP 이상 징후 탐지 자동화 시스템

🎯 목표

• 타자의 BABIP 수치를 일일 단위로 분석하여, 비정상적인 변동이 감지된 선수를 자동 탐지
• Airflow로 데이터 수집부터 이상치 탐지, 리포트 전송까지 자동화

🗂️ 데이터 구성

• 데이터 출처 : Statiz 웹 크롤링
• 수집 데이터 : 선수별 경기 기록 - 타수(AB), 안타(H), 홈런(HR), 삼진(K), 희생플라이(SF) 등
• BABIP 계산식 : BABIP = (H - HR) / (AB - K - HR + SF)
• 이상치 탐지 : Z-Score 방식: abs(z) > 2.0 또는 이동 평균 ± 표준편차

✅ dag 요약(예시)

[DAG: daily_babip_anomaly_detector.py]
├── fetch_player_stats ✅ 선수별 경기 기록 수집 (Statiz or MLB API)
├── calculate_babip ✅ BABIP 계산 (타수, 안타 등 기반)
├── detect_babip_anomalies ✅ Z-score 기반 이상 징후 탐지
├── save_anomaly_report ✅ 이상치 리포트 CSV 저장 (선택)
└── send_message_alert ✅ 디스코드 메시지로 알림 전송

🔔 활용 시나리오 예

• 매일 DAG 실행 → 경기 결과 반영
• 이상징후 감지 시 메시지 전송(10경기 단위)

예시 메시지: 이정후 .455 → +2.3σ (최근 10경기) → "성적 하락 주의!"

✅ 향후 확장 아이디어

• BABIP vs 예상 타율(xBA) 비교 분석
• 리그 평균과 선수 고유의 통산 BABIP 반영 비중 여부 결정
• 투수의 BABIP도 별도 모니터링 (수비력 분석 가능)

[lucas-hub12]

📊 리서치 보고서

주제: 트위터 급등 단어와 테슬라 주식 가격의 상관관계 분석을 통한 자동 알림 시스템 구축

---

1. 🎯 프로젝트 목표

• 트위터에서 급증하는 단어가 주가에 미치는 영향을 분석
• 주가 상승 유발 키워드를 일 단위로 감지
• 유의미한 키워드가 급등하면 Discord 알림 전송 → 주식 매도/매수 타이밍 보조

---

2. ✅ 수집 데이터 요약

① 트위터 키워드 데이터

• 출처 및 링크:

  • 공식: Twitter API v2
  • 대안: snscrape (GitHub)
  • 참고: Octoparse 트위터 크롤링 가이드

• 데이터 크기 예상: 하루 수천~수만 건 (200MB 내외, JSON 기준)

• 수집 주기: Daily 기준 (미국 동부시간)

• 포맷: JSON

• 수집 난이도: 중

  • API: 인증 필요, 제한 있음
  • snscrape: 인증 불필요, 비공식 도구로 주의 필요

---

② 테슬라 주가 데이터 (TSLA)

• 출처 및 링크:

  • yfinance 라이브러리
  • Kaggle TSLA 데이터셋 (2000~2025)

• 데이터 크기 예상: 약 1 row/day (전체 약 400kB)

• 수집 주기: Daily (미국장 마감 후)

• 포맷: CSV, JSON, pandas DataFrame

• 수집 난이도: 낮음 (yfinance는 API 없이도 호출 가능)

---

3. 📈 분석 방법

① 1단계: 과거 데이터 기반 상관 분석

• 목표: 트윗 급등 키워드가 다음 날 주가에 영향을 주는지 입증
• 방법:
  • 하루 단위 TF / 변화율 계산
  • 다음 날 시가/종가 기준 주가 등락률 비교
  • 상관계수, 감성 점수, 빈도차 기반 키워드 추출

---

② 2단계: 실시간 감지 자동화

• 수집 주기: 일 단위 트윗 수집
• 감지 로직:
  • 최근 3일 평균 대비 TF 급등률 ≥ 기준값
  • 해당 키워드가 과거 상승 유발 키워드 리스트에 존재
  • 조건 충족 시 Discord에 자동 알림 전송

---

4. 🔧 Airflow 활용 아이디어

• DAG 실행 시간: 매일 KST 오전 10시 (미국장 마감 후)

• 작업 흐름:

  1. 트윗 수집
  2. 키워드 TF 및 변화율 분석
  3. 주가와 병합 → 상관 분석
  4. 주가 상승 유발 키워드 급등 시 → Discord 알림 전송

• 저장소: S3 / PostgreSQL / Parquet

• 알림 채널: Discord Webhook API

---

5. 🛠️ 실행 단계

단계	목표	도구
1	과거 트윗 수집 (Tesla 관련 키워드, 2020~2024)	snscrape
2	테슬라 주가 수집	yfinance
3	TF 변화율 계산 및 시차 상관 분석	pandas, scipy
4	주가 상승 유발 키워드 리스트 도출	numpy, pandas
5	알림 DAG 설계 및 Discord 연결	Airflow, Discord API

---

추가 제안

• streamlit 활용하여 시각화
• 시장 반응 예측 지표 생성
• 정성적 SNS 데이터를 정량 분석 지표로 전환
• 향후 다종목 확장, 감성 분석 고도화 가능

[heejin131]

리서치 보고서

주제

• 기본 주제: 알라딘 Open API를 활용한 일별 베스트셀러 순위 수집 및 트렌드 분석
• 확장 주제: 요일/날씨 데이터와 결합하여 오늘 읽기 좋은 책(장르)을 추천하는 자동화 시스템 구축

데이터 수집

1. 📚 알라딘 Open API – 베스트셀러 도서 정보

• 데이터 출처 및 링크: 알라딘 Open API 공식 문서
  API 예시: https://www.aladin.co.kr/ttb/api/ItemList.aspx?ttbkey=API_KEY&QueryType=Bestseller
  오픈 api 안내 : https://blog.aladin.co.kr/openapi/popup/6695306
  api 신청 : https://www.aladin.co.kr/ttb/wblog_manage.aspx

• 데이터 크기 예상: 총 10KB ~ 300KB 수준 (JSON)
  OpenAPI는 1일 5,000회로 제한

• 수집 주기 / 업데이트 주기: API 기준 하루 1~2회 업데이트
  Daily 배치 수집 적합

• 제공 포맷 : JSON / XML (파라미터로 지정 가능)

• 수집 및 자동화 난이도: 쉬움 (API Key 발급만 받으면 바로 사용 가능)
  요청 파라미터 구조 단순, 장르 필터링도 가능

• Airflow 활용 아이디어:
  태스크: API 호출 → JSON 저장 → GCS 업로드 → BigQuery 적재
  활용: 일간/주간 트렌드 분석, 장르별 Top 도서 변화 시각화
  추가: 도서 순위 급상승 감지 시 Slack/Email 알림 가능

2. 🌦️ OpenWeather API – 실시간 날씨 정보

• 데이터 출처 및 링크: https://openweathermap.org/api

• 데이터 크기 예상: 하루 1회 요청 시 약 3~10KB 수준 (JSON 응답)

• 수집 주기 / 업데이트 주기: 실시간 제공, 1시간 단위까지 가능
  Daily로 요약된 날씨 정보 수집에 적합

• 제공 포맷: JSON (기본 지원)

• 수집 및 자동화 난이도: 쉬움 (무료 가입 후 API Key 발급)
  파라미터에 lang=kr, units=metric 설정 시 한국어/섭씨로 응답

• Airflow 활용 아이디어:
  태스크: 오늘의 날씨 → 추천 장르 선택 조건에 활용

airflow 활용 아이디어

• 일일 베스트셀러 수집 자동화
  오늘 날짜 폴더에 저장 (GCS or 로컬)
  BigQuery에 적재 (테이블: daily_bestsellers)
  활용:누적 데이터를 기준으로 "급상승 도서", "장르별 순위 변화" 분석 가능

• 요일 + 날씨 기반 추천 시스템 연동
  요일 계산 → 요일+날씨 조합으로 장르 매핑
  해당 장르 도서 수집 (알라딘 API)
  활용 : Streamlit으로 시각화

• 슬랙/이메일/노션 자동 알림
  활용 예시:
  "3일 연속 상승 중인 도서 알림"
  "신간 도서 중 리뷰 급증 도서" 알림
  "오늘의 추천 도서 메시지" 슬랙봇 자동 전송
  Airflow Operator:
  SlackWebhookOperator 또는 EmailOperator
  PythonOperator + API로 Notion 블록에 자동 작성도 가능