feat(ai): 피드백/코칭 RAG 재질의 (L8)#139
Merged
Merged
Conversation
면접 품질 감사 L8. 기존엔 _build_rag_context 가 '마지막 INTERVIEWEE 답변' 하나만 검색해 그 컨텍스트를 세션 전체 채점(종합·패널·직무적합도) + 모든 답변 코칭에 공유 → 마지막 화제로 correctness 편향, 코칭 모범답안이 무관 청크로 경험 날조. - 검색 로직을 _retrieve_context(query, docIds, top_k)로 공용화. - 세션 채점: _session_rag_query(모든 실질 답변, 짧은 확인 제외, 2000자 상한)로 질의 → 마지막 답변 편향 제거(전부 확인형이면 마지막 답변 폴백). - 코칭: _coach_answers 가 (질문+답변) 쌍마다 개별 RAG(top_k=3)로 검색 → 모범답안이 해당 화제 근거에만 걸림. 동시성 세마포어는 그대로. - 실패/무결과/임베더 없음은 기존과 동일하게 '(none)' 폴백. - _session_rag_query 단위 테스트 5건 추가. 전체 305 passed, flake8 clean. 주: 채점/코칭 근거 분포가 바뀌는 변경 — 실제 품질은 라이브 before/after 로 확인 권장. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
The latest updates on your projects. Learn more about Vercel for GitHub.
|
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
변경 사항 (면접 품질 감사 L8 — 최고효과 레버)
문제:
_build_rag_context가 마지막 INTERVIEWEE 답변 하나만 임베딩·검색하고, 그 컨텍스트를 세션 전체 채점(종합·패널 기술평가·직무적합도)과 모든 답변 코칭에 공유. → 마지막 답변이 단답/단일 화제면 나머지 답변의 사실검증·모범답안 근거가 소실 →technical_accuracy마지막 화제 편향, 코칭model_answer가 무관 청크로 경험 날조.수정:
_retrieve_context(query, docIds, top_k, sid)로 공용화._session_rag_query— 모든 실질 INTERVIEWEE 답변(짧은 확인 제외)을 이어붙여(2000자 상한) 질의. 마지막 답변 편향 제거(전부 확인형이면 마지막 답변 폴백)._coach_answers가 (질문+답변) 쌍마다 개별 RAG(top_k=3)로 검색 → 모범답안이 해당 화제 근거에만 걸림. 동시성 세마포어 유지.(none)폴백.검증
_session_rag_query단위 테스트 5건 추가, 305 passed, flake8 clean. 기존 피드백 테스트 회귀 없음.리스크
채점/코칭 근거 분포가 바뀌는 변경(감사에서 medium-risk 표기). 코드상 grounding은 명백히 개선되나, 점수 체감 변화는 라이브 before/after 로 확인 권장. 코칭 RAG 호출이 답변당 1회로 늘지만 top_k=3·세마포어로 제한.
🤖 Generated with Claude Code