prompt-review로 AI와의 대화 기록에서 프롬프트 습관을 진단하기
機械翻訳 / Machine-translated
cccskills
9時間前・11分で読める
원문: prompt-reviewでAIとの対話履歴からプロンプトの癖を診断する（cccskills）
스킬 페이지: prompt-review
이 글의 결론
prompt-review를 사용하면, Claude Code나 Cursor 등 10가지 AI 툴에 남은 대화 기록을 바탕으로, 자신의 프롬프트 경향과 기술 이해도, AI 의존도를 일본어 리포트로 받아볼 수 있습니다.
이 글에서는 리포트의 내용, 설치 및 호출 방법, 기간·프로젝트 필터링 방법, 사용 전 확인 사항을 순서대로 설명합니다.
Claude Code에서 다음과 같이 호출하는 것이 대표적인 사용 방법입니다.
/prompt-review 30
스킬은 먼저 내장된 수집 스크립트를 실행하여, 컴퓨터에 저장된 각 AI 툴의 로그를 자동으로 탐색합니다.
발견된 기록에서 최근 30일간 사용자의 프롬프트만 추출하고, 그 내용을 에이전트가 읽어 분석하는 방식입니다.
완료되면 작업 중인 폴더에 reports/prompt-review-YYYY-MM-DD.md라는 일본어 리포트가 생성되고, 해당 경로가 안내됩니다.
리포트 첫 부분은 감지된 툴과 메시지 수를 요약한 데이터 소스 요약입니다.
이어서 프로젝트별 요약에는 프로젝트별 메시지 수, 사용한 툴, 작업 내용의 한 줄 요약이 나열됩니다.
그 다음으로 아래 관점별 분석이 이어지는 구성입니다.
| 관점 | 리포트에 기재되는 내용 |
|---|---|
| 기술적 이해도 맵 | 언급한 기술을 「숙지」「기본 이해」「학습 중/불명확」의 3단계로 분류 |
| 프롬프팅 패턴 | 효과적인 작성 방식, 개선 가능한 작성 방식, 짧은 승인 빈도나 한국어·영어 혼용 등의 습관 |
| AI 의존도 | 방침을 스스로 결정하는지, 방침부터 AI에게 맡기는지. 디버깅이나 상황 확인 시 의존 방식 |
| 성장 궤적 | 시계열로 본 프롬프트 구체성의 변화, 새로 사용하기 시작한 기술, 반복되는 과제 |
| 횡단 경향 | 잘하는·잘 못하는 영역, 프로젝트 종류별 차이, 툴 사용 구분 |
| 시크릿 경고 | 기록에 남은 API 키 등을 마스킹하여 목록화하고, 재발급 권고 |
모든 관점에, 실제 프롬프트를 짧게 발췌한 인용이 근거로 첨부됩니다.
추정에 해당하는 부분은 「~으로 추정됩니다」로 명확히 구분하여 기재됩니다.
데이터가 부족한 관점에는 「데이터 부족으로 분석할 수 없었습니다」라고 솔직하게 기재하는 것이 원칙입니다.
prompt-review는 AI에게 요청하는 방식을 자신의 기록에서 돌아보기 위한 스킬입니다.
평소에는 그냥 흘러가는 대화를, 기술 이해도·프롬프팅 패턴·AI 의존도라는 세 가지 축으로 다시 읽을 수 있습니다.
수집 스크립트가 지원하는 툴은 다음 10가지입니다.
여러 툴을 병용하고 있으면, 감지된 것들을 모아서 분석합니다.
어떤 정보가 어떤 툴에서 왔는지는 「(Claude Code)」와 같이 괄호로 표시되므로, 툴별 사용 방식의 차이도 파악할 수 있습니다.
각 툴의 로그 저장 위치와 형식은 내장된 references/data-sources.md에 정리되어 있습니다.
기술적 이해도는, 프롬프트의 표현 방식을 단서로 분류됩니다.
명령형으로 구체적인 구현 방침까지 지시하는 기술은 「숙지」입니다.
「~해 주세요」처럼 개념명만 전달하는 기술은 「기본 이해」, 「~가 뭐예요?」「잘 안 됩니다」처럼 묻는 기술은 「학습 중/불명확」에 해당합니다.
AI 의존도에서는, 방침을 스스로 결정하고 구현만 맡기는지, 방침 결정부터 AI에게 위임하는지를 구분합니다.
디버깅 시 의존 방식이나, 「상황 확인해 줘」와 같은 요청 빈도도 분석 대상입니다.
Claude Code는 「~할까요?」라고 확인을 요청하는 경우가 많아, 「y」「진행해」「부탁해요」와 같은 답변이 기록에 많이 남습니다.
이 스킬이 이해도·작성 방식 분석에서 제외하는 것은, 대략 20자 이하의 이런 긍정 응답이나 감사 인사만 담긴 메시지입니다.
반면, 「30px로 해 주세요」「async로」처럼 짧아도 구체적인 지시를 포함한 메시지는 남습니다.
따라서 평가의 기반이 되는 것은 내용 있는 요청입니다.
수집 스크립트는, 프롬프트에 포함된 API 키·토큰·비밀번호·연결 문자열 등도 감지합니다.
발견된 경우 데이터 소스 요약 바로 다음에 경고란이 생성되며, 키 재발급이나 무효화가 권고됩니다.
리포트에 표시되는 값은 마스킹 처리되어, 평문으로 출력되지 않습니다.
터미널에서 다음 명령어를 실행하면 스킬을 추가할 수 있습니다.
실행 시, Claude Code나 Codex 등 설치할 에이전트를 선택할 수 있습니다.
npx skills add https://github.com/tokoroten/prompt-review --skill prompt-review
에이전트에게 설치를 요청하는 경우, 다음 문구를 그대로 전달해 주세요.
내용을 먼저 확인하도록 요청하는 문구이므로, 내장 스크립트의 처리를 확인한 후 배치할 수 있습니다.
次の Agent Skill をインストールしてください。
https://github.com/tokoroten/prompt-review/tree/main/.claude/skills/prompt-review
まず SKILL.md と付属ファイルの中身を確認し、不審な処理（外部への送信、認証情報の読み取りなど）がないことを確かめてから、Claude Code なら ~/.claude/skills/prompt-review/、Codex なら ~/.agents/skills/prompt-review/ に配置してください。
저장 위치는 사용하는 에이전트와 적용 범위에 따라 결정됩니다.
| 에이전트 | 모든 프로젝트에서 사용 | 특정 프로젝트에서만 사용 |
|---|---|---|
| Claude Code | ~/.claude/skills/ | 프로젝트의 .claude/skills/ |
| Codex | ~/.agents/skills/ | 프로젝트의 .agents/skills/ |
배포처 저장소는 https://github.com/tokoroten/prompt-review 입니다.
호출 시 숫자나 프로젝트명을 추가하면, 분석 범위를 변경할 수 있습니다.
아무것도 추가하지 않으면, 전체 프로젝트의 최근 7일분이 대상입니다.
| 호출 방법 | 분석 범위 |
|---|---|
| /prompt-review | 전체 프로젝트, 최근 7일분 |
| /prompt-review 30 | 최근 30일분 |
| /prompt-review all（또는 0） | 전체 기간 |
| /prompt-review 프로젝트명 | 이름이 부분 일치하는 프로젝트로 한정 |
| /prompt-review 프로젝트명 30 | 해당 프로젝트의 최근 30일분 |
/prompt-review
최근 1주일간의 요청 방식을 확인하는 기본 형태입니다.
전체 프로젝트를 횡단한 분석이 reports/ 폴더에 Markdown으로 저장됩니다.
프로젝트별 요약을 보면, 그 주에 어떤 작업에 AI를 사용했는지도 한눈에 볼 수 있습니다.
/prompt-review all
이쪽은 전체 기간의 기록이 대상입니다.
기간이 길수록 「성장 궤적」 항목에 더 많은 자료가 모입니다.
프롬프트 구체성의 변화, 새로 사용하기 시작한 기술, 반복되는 과제가 시계열로 정리되는 것이 장점입니다.
/prompt-review myapp 30
이름에 「myapp」이 포함된 프로젝트만, 최근 30일분으로 한정하여 분석합니다.
하나의 개발 프로젝트에서의 이해도나 위임 방식을 확인하고 싶을 때 적합한 사용 방법입니다.
리포트를 읽은 후에는, 「개선 가능한 패턴」에 나열된 인용을 다음 요청 시 다시 작성해 보세요.
이 스킬이 효과적인 패턴으로 다루는 것은, 구체적인 제약 조건·단계적인 지시·충분한 컨텍스트·기대하는 출력 형식의 명시, 이 4가지입니다.
「적당히 해줘」와 같은 요청이 지적된다면, 이 4가지 중 하나를 추가하는 것부터 시작할 수 있습니다.
사용 전에, 실행 환경과 취급하는 데이터 두 가지 측면을 모두 확인해 주세요.
수집 스크립트는 python 명령어로 실행되므로, Python이 동작하는 환경이 필요합니다.
또한 에이전트가 자동으로 호출하지 않는 설정이므로, /prompt-review로 명시적으로 호출합니다.
스크립트 위치 지정에는 주의가 필요합니다.
절차 중 실행 예시에서는 홈 디렉토리 하위의 ~/.claude/skills/prompt-review/ 경로가 사용됩니다.
반면 다른 부분에서는 작업 폴더 하위의 .claude/skills/prompt-review/를 사용하도록 안내합니다.
스크립트를 찾을 수 없다는 메시지가 나타나면, 실제로 배치한 위치를 에이전트에게 알려 주세요.
이 스킬은 로컬의 여러 툴 로그를 모아 읽고, Bash에서 스크립트를 실행합니다.
설치 전에 scripts/collect.py와 references/data-sources.md를 읽고, 어떤 파일을 읽는지, 외부로 전송하는 처리가 없는지 확인해 주세요.
수집된 프롬프트는 /tmp에 JSON으로 저장됩니다.
분석 후 불필요하다면, 삭제해 두는 것이 안전합니다.
리포트에서는 인용을 짧게 발췌하고, 파일 경로의 개인 이름을 <user>로 치환하며, 프로젝트 고유의 기밀을 가리도록 지정되어 있습니다.
그래도 업무 내용이 읽힐 수 있으므로, 팀에 공유하기 전에 전문을 확인해 주세요.
시크릿 경고가 표시된 경우에도, 원래 로그에는 키가 그대로 남아 있습니다.
추정 결과는 요청 방식을 재검토하기 위한 자료이며, 능력의 판정이 아닙니다.
라이선스 기재는 이번 자료에서는 확인할 수 없으므로, 업무에 사용하기 전에 저장소에서 확인해 주세요.
스킬의 절차는, 로컬 로그를 읽어 /tmp의 JSON과 reports/의 Markdown에 출력하는 것까지입니다.
외부 서비스로 전송하는 절차는 포함되어 있지 않습니다.
단, 분석은 에이전트가 수행하므로, 추출된 프롬프트는 사용 중인 AI 모델에 읽혀집니다.
OpenAI Codex의 기록은 분석 대상에 포함되어 있으며, 스킬 자체도 ~/.agents/skills/에 배치할 수 있습니다.
단, 절차 중 스크립트 경로는 Claude Code의 배치 위치를 전제로 작성되어 있습니다.
Codex에서 실행할 때는, 실제 경로를 에이전트에게 알려 주세요.
이 스킬은 에이전트가 자동으로 호출하지 않는 설정입니다.
/prompt-review라고 입력하여 명시적으로 호출해 주세요.
기간이나 프로젝트명은 그 뒤에 이어서 지정합니다.
우선 인수 없이 최근 7일분으로, 리포트의 형태를 파악하는 것이 편합니다.
성장 궤적을 보고 싶을 때는, all이나 90처럼 긴 기간을 지정합니다.
prompt-review는 Claude Code나 Cursor 등 10가지 툴에 남은 대화 기록에서, 자신의 요청 방식을 일본어 리포트로 돌아볼 수 있는 스킬입니다.
기술별 이해도, 프롬프트 습관, AI에게 위임하는 방식이 실제 프롬프트 인용과 함께 제시됩니다.
결과는 다음 요청을 다시 작성하기 위한 자료로 활용하고, 공유하기 전에는 전문을 확인해 주세요.
설치 방법과 최신 정보는 cccskills 페이지에서 확인할 수 있습니다.
이 글은 cccskills의 읽을거리 「prompt-reviewでAIとの対話履歴からプロンプトの癖を診断する」의 전재입니다.
스킬의 상세 정보와 설치 방법은 cccskills의 prompt-review 페이지에 있습니다.