무엇을 하는 세션인가
요구사항마다 시스템의 충족 판정과 근거 인용이 있습니다. 위원은 ① 인용이 판정을 뒷받침하는지(4택)와 ② 본인이 보기에 충족인지(3택)를 남깁니다.
① 근거 평가 · 필수
인용이 판정을 뒷받침합니까?
인용이 제안서에 실제로 있고 그 판정을 뒷받침하는지 4택으로 고릅니다. ④를 고르면 원인 유형을 함께 고릅니다.
＋
② 충족 판정 · 필수
위원 본인이 보기에 충족했습니까?
시스템 판정과 별개로 위원 본인의 판단을 충족 · 부분충족 · 미충족으로 남깁니다.
④ 원문 불일치·환각을 고르면 원인 유형을 함께 고릅니다
판정 기준 — 4택
1 · 근거충분
인용이 원문에 있고 판정이 납득된다.
2 · 근거부족
있고 관련되나 단정엔 모자란다. 요약·의역·표 병합 인용도 여기.
3 · 근거무관
있으나 이 요구사항과 무관한 대목이다.
4 · 원문 불일치 · 환각
그 문장이 원문 어디에도 없다.
④는 검색해서도 못 찾았을 때만 고릅니다. 인용이 없는 판정(미충족)은 판정 사유의 확인 위치를 열어 보고,
해당 내용이 실제로 없는지 확인한 뒤 ①~③으로 판정합니다.
세션 정보
- 공고번호
- 사업명
- 제안요청서
- 대상 제안서
- 요구사항
- 건 · 9개 분류
- 검증 대상
- 셀 (업체 × 요구사항)
- 평가위원
- LLM 도구
- 예상 소요
시작
중간에 나가셔도 입력은 저장되며, 다시 접속하면 이어서 진행됩니다.
할 일
○ 목차와 장 구성을 훑어 요구사항 분류가 어느 장에서 다뤄지는지 파악하세요. (필수 — 열람 시간)
○ 문서 내 검색을 한 번 써 보세요. 검증 중 "그 문장이 원문에 없다"를 확인할 때 쓰는 기능입니다. (권장)
근거
①인용이 이 요구사항의 근거로 적합합니까?
필수
④환각 원인
필수
원인 유형을 고르세요
②시스템 판정의 적합성
필수
①을 먼저 고르면 시스템 판정이 보입니다
원문
산식
모델별 근거 품질
정합률 = ① 확정 셀 비율 · 환각률 = ④ 확정 셀 비율 (셀 최종 판정 기준). 판정 정확도와는 별개.