퀴즈 제작 과정

최종 수정일: 2026년 10월 30일

Nanizo의 문항을 정확히 어떻게 만들고, 무엇으로 검증하며, 그 검증에서 무엇을 놓칠 수 있는지 설명합니다.

문항 작성 방법

대부분의 문항은 각 퀴즈에 대해 저희가 정한 작성 지침을 바탕으로 AI 모델(Anthropic이 만든 Claude)을 사용해 작성합니다. 지침에는 퀴즈의 주제, 난이도, 문항마다 정답은 하나여야 하며 추가 정보를 제공하는 짧은 사실 설명이 있어야 한다는 규칙이 포함됩니다.

일부 퀴즈는 공개 데이터를 바탕으로 만듭니다. 수도, 국기, 지역 정보는 Wikidata에서 가져오며, 산술 퀴즈는 답을 계산하는 프로그램으로 생성합니다.

현재 사이트에 있는 영어 문항 15,898개 중 약 82%는 AI를 사용해 작성했습니다. 나머지는 공개 데이터를 바탕으로 만들거나 프로그램으로 생성했습니다.

문항 검증 방법

작성된 문항은 작성에 사용한 모델을 만든 회사가 아닌 다른 회사의 AI 모델을 통해 두 가지 자동 검증을 거칩니다.

정답을 보지 않고 답하기. 모델은 정답을 보지 않고 문항과 선택지만 보고 답을 하나 고릅니다. 모델이 다른 선택지를 고르거나 정답이 될 수 있는 선택지가 둘 이상이라고 하면, 해당 문항은 검토 대상으로 표시됩니다.
사실 확인. 모델은 정답으로 표시된 답과 사실 설명을 보고 둘 다 정확한지 판단합니다.

검토 대상으로 표시된 문항은 더 강력한 모델로 다시 검증합니다. 그런 다음 수정하거나, 다시 작성하거나, 삭제합니다. 각 문항에는 어떤 모델이 언제 검증했고 무엇이라고 답했는지 검증 기록을 보관합니다.

영어 문항 약 8개 중 1개는 아직 이러한 검증을 거치지 않았으며, 대부분 가장 최근에 만든 문항과 짝 맞추기 라운드입니다. 자동 검증으로 많은 오류를 찾아내지만, 모든 오류를 찾아내지는 못합니다. 공개 전에 모든 문항을 읽는 편집자는 없습니다. 따라서 모든 문항에 신고 링크를 제공하며, 오류가 확인되는 즉시 수정합니다.

출처

답을 선택한 후에는 대부분의 문항에 사실 정보의 출처 페이지로 연결되는 출처 링크가 표시됩니다. 출처는 대개 Wikipedia 또는 Wikidata이며, 팬 퀴즈에서는 팬 위키입니다. 영어 문항의 91%에 출처 링크가 있습니다. 사진에는 출처 표기와 라이선스가 표시됩니다.

팬 퀴즈는 비공식 퀴즈입니다. 영화, 책, 팀, 게임의 이름은 퀴즈가 무엇에 관한 것인지 나타내는 용도로만 사용합니다.

번역

각 언어판은 AI 모델이 영어에서 번역합니다. 모델은 언어별 스타일 가이드와 용어집을 바탕으로 작업합니다. 예를 들어 용어집에는 해당 국가에서 출간된 연작 도서에 사용되는 이름이 담겨 있습니다.

그런 다음 다른 모델이 정답을 보지 않고 번역된 모든 문항에 답합니다. 모델의 답이 정답과 다르거나 문장이 어색하면 해당 문항을 수정하거나 해당 언어판에서 제외합니다. 퀴즈는 문항들이 이러한 검증을 통과한 후에만 해당 언어로 공개됩니다.

오류 수정

답이 틀렸거나, 오래된 정보이거나, 불명확하다면 문항 아래의 오류 신고를 누르거나 hello@nanizo.com으로 연락해 주십시오. 오류가 확인되면 해당 문항이 제공되는 모든 언어에서 수정합니다. 기록이 경신되거나 국가가 수도를 변경하는 등 사실이 바뀌면 문항을 업데이트합니다.