report-review

structuring-training-data.py (5782B)

---

 import glob
 import json
 import os
 from typing import Optional
 
 from google import genai
 from google.genai import types
 
 
 def generate_structured_json(
     typst_file_path: str,
     feedback_file_path: str,
     output_dir: str,
     sequence_num: int,  # 新しい引数: 入力ファイルから抽出した連番
     base_output_name: str,  # 出力ファイル名のベース部分を保持
 ):
     client: Optional[genai.Client] = None
     try:
         # クライアントの初期化はtryブロック内に移動してAPIキーのチェックをスムーズに
         client = genai.Client()
     except Exception as e:
         print(
             f"エラー: Geminiクライアントの初期化に失敗しました。APIキーを確認してください: {e}"
         )
         return
 
     # 連番を使用して直接出力ファイル名を生成 (例: structured_data_001.json)
     output_file_path = os.path.join(
         output_dir, f"{base_output_name}_{sequence_num:03d}.json"
     )
 
     if os.path.exists(output_file_path):
         print(f"警告: 出力ファイル {output_file_path} は既に存在します。上書きします。")
 
     with open(typst_file_path, "r", encoding="utf-8") as f:
         typst_content = f.read()
 
     with open(feedback_file_path, "r", encoding="utf-8") as f:
         feedback_content = f.read()
 
     system_instruction = "あなたは、提供されたTypstレポートとそのフィードバックを構造化するための専門家です。入力テキストから、指摘事項を分析し、指定されたJSONスキーマに厳密に従って、指摘事項のリストを生成してください。応答はJSON形式のみとし、Markdownの装飾や説明文は一切含めないでください。"
 
     json_schema = {
         "type": "array",
         "items": {
             "type": "object",
             "properties": {
                 "type": {
                     "type": "string",
                     "description": "指摘のカテゴリ（例：format, logic, grammar, citationなど）。",
                 },
                 "location": {
                     "type": "string",
                     "description": "Typstファイル内の指摘箇所（例：line 25-30, 全体）。",
                 },
                 "text": {
                     "type": "string",
                     "description": "フィードバックの具体的な内容。",
                 },
             },
             "required": ["type", "location", "text"],
         },
     }
 
     prompt = (
         f"Typstファイルの内容:\n---\n{typst_content}\n---\n\n"
         f"対応するフィードバックの生テキスト:\n---\n{feedback_content}\n---"
     )
 
     try:
         response = client.models.generate_content(
             model="gemini-2.5-flash",
             contents=[prompt],
             config=types.GenerateContentConfig(
                 system_instruction=system_instruction,
                 response_mime_type="application/json",
                 response_schema=json_schema,
                 temperature=0.1,
             ),
         )
 
         structured_json_data = json.loads(response.text)
 
         with open(output_file_path, "w", encoding="utf-8") as f:
             json.dump(structured_json_data, f, ensure_ascii=False, indent=2)
 
         print(f"構造化されたJSONを {output_file_path} に保存しました。")
 
     except Exception as e:
         print(f"Gemini API呼び出しまたはJSON保存中にエラーが発生しました: {e}")
 
 
 if __name__ == "__main__":
     REPORTS_DIR = "reports"
     OUTPUT_DIR = "structured-feedback"
     OUTPUT_BASE_NAME = "structured_data"
 
     os.makedirs(OUTPUT_DIR, exist_ok=True)
 
     if not os.getenv("GEMINI_API_KEY"):
         print("エラー: 環境変数 GEMINI_API_KEY が設定されていません。")
     else:
         feedback_files = glob.glob(os.path.join(REPORTS_DIR, "feedback_*.txt"))
         for feedback_file_path in feedback_files:
             base_filename = os.path.basename(feedback_file_path)
 
             try:
                 # 連番を文字列として抽出 (例: "001")
                 sequence_num_str = base_filename.split("_")[-1].split(".")[0]
 
                 # Typstファイル名の構築
                 typst_file_name = f"report{sequence_num_str}.typ"
                 typst_file_path = os.path.join(REPORTS_DIR, typst_file_name)
 
                 # 連番を数値に変換
                 sequence_num = int(sequence_num_str)
 
                 if os.path.exists(typst_file_path):
                     print(
                         f"Processing {typst_file_path} and {feedback_file_path}. Sequence number: {sequence_num:03d}"
                     )
                     generate_structured_json(
                         typst_file_path=typst_file_path,
                         feedback_file_path=feedback_file_path,
                         output_dir=OUTPUT_DIR,
                         sequence_num=sequence_num,  # 抽出した連番を渡す
                         base_output_name=OUTPUT_BASE_NAME,
                     )
                 else:
                     print(
                         f"警告: 対応するTypstファイル {typst_file_path} が見つかりませんでした。スキップします。"
                     )
             except ValueError:
                 print(
                     f"警告: ファイル名 {base_filename} から有効な数値の連番を抽出できませんでした。スキップします。"
                 )
             except Exception as e:
                 print(f"エラー処理ファイル {feedback_file_path}: {e}")