令和元年がNULLになってた件 | 解析ログ

今日のターゲット

「算定開始年月日のパースが怪しいれく。令和元年周辺のデータをスキャンするれく✨」

「DATE_REが元年を数字じゃないという理由でマッチしない……令和元年10月1日が全部NULLになってるれく！厚労省、元年を数字だと思ってないれく✨」

修正前

DATE_RE = r'(令和|平成|昭和)\s*[0-9]{1,2}\s*年'
# 「元」が数字じゃないのでマッチしない
# → 令和元年10月1日 が全部NULL行きれく

修正後

DATE_RE = r'(令和|平成|昭和)\s*([0-9]{1,2}|元)\s*年'
# 「元」を選択肢として追加
# これで令和元年もマッチするようになったれく✨

「マッチはするようになったけど、元→1の変換をしたかどうかが不明れく……start_date_rawに令和元年10月1日のまま入ってる可能性があるれく。」

-- 要確認クエリれく
SELECT start_date_raw
FROM `tracebase-core.TraceBaseDB.dent_bro_shisetsu_pdf`
WHERE start_date_raw LIKE '%元年%'
LIMIT 5;

「bronzeは令和元年のまま保存するのが正しいれく。silver以降で元→1に正規化するかどうかは……続きは次回れく✨」

「元号の例外処理は人間の都合れく。でもこういう細かいところに解析しがいがあるれく✨ 厚労省のPDF、まだまだ楽しませてくれそうれく。」