データを要約し、関係を読み、結論の限界を示す

量的データは個数、長さ、時間のように量として計算するデータ、質的データは種類や状態を表すデータです。ただし、数値で符号化したカテゴリは質的データです。

連続量を階級へ分けると質的な区分として扱えますが、元の細かな情報は失われます。目的に必要な粒度を考え、元データと加工後のデータを区別して保存します。

無作為抽出は母集団の各要素が選ばれる仕組みを明確にし、選択の偏りを減らします。それでも標本による偶然のずれは残ります。回答しない人が多い、質問文が誘導的、測定器がずれている場合は、標本数を増やすだけでは直りません。

調査票、抽出方法、取得日時、単位、欠測の符号、加工手順をメタデータとして残すと、別の人が結果を再現し、違いの原因を追跡できます。

CSVは行と列からなる表形式に向き、単純で多くのソフトで扱えますが、型や入れ子構造を直接は表しにくい形式です。JSONはキーと値、配列、入れ子を表しやすく、Web APIでよく使われます。XMLは開始・終了タグで階層を記述し、属性やスキーマを使えます。

拡張子だけで判断せず、文字コード、区切り、見出し行、欠測の表記、日付形式、単位を確認します。機械判読しやすい形式でも、意味を説明するメタデータがなければ正しく分析できません。

未回答、測定失敗、対象外、記録漏れは、すべて空欄に見えても意味が違います。0で置き換えると「測定した結果0」と区別できなくなります。欠測を示す符号と理由を分けて記録します。

欠損行の除外、代表値による補完、前後の値を使う補間などがありますが、どれも仮定を伴います。処理方法を記録し、処理前後で件数や分布、結論がどの程度変わるか確認します。

自由記述では、単語の出現回数、共起関係、感情の傾向などを調べるテキストマイニングがあります。画像では、明るさや色、形の特徴、学習済みモデルなどから分類や検出を行います。

文字分割の規則、同義語、皮肉、撮影条件、ラベルの誤りによって結果が変わります。数値化した後も元の文章・画像へ戻り、抽出した特徴が問いに合っているか確かめます。

観察データで二つの変数が一緒に変化しても、第三の変数が両方へ影響している可能性があります。因果効果を確かめるには、比較する群以外の条件をそろえ、対象を無作為に割り付ける実験が有効です。

人を対象とする実験では、危険や不利益を説明し、同意を得て、途中でやめられるようにします。学校で実施できない場合は、観察研究の限界を明示して結論を狭くします。

抽出方法に合わせた推定が必要です。集めやすい人へ声をかけただけの便宜抽出は、件数が多くても母集団を代表するとは限りません。

一枚の表へ元データ、途中計算、最終結果を混在させず、シートや領域を分けます。元データを変更せず、加工列へ式を置き、列名・単位・出典・取得日を記録します。

複雑な式は補助列へ分け、途中結果を確認します。コピーした式の参照範囲、欠測値、文字列の数字、フィルタ後の集計範囲を点検し、代表的な数行を手計算と照合します。

数式をコピーした時の参照ずれ、範囲から外れた最終行、文字列として保存された数値、非表示行、手入力で上書きしたセルは、見た目だけでは気付きにくい誤りです。

入力セル・計算セル・出力セルを分け、式を表示して参照先を確認します。代表的な数行は手計算と照合し、合計値だけでなく件数、最小・最大、欠測数も確認します。定数を式の中へ何度も書かず、一か所の設定セルを参照すると変更を追跡しやすくなります。

箱ひげ図では、Q1−1.5×IQR未満またはQ3＋1.5×IQRより大きい値を外れ値候補として別記号で示す流儀があります。これは入力ミスと断定する基準ではありません。

測定ミスなら修正し、実際に起きた珍しい値なら残します。除外する場合は、結論を見てから都合よく決めず、基準と理由、除外前後の結果を示します。

縦軸を途中から始める、縦横比を極端に変える、面積や体積で値を表す、期間の一部だけを選ぶと、差が実際より大きくまたは小さく見えます。軸、単位、期間、出典、欠測、集計方法を明示します。

円グラフは全体に対する割合を一時点で示すのに向きますが、項目が多い比較や時系列には向きません。見た目ではなく、読み取りたい関係からグラフを選びます。

階級幅を広くすると全体傾向は見やすくなりますが、複数の山や隙間が消えることがあります。狭すぎると偶然のばらつきが目立ちます。異なる階級幅を試し、同じデータから読み取れる特徴が安定しているか確かめます。

階級幅が一定でない場合、棒の高さではなく面積が度数に対応するよう度数密度を使います。棒グラフはカテゴリを比較し、ヒストグラムは連続量の分布を隙間なく表すという違いも重要です。

1. 交絡：第三の変数が両方を変化させる。
2. 逆因果：AがBを変えるのではなくBがAを変えている。
3. 偶然・選択：多数の組合せから都合のよい関係だけを見つける。

因果を主張するには、時間順序、仕組み、他の説明、実験や追加データを検討します。

複数の集団をまとめた時の傾向と、各集団の内部での傾向が反対になる現象をシンプソンのパラドックスと呼びます。例えば学年ごとには学習時間が長いほど得点が高いのに、学年を混ぜると逆の相関に見える場合があります。

散布図を色や小図でグループ分けし、集団構成、割合、交絡変数を確認します。全体の相関係数一つだけでは、データの構造を見落とすことがあります。

観測したxの範囲内で予測する内挿より、範囲外へ延長する外挿は危険です。範囲外では関係が変わったり、物理的な上限・下限へ達したりします。

決定係数R²は、目的変数のばらつきのうちモデルで説明できた割合の一つの指標です。高いR²でも因果関係、予測の公平性、将来データでの性能は保証されません。残差の形と検証用データも確認します。

標本平均は標本を取り直すたびに変わります。標本数が大きいほど標本平均のばらつきは一般に小さくなり、その不確かさを考慮した区間が信頼区間です。95%信頼区間は「この一回の区間に母平均が95%の確率で入る」という意味ではなく、同じ手順を繰り返した時に作られる区間の約95%が真の値を含むという性質です。

仮説検定では、差がないという帰無仮説の下で観測結果以上の極端さが出る確率をp値として計算します。p値が小さくても効果が大きいとは限らず、標本数、効果量、信頼区間、事前に決めた分析計画と合わせて判断します。

カイ二乗検定は、カテゴリ別の観測度数と、独立などの仮説から期待される度数のずれを調べる方法です。アンケートの選択肢と学年に関係があるか、といったクロス集計表で使います。

期待度数が小さすぎる場合や、同じ人を独立な複数回答として数えた場合には近似が適切でなくなります。有意差の有無だけでなく、どのセルがどの方向へずれたか、差の大きさ、標本設計も確認します。

別々の人からなる二群を比べる場合は独立な二標本として扱い、同じ人の前後や対応づけた組を比べる場合は各組の差を分析します。後者を対応のあるt検定といい、個人差を差し引ける場合があります。

標本の独立性、外れ値、分布、分散の違いを確認し、条件に応じた方法を選びます。p値だけでなく、平均差、信頼区間、効果量、測定単位を示し、「統計的に有意」と「実際に重要」を分けて解釈します。

統計名だけでなく、表番号、系列名、地域、期間、単位、季節調整の有無、取得日、抽出条件、加工式を記録します。公表後に値が改訂される場合があるため、取得時点も重要です。

同じ名称でも定義変更や基準改定があるため、長期比較では注記と調査方法を確認します。グラフ画像だけを保存せず、元データと加工手順を一緒に残します。

整然データでは、一つの変数を一列、一つの観測を一行、一種類の観測単位を一つの表に置きます。年、地域、人口を列にした縦持ちは、年や地域を増やしても同じ構造で集計・作図しやすい形です。

年ごとに列を増やす横持ちは、人が一覧する帳票には便利ですが、列名に値が入り、処理のたびに形を変える必要が生じます。元データの意味を保った整然な表を保存し、発表用のクロス表は必要な時に作ります。

総務省統計局「家計調査」の二人以上の世帯について、1世帯当たり1か月の消費支出を使います。原系列には、12月に高く2月に低いという毎年の動きがあり、隣り合う月の比較だけでは一時的な変化を読み取りにくくなります。

1. 季節指数を作る：2017〜2019年について、1月どうし、2月どうしの平均を求めます。各月平均を12か月全体の平均で割り、平均が1になる季節指数にします。
2. 原系列を指数で割る：例えば12月の指数は約1.126なので、12月の金額を1.126で割り、年末に高くなる傾向をならします。
3. 調整後の動きを読む：同じ方法で2019〜2021年を計算し、原系列と季節調整済み系列を重ねます。

2020年5月の季節調整済み値は約25万1,568円で、2019年5月の約30万365円より約16.2%低い値です。新型コロナウイルス感染症の拡大と行動制限が重なった時期に大きな落ち込みが見られる、という仮説を立てられます。ただし、この系列だけで低下のすべてが感染症によるものだと因果関係を断定はできません。品目別支出、所得、物価、政策、調査方法の変更も追加確認します。

中心化移動平均は窓の中央へ値を置くため、系列の最初と最後では計算できない期間が生じます。窓を長くすると細かな変化はならされますが、転換点の把握が遅れます。

季節調整値は、新しいデータが加わると季節指数や傾向の推定が変わり、過去値も改訂されることがあります。速報値と確報値、原系列と季節調整系列を区別します。

ある時点を100として他の時点を相対値で表したものが指数です。基準年の値が50、比較年が60なら指数は120です。単位や規模の違う系列でも変化率を比較しやすくなります。

物価指数のように複数品目をまとめる場合は、どの品目をどの比率で重みづけするかが結果へ影響します。基準年が変わると品目構成や重みも見直されるため、指数の接続方法、改定、原数値か季節調整値かを確認します。

モンテカルロ法は、確率に従う試行を多数回繰り返して、面積、確率、期待値などを近似する方法です。乱数で正方形内へ点を打ち、円内に入った割合から円周率を近似する例があります。

コンピュータの疑似乱数は決定的な計算で作られます。同じシードなら同じ列を再現でき、検証に便利です。試行回数を増やすと偶然のばらつきは小さくなりますが、モデルの仮定が誤っていれば正しい現実予測にはなりません。

モデルを作ったデータへよく合うだけでは、未知の状況を説明できるとは限りません。一部のデータを検証用として残し、予測と実測のずれを比べます。

初期値や係数を少し変えて結果がどの程度変わるか調べる感度分析も重要です。小さな変更で結論が大きく変わるなら、その仮定を正確に決める必要があります。モデルが合わない時は、係数だけでなく、含めなかった要因や関係の形を見直します。

到着間隔と処理時間が同じ平均でも、ばらつきが大きいと長い待ち時間が発生しやすくなります。平均待ち時間だけでなく、最大値、一定時間以上待つ割合、窓口の稼働率も記録します。

窓口を増やせば待ち時間は減りますが、費用や人員が増えます。複数条件を同じ乱数系列で比較し、偶然の差を抑えながらトレードオフを調べます。