データの収集と整理・尺度水準

データの収集と整理・尺度水準

「データは21世紀の石油」といわれるほど、データは社会を動かす資源になりました。しかし、集めただけのデータはそのままでは使えません。分析の目的に合わせて集め、種類を見きわめ、きれいに整えてはじめて価値が生まれます。この講義では、データ分析の進め方、データの種類（尺度水準）、そして前処理（データクレンジング）を学びます。

データ分析のサイクル — PPDAC

データ分析は思いつきで始めるものではなく、次の5段階のサイクルで進めます。頭文字をとってPPDACサイクルと呼ばれます。

① Problem（問題）：解決したい問題・明らかにしたい問いを決める。
② Plan（計画）：どんなデータをどう集めるか計画する。
③ Data（データ収集）：計画に沿ってデータを集め、整理する。
④ Analysis（分析）：統計量やグラフを使って分析する。
⑤ Conclusion（結論）：問いに対する答えをまとめ、必要なら新たな問いへ戻る。

データの集め方

データの収集方法には、アンケート調査や実験のように自分で集める方法のほか、センサ（温度・位置情報など）による自動収集、国や自治体が公開するオープンデータ（e-Statなど）の利用、Web APIを通じたデータ取得などがあります。他人のデータを使うときは、出典・利用条件（ライセンス）・個人情報の扱いに注意が必要です。

構造化データと非構造化データ

表計算ソフトの表のように、行と列にきちんと整理されたデータを構造化データと呼びます。一方、文章・画像・音声・動画のように表の形になっていないデータは非構造化データです。世の中のデータの大部分は非構造化データであり、機械学習の発展によってその活用が急速に進んでいます。

尺度水準 — データの「ものさし」を見きわめる

データは、まず数値で表せない質的データと、数値で表せる量的データに大別され、さらに次の4つの尺度水準に分類されます。どの尺度かによって、許される計算やグラフが変わります。

・名義尺度（質的）：区別のためだけの分類。例: 血液型、出身県、性別。等しいかどうかしか比べられない。
・順序尺度（質的）：順序に意味があるが、間隔には意味がない。例: 満足度（満足・普通・不満）、成績の5段階評価。大小比較はできるが「差」は計算できない。
・間隔尺度（量的）：目盛りの間隔が等しいが、0が「何もない」を意味しない。例: 摂氏温度、西暦。差は意味を持つが「2倍」といった比は意味を持たない（20℃は10℃の2倍暑いわけではない）。
・比例尺度（比率尺度）（量的）：0が「何もない」を意味し、比にも意味がある。例: 身長、重さ、金額、時間の長さ。

データクレンジング — 分析前の下ごしらえ

集めたばかりの生データには問題が混ざっています。これらを整える作業をデータクレンジング（前処理）と呼び、分析作業の中でも多くの時間を占める重要な工程です。

・欠損値：値が入っていないデータ。その行を除外する、平均値などで補完する、といった対処をする。
・外れ値：ほかから極端に離れた値。入力ミスなら修正・除外するが、本物の値なら安易に消してはいけない。
・表記ゆれ：「東京都」「東京」「Tokyo」のような同じ意味の異なる表記。統一しないと集計がずれる。
・重複データ：同じレコードの二重登録。取り除いてから集計する。

練習問題

1. 次のデータの尺度水準をそれぞれ答えなさい。①好きな教科 ②アンケートの5段階評価 ③摂氏の気温 ④体重
2. アンケートの回答に空欄（欠損値）が見つかった。対処の方法を2つ挙げなさい。
3. SNSに投稿された文章や写真は、構造化データと非構造化データのどちらか答えなさい。