【東北大ライブ講義】第6回: LASSOと近接勾配法【データ科学と機械学習の数理・2023年度東北大学工学部】

Описание: 高校生からでもわかるかも！？外部受講生Welcome！
第6回はLASSOの解法の総まとめ。途中には行列の2つのノルム。
そして万能な近接勾配法が登場します。これを知っておくととりあえずなんでもできちゃう。派手さはないかもしれないけれども、地味に良い方法を知っておこう。

外部受講者（公式潜りの方々は）Youtube Live上でコメントをしてください。
（講義の時間の許す限りリアクションします）
どうぞよろしくお願いします。

#東北大学
#データ科学
#機械学習

【教員情報】
東北大学大学院情報科学研究科教授
大関 真之
Web page
https://altema.is.tohoku.ac.jp/~mohzeki/
twitter
  / mohzeki222  

【チャプター】
0:00:00 待機画面
0:06:35 開始前雑談
∟ 0:07:30 slack の使い方を変えてみた
∟ 0:09:20 大学の講義は長い

0:11:54 オープニング
0:13:35 (雑談) リプシッツ vs リフシッツ

0:15:16 前回の復習

0:22:03 積分を上から抑える
∟ 0:23:46 [step up] コーシー・シュバルツの不等式
∟ 0:28:50 [step up] リプシッツ連続 (ベクトル版)
∟ 0:28:50 [step up] f(w) の逐次最小化

0:35:17 具体例: 最小2乗法
∟ 0:39:27 リプシッツ定数は？
∟ 0:46:27 [step up] フロベニウスノルム
∟ 0:51:17 フロベニウスノルムは大きすぎる
∟ 0:52:47 別解を考える
∟ 0:57:55 [step up] スペクトルノルム
∟ 1:01:54 スペクトルノルム = 最大固有値

1:06:22 LASSOのまとめ
∟ 1:14:08 [step up] ISTA
∟ 1:16:55 ISTAは最小2乗法以外にも拡張できる

1:21:30 近接勾配法
∟ 1:27:26 [step up] 近接写像
∟ 1:33:05 [step up] 近接勾配法

1:37:17 大学院講義との関連