  |
はてなキーワード: 法則とは
舞台は、魔法が日常に溶け込む世界。魔法使いは、呪文を唱え、魔力を操ることで様々な魔法を発動する。しかし、魔法使いの才能は生まれつきで決まっており、才能に恵まれない者は、いくら努力しても強力な魔法を使えない。
主人公は、才能に恵まれない少年・リョウ。彼は幼い頃から魔法使いに憧れていたが、自身の才能の無さに絶望していた。そんなある日、リョウは母親の焼いたパンの出来から世界の確率について気づきを得る。気づきは、データに基づいて未来を予測する知恵だった。リョウは、観察を駆使して魔法を数え、その法則を解き明かしていく。そして、魔法は単なるランダムな現象ではなく、分析することで一定の法則性があることを発見する。
とある日、リョウは学園の不良魔術師である「石礫のケン」と決闘することになるが、事前に知らべていた石礫攻撃の分散とパターンを見抜いて勝利する。
リョウは、観察と計算を活かして、畑の収穫を増やし、有効な薬を見極め、のちに「統計学」と呼ばれる強力な魔法体系を編み出していく。彼は、統計学の魔法で、才能に恵まれない者でも強力な魔法を使えることを証明する。
統計学の魔法は、瞬く間に広まり、世界を大きく変えていく。才能に恵まれない者たちが、統計学を学び、魔法使いとして活躍する時代が到来する。
---
古くはFlashアニメの系譜のベクター系の加工の延長線上にL2D等も該当するが
彼らは画面描画をしているわけではなくて素材を動かしたものを撮影して(そこから効果を載せて)いるだけなので
アニメーション、あるいは現実の物理法則に準じた映像をそもそも作っていない
という言い方もできる
経済学において、均衡価格の静的理論はワルラスによって始められ、アローとドブリューにより確立された。
単一市場からなる簡明な場合、需要＝供給方程式で表され、自然な力学が容易に分かるが、複数市場に関する状況は複雑である。
需要過剰は、価格のなす空間から商品のなす空間への関数Z(p)=D(p)-S(p)と考えられる。
ここでDとSはともに個々の行為の合成によって決定されている。
このとき、経済学は個人の振る舞いに関する諸条件に根拠を与え、それらの条件はZの持つべき諸公理を導く。
すなわち Z: R_{+}^{l} → R^{l} が需要過剰写像であるとは、次の公理を満たすZを言う。
これにより、Zは境界を含まない正の象限と(l-1)次元球面との共通部分上のベクトル場とみなせる。
均衡価格ベクトル、つまりZ(p^{*}) = 0となるベクトルp^{*}の存在はホップの定理から導かれる。
この問題は、価格ベクトルを状態とする力学系モデルを探すということである。
自然界の法則の探索は、一般相対性理論と量子力学の発展の中で行われてきた。
相対性理論はアインシュタインの理論だが、これによれば、重力は時空の曲率から生じることになり、リーマン幾何学の枠組みで与えられる。
相対性理論においては、時空はアインシュタインの方程式に従って力学的に発展することになる。
すなわち初期条件が入力データとして与えられていたときに、時空がどのように発展していくかを決定することが物理学の問題になるわけである。
相対性理論が天体や宇宙全体の振る舞いの理解のために使われるのに対し、量子力学は原子や分子、原子を構成する粒子の理解のために用いられる。
粒子の量子論（非相対論的量子力学）は1925年までに現在の形が整えられ、関数解析や他の分野の発展に影響を与えた。
しかし量子論の深淵は場の量子論にあり、量子力学と特殊相対性理論を組み合わせようとする試みから生まれた。
場の量子論は、重力を除き、物理学の法則について人類が知っているほどんどの事柄を網羅している。
反物質理論に始まり、原子のより精密な記述、素粒子物理学の標準模型、加速器による検証が望まれている予言に至るまで、場の量子論の画期性は疑いの余地がない。
数学の中で研究されている多くの分野について、その自然な設定が場の量子論にあるような問題が研究されている。
その例が、4次元多様体のドナルドソン理論、結び目のジョーンズ多項式やその一般化、複素多様体のミラー対称性、楕円コホモロジー、アフィン・リー環、などが挙げられる。
こういった断片的な研究はあるが、問題間の関係性の理解が困難である。
やはり休日は暇つぶしが必要だと思い、Kaggleでmovielensデータセットで実験を行った。
最もシンプルなモデルとして、ユーザー×アイテムの行列に対する類似度を算出する方法で、類似ユーザーTop n人のレートの平均値を算出し、Top mのアイテムを出す。
これでNDCG@100で0.36ぐらいなので、ベースラインとしてはまあそのぐらいだろう。
実際、SOTAモデルを見ても、NDCG@100=0.4253ぐらいしか達成していない。
https://paperswithcode.com/sota/collaborative-filtering-on-movielens-1m?metric=nDCG%40100
Kaggleでのコンペは、精神を疲弊しそうだし、自信もないので参加する気はない。
こう、なんというか、それなりの精度のベースラインモデルをササッと作るぐらいで丁度いい。
ところで、自分の7年の業務経験のスキルセットがどの程度なのかというのを視覚化してみたら、多分以下のようになると思う。
| genre | level |
| コーディング | ★★★★ |
| アルゴリズム | ★★★ |
| インフラ | ★★ |
| 機械学習 | ★★★ |
| コミュニケーション | ★★ |
| ビジネス理解 | ★ |
| データ視覚化 | ★★ |
| 統計学 | ★★ |
実のところ「機能要件をどう実現するか」というエンジニア思考なので、あまり統計科学的な思考は身についていない。
といっても薬学研究の発表があれば「薬の作用・副作用の効果なのか、病気の症状によるものなのか区別がついていない」ということを指摘できる程度の批判的思考は持っているので、
「科学」と名のつくところに科学とは程遠い政治が存在することは知っている。
つまりエンジニアリングが好きで、科学が嫌いなのは、その政治性である。エンジニアリングは、作って見せればそれで実証できるのが好きである。
「ビジネス科学」と言われることがあるが「科学的手法を使うから科学である」というのは少し違う気がしている。
ススキノ首切断犯人の異常性が続々と明らかになっている。が、キチガイに興味はない。
事件発覚当初、被害者は性的マイノリティを偽装した札付きのレイパーであり殺害動機は父と娘の哀しき復讐であるというアングルがまことしやかに語られていた。
そのように喧伝したものが自ら非を認めるとか被害者の名誉回復に動くことは無いだろう。何しろ「死者に人権はない」のだから。
しかしそんなことでいいはずはない。
※現在に至るも「無理やり中出ししたから〜」とか知ったらしく語ってる奴がいるがこの犯人の言うことは信頼に足らないし垂れ流しに流布すべきでない
何よりどうかしてるのは精神科医である親父の隷属ぶりである。なんでまた？
精神科医であることが娘の仕上がりにどのように悪く働いたのか。就中、ゴリゴリの左翼精神科医であったことが。
「左翼はクソだから娘がそんなことになるんだ」という話ではない。でも関係ないはずはないだろう？
本来精神医学に右も左もない。しかし彼が講演していたのは左翼思想と精神医学の無造作なキメラだ。
構造としてはナチス優生学と同じである（というかマルキシズム自体が「歴史には法則がある」とか吐かす疑似科学なのだが）
ただの無学な親父だってここまでひどい悪手ばかりを重ねることはない。彼の「左翼的精神医学」がどのように裏目に出たのか是非解明してほしい。
いわば左翼教師の子供がグレるパターンの甚だしい例なのかもしれないが、「混ぜものをされた精神医学はただ無力であるにとどまらず効率よくモンスターを育てる」のではないかという疑念がある。
ついでにどうでもいいことだが犯人のことを「シリアルキラー」と言ってるコメントがあった。シリアルってどういう意味だと思ってるんだ。「猟奇的」の俗用についてはもはや言うだけ無駄である。
コンピュートへの大規模な投資が注目される一方で、アルゴリズムの進歩も同様に重要な進歩の原動力であると思われる（そして、これまで劇的に過小評価されてきた）。
アルゴリズムの進歩がどれほど大きな意味を持つかを理解するために、MATHベンチマーク（高校生の競技用数学）において、わずか2年間で～50%の精度を達成するために必要な価格が下がったことを示す次の図を考えてみてください。(比較のために、数学が特に好きではないコンピュータサイエンスの博士課程の学生が40%のスコアを出したので、これはすでにかなり良いことです)。推論効率は2年足らずで3OOMs-1,000倍近く向上した。
https://situational-awareness.ai/wp-content/uploads/2024/06/math_inference_cost-1024x819.png
これは推論効率だけの数字だが（公開データから推論するのが難しいトレーニング効率の向上と一致するかどうかはわからない）、アルゴリズムの進歩は非常に大きく、また実際に起こっている。
この記事では、アルゴリズムの進歩を2種類に分けて説明します。まず、「パラダイム内」でのアルゴリズムの改良を取り上げることにしま す。例えば、より優れたアルゴリズムによって、同じパフォーマンスを達成しながら、トレーニングの計算量を10倍減らすことができるかもしれません。その結果、有効計算量は10倍（1OOM）になります。(後ほど「アンホブリング」を取り上げますが、これはベースモデルの能力を解き放つ「パラダイム拡張/アプリケーション拡張」的なアルゴリズムの進歩と考えることができます)。
一歩下がって長期的な傾向を見ると、私たちはかなり一貫した割合で新しいアルゴリズムの改良を発見しているようです。しかし、長期的なトレンドラインは予測可能であり、グラフ上の直線である。トレンドラインを信じよう。
アルゴリズム研究がほとんど公開されており、10年前にさかのぼるデータがある）ImageNetでは、2012年から2021年までの9年間で、計算効率が一貫して約0.5OOM/年向上しています。
アルゴリズムの進歩を測定することができます。同じ性能のモデルを訓練するために必要な計算量は、2012年と比較して2021年にはどれくらい少なくなっているのでしょうか？その結果、アルゴリズムの効率は年間0.5 OOMs/年程度向上していることがわかります。出典Erdil and Besiroglu 2022.
これは非常に大きなことです。つまり、4年後には、～100倍少ない計算量で同じ性能を達成できるということです（同時に、同じ計算量ではるかに高い性能も達成できます！）。
残念ながら、研究室はこれに関する内部データを公表していないため、過去4年間のフロンティアLLMのアルゴリズムの進歩を測定することは難しい。EpochAIは、言語モデリングに関するImageNetの結果を再現した新しい研究を行っており、2012年から2023年までのLLMのアルゴリズム効率のトレンドは、同様に～0.5OOM/年であると推定しています。(しかし、これはエラーバーが広く、また、主要なラボがアルゴリズム効率の公表を停止しているため、最近の上昇を捕捉していません）。
https://situational-awareness.ai/wp-content/uploads/2024/06/llm_efficiency_epoch-1-1024x711.png
Epoch AIによる言語モデリングにおけるアルゴリズム効率の推定。この試算によると、私たちは8年間で～4OOMの効率向上を達成したことになります。
より直接的に過去4年間を見ると、GPT-2からGPT-3は基本的に単純なスケールアップでした（論文によると）が、GPT-3以降、公に知られ、公に干渉可能な多くの利益がありました：
最近リリースされたGemini 1.5 Flashは、"GPT-3.75レベル "とGPT-4レベルの間の性能を提供する一方で、オリジナルのGPT-4よりも85倍/57倍（入力/出力）安い（驚異的な利益！）。
公開されている情報を総合すると、GPT-2からGPT-4へのジャンプには、1-2 OOMのアルゴリズム効率向上が含まれていたことになります。
https://situational-awareness.ai/wp-content/uploads/2024/06/stacked_compute_algos-1024x866.png
GPT-4に続く4年間はこの傾向が続くと予想され、2027年までに平均0.5OOMs/年の計算効率、つまりGPT-4と比較して～2OOMsの向上が見込まれます。計算効率の向上は、低空飛行の果実を摘み取るようになるにつれて難しくなる一方、新たなアルゴリズムの改良を見出すためのAIラボの資金と人材への投資は急速に増加しています。 (少なくとも、公開されている推論コストの効率化は、まったく減速していないようだ)。ハイエンドでは、より根本的な、トランスフォーマーのようなブレークスルーが起こり、さらに大きな利益が得られる可能性さえある。
これらをまとめると、2027年末までには（GPT-4と比較して）1～3OOMのアルゴリズム効率向上が期待できることになります。
続き I.GPT-4からAGIへ：OOMを数える(6) https://anond.hatelabo.jp/20240605205754
全知全能の神様がいきなり空を裂いて現れて、全ての自然法則を書き換えて去っていくという事態をあり得ないとは言い切れない。
ただ経験則として到底あり得るとは考えられない。
なので可能性よりも蓋然性を考えていきましょうというのが科学らしいけど、じゃあ可能性ってほぼ意味のない概念にならないか？って思った。
現時点のこの世の法則が突然変わらないとは言い切れないのだから全ての可能性はあるともないとも言える訳で、じゃあ全ての物事についてハナから蓋然性を考えるのが道理じゃないか？
反証可能性の認められる状態では可能性も考えよう、とかそういう事なんだろうか。
反証可能性にしたって全知全能の神様に事態を変化させられる事がないとも言い切れない訳だし、あまりにも荒唐無稽（と経験則上思われるよう）な事態は予め想定から排除した上で、みたいに程度問題で運用されてるんだろうか。
かつて「ただしイケメンを除く（通称ただイケ）」というフレーズがはやった。
これはキモいオタクがするとNGな行為もイケメンがやるなら許されるという経験則であり
多くの男性陣の共感を得て広まったが、フェミニストなど一部女性からは
イケメンだろうが加害は許されないからそんな法則はない、という批判もされた。
そこでこれらの対立を解決する考え方として、イケメンだから許されるのではなく
キモい弱者男性だから許されないのだ、とすれば説明が付くのではないかと気づいた。
・男もつらさを語っていい ※ただし弱男は除く
といった具合である。ということでこれからはただイケではなくただ弱を積極的に使っていきたいと思う。
心ある方のご協力をいただければ幸いである。
あいつら、何かツイッター内だけでは声がデカいから、マジョリティなつもりになってて勘違いしてるけどさ。
ほぼ高卒の「クリエイター」（絵描き）なんて、世の中の大半からは「偏差値平気以下の馬鹿」としか見られないってことに無自覚すぎるよな。
別に、高卒が政治やるなとか権利を訴えるなとかは言ってないよ？（当たり前だけど、これくらいはっきり言わないとあいつら馬鹿だから通じないから念のため）
馬鹿でもなんでも、「正論」と受け取られるうちは相手にもされるだろうけど、それで「自分は敬意を持たれて当然の存在」と思い込んで、調子乗って同意の不確かないい加減なその場しのぎの思いつきでも勢いづいて喋りまくってると、「ああやっぱりバカはバカだな」と思われて当然って発想に何故なれないのかねって話。
いわゆる第一印象の法則で言えば、もともとの肩書きが「私は馬鹿です」って言ってるも同然なんだから、慎重にもやらなければそりゃ基本馬鹿だと見られて当然であるって自覚が何故ないのか、馬鹿は。
