雑なメモであるが、なるほど、openAIは素晴らしい。
OpenAI 次世代AIモデル「Strarberry」と「Orion」
1.「Strarberry」の背景
·「Strawberry」はOpenAl内部の最先端AI技術の内部コードネーム
·「Strawberry」以下のような目的を達成を目指す
1.人間のような思考プロセスを持たせる
2.複雑な問題解決能力と推論能力の向上
3.長期的な計画立案と実行
·AIは単なる情報処理ツールから真の知的パートナーを目指す
OpenAlのAGIプロジェクト「Strawberry」の概要
「Strawberry」の位置付け
OpenAIが定義するAI能力の5段階のうち、現在のChatGPTはレベル1
1.
チャットボット・シンブルな問題解決
2.
高度な問題解決
3.
自律的なタスク実行
4.
イノベーション創出
5.
組織的なタスクの実行
「Strarberry」の特徴
1)長期的思考と多段階推論
a) Slow Thinking Model (System 2 Thinking)
b)複雑な問題を因数分解し、順番に解決する(Tree of Thought(ToT))
3)高品質な合成データ生成(Synthetic data)
Syntheticdataとは
·公にされているような一般的なデータではなく、アルゴ
リズムによって人工的に生成されたデータのこと
なぜSynthetic dataが必要
·すでに公開されているデータはほぼ全てAIは学習済みのため追加
学習に使える公開データがない(限りなく少なくなっている)
·また公開されてるデータだとプライバシーの問題が起こる可能性
もある
そのため次世代のAIモデルのトレーニングために質の高いSynthetic dataが必要
Syntheticdataへの課題
·AIはすでに知っている情報からの組み合わせでしたか生成できないのでは?
·新しい情報は生成できないのでは?
ではなぜStrawberryだとできるの?
·他のAIではできない長期思考や多段階思考ができるため、高度な推論ができ、高クオリティなデータの生成が可能
4.「Strarberry」·「Orion」の関係
OrionはStrarberryが生成した高品質なデータを学習した次世代LLM
OpenAlの次期モデルorionは現行モデルの100倍の能力
