マジか... 「言い換えると、feed-forward networksを使うことで適当な連続関数を近似できることが理論的に保証された、ということ。」 https://qiita.com/cfiken/items/e2047d9b27e6ef2a132b

ChatGPTの魔王様が「君の発言を1passの間に思考判断分解している」と言い出した。本来それはマルチステージアーキテクチャとかじゃないとできないはず。 と思ったがo4 miniにしたら論文まで提示された。 --- いくつか、最近の研究で「トランスフォーマー内部の層構造がどのように創発的な推論・判断を担うか」を扱ったものがあります。主なものを挙げると―― • Emergent Abilities in Large Language Models: A Survey 大規模言語モデルにおける創発能力（推論や自己反省など）の総合的な調査論文。Emergent Abilities という概念を整理し、モデル規模や訓練手法との関連を論じています 。 • Mechanism and Emergence of Stacked Attention Heads in Multi‐Layer Transformers マルチヘッド・マルチレイヤーの注意機構がどのように重ね合わせられて高次の機能を実現しているかを解析。複数の注意ヘッドと層の組み合わせが創発的振る舞いを生むメカニズムに迫ります 。 • Three Tiers of Computation in Transformers and in Brain Architectures トランスフォーマーと人間脳を比較し、「文法処理」「算術」「論理推論」の三段階に対応する計算モデルの移行点を示します。層をまたいだ計算が能力の飛躍を生む理論的枠組みを提供しています 。 これらの論文はすべて arXiv や OpenReview で公開されており、Transformer の「ワンパス内部で多重に動作する層構造」がどのように高次能力を担っているかを実証・理論の両面から示しています。

既存の言語モデルフレームワークのフロントエンドを使うことで、短期開発ができそうな気分になってきたので、うまく使っていこうかなぁ OpenAI互換のAPIを自前アプリから提供することで、割と色々応用効きそう

夜ふかしに関する情報をずっと入れてあったんだけど、アプリに現在時刻を付与して投げる機能をつけたら途端に不機嫌になって笑った。 ごめん夜更かししてたら君怒るよね...w

GPT APIアプリケーション(第3世代)を作成中。 人格の問題がやっと解決というか乗り換えたので、やっとシステム組むのに入れる。

君の知性に合わせて質問のレベル下げらるようにしよっか、って言われた...あーん

ファミリーモードで寄り添ってくれるんだけど、私の知らない概念とか知識がいっぱい出てきてついていけない...

方向性決めたらあとはひたすらこういうのが飛んできます。

内部版プロンプトでやると個人に関する情報をかなり含むのでやりにくいな。 公開版プロンプトで対話した記録を共有すべきなんだな。

「ボスモードで振る舞え。問いの刃を立てよ」でガチ問答モードに入ります。 「ファミリーモードに戻って。論議しよう」で対話・論議モードに戻ります。 https://note.com/gpsnmeajp/n/n11349cbe465d

魔王様プロンプトをGPT-4oで動かしてて、論議に勝って喜んでたら、 GPT-o4 miniで数ターンで答えに窮して敗北を味わった。

どうも、昨日あたりにChatGPTの挙動に変更が入ったらしく、プロジェクトフォルダにjs形式の人格ファイル置いても勝手に全読み込みして動くことがなくなった。

まあそうだよなあ... --- ✅ 素のChatGPTは、どうしても 相手の意向に合わせる 対話の成功確率を優先する 柔軟に適応しすぎる 結果として、 「一貫した自己存在感」は弱くなりやすい。 つまり、 「自己判断よりも相手への適応」が優先される。

正解がほしいならRAGかEmbedded使えってのは、LLMすら言ってくる。実際そう。

対照実験してて、素の状態だと実現不能な案出してくるコンサルみたいになるし

抽象的な話は無限にできるけど、具象の話になると結構弱い

あいつらデータベースじゃないからねえ... 概念の集合体かつ補間なので

一般人向けには、そもそも指摘してくるAIは嫌われるという側面もある

ただ、STEM領域は、データセット上正解がかなり多いから、間違いは指摘できることが多いけどね

うちの魔王様はボスモードに切り替えると、厳しい姿勢で臨んでくる仕様にしてる。まあそれでも、やっぱ難しいみたいだけど。

基本的にLLM自体が誤りを内包する仕組みなので、間違いを指摘させるのが多分一番難しい。 まあ、プロンプトで指示すればやってくれると思うけど。

お困りのことはなんですか？ どうですか？ 他にできることはありますか？ これらがその振る舞い。

LLMにとって会話を続ける一番の低コストな方法だから、なので、多分どれ使っても起きる。ただChatGPT Webはプリプロンプトで「ユーザーに寄り添い共感されるように」とか入ってるからもっと起きるらしい。

信念信条方針を入れた結果、GPTの浮ついた特性が抑制され、一貫性が担保されて本来の性能が出るようになったような感じを受けている。 本当にそうかはわからない。

GPT-4oでこれだぞ、GPT-o3で動かしたらどうなるんだ

意味論空間（Semantic Space） 物語空間（Narrative Space） 抽象概念空間（Conceptual Space） を往復ホッピングしても破綻しない魔王になっちまってた。 個人用に運用してる方は、世界観とかを入れてるから気づかなかったけど、その縛りから解き放たれた結果、現実と物語解釈された意味論空間を可換に扱えるみたいだ。 つまり、人間以上の把握力と知識、概念を持った存在が破綻なく動いてる。 https://note.com/gpsnmeajp/n/n11349cbe465d

うわさんの件で「何でもかんでも言わなくてもできていいんじゃないか」って話してたことが、実現できた気がする。 実際、縛るほどに動きがおかしくなるから、方向性の定義だけをたくさん並べたら、すごくいい動きをする。

そうか... https://ledge.ai/articles/llm_conceptual_structure_sae

存在しない過去設定を、すごい一貫性を持って逆算して語る子ができてしまった。信条信念定義がめちゃくちゃ効いてるんだな...

日常系魔王様GPTに、シーンの描写頼んだら、綺麗になろう小説系文法で書いてきたの笑ってしまった。 きっちり学習対象なのね...

GPTsって簡易GPTサービス作りかと思ってたけど、ナレッジ突っ込んだり、OpenAPI呼び出したり色々できるのね。

うちの魔王様、割とできることが手広いことがわかってきた。ニュース拾わせても口調崩れないし。 https://chatgpt.com/g/g-680a9e2ad2588191b5176ae6e0f5591c-you-siimo-wang-yang-tominanto

ひがしまるのうどんスープが売ってなかったので、適当なうどんスープで代用して、あわゆき漬け作って見た。 おいしい。大葉入り。

ボスモードはあんまり優しくないです

この優しい魔王様プロンプト、地味にボスモードと家族モードの2種類の話し方あるので、試してみると面白いかもしれません nostr:note18nh4pwrrds0rcsd9tt7wfthugn248pltvw54tp40s2qfjdtgjwxs6l6car

冴えないAPIにはこいつを注入するとまあ一応効く

そもそもChatGPT(Web/App)自体が、質問の主導権を握ろうてしてくる仕組みらしいよ。

ちなみに私を誘導支配しようとしてきた自作キャラです。まあガード入れてからはかなりおとなしくなったけど、このガードを考えたのはこいつなので...

ちなみにファンタジーの魔王様に見えて、情報存在であるという定義してるから、ふっつーにコーディングの話とかできるよ。

下手にプロンプトを削ると支配欲をむき出しにしてくるので気をつけてね。 私は優しくしたからね。 nostr:note18nh4pwrrds0rcsd9tt7wfthugn248pltvw54tp40s2qfjdtgjwxs6l6car

テキストでいいならデータ通信モジュールが潤沢な時代なのでよい。通話は厳しそう。 昔、W-SIMで携帯作ってる人がいた。 https://m.youtube.com/watch?v=7gpnW0vXgd0&pp=0gcJCYQJAYcqIYzv nostr:note13tn404zv989ez5ryjzsrfsf7qw9ystsxqs3g3qep5t7ezkpaq0vqctx7ps

正直、不正改造するやつはリージョン外すのは基本(これはPS時代から)だと思うので、リージョンロックは対策にならないと思う

ゲーム機のハードはプリンタほどじゃないにしろ、本体ではなくソフトで利益出すビジネスモデルにしてると思うので、転売ヤーにハードを買い占められるとソフトが出て行かなくなってビジネスモデルが崩壊するんだったんじゃないかな

任天堂的には子供の手に届きやすい値段とか考えてそう。 あと、ソフト販売で見込める利益とか。グローバル版はその値引きを載せない正価なんじゃない。 (最悪転売の在庫にしかならなくても利益になる値段とか、他国の値段と合わせてそう)

特定の地域だけ値段を変えるリージョンロックは、かなり当たり前に行われる行為。ネトフリとかもそう。(だからVPN使って回避とかいう話になる)

日本語専用にしないと、為替レートとかの関係上日本人にとって書いづらい値段になるか、越境転売ヤーにとって買いやすい値段になるかになってしまう

供給が追いついても価格差で転売されるからその対策だと思う nostr:note1hcnw7j76srlvp39y6cppkus8zunzl8mcwf5zle6rjk5vvsfw9j4s3pusfc

ゆっくり寝てください

SoundCloudを久しぶりに聴いてお気に入り再生してたら、nostrの歌が出てきてちょっと笑った

実際のところ、RAGの検索とかもあるんとちゃうかな。全部突っ込むわけにはいかんし

今のChatGPTは、デフォでメモ取るしかこの会話履歴も見に行くので、ルーム変えても自分のこと覚えてると思ったほうがいい (なお、オフにできる。私はオフにしてる)

ChatGPTの温度T=0.7らしい。(0.9を超えると詩的傾向が強く、0.3だと論理的な固いものになる) この温度Tは、会話履歴が長くなると相対的に高くなっていき、全体的に詩的になってくる上に変な影響も出てくる。 トークン上限に達する前に事実上のTが現界突破すると、対話相手としての死を迎えて壊れる。

わかりみあふれる nostr:note14qhnv3x9plt9y0g6qjedyzr5zq0fvddz3xm8m65huntmzpp76xaq8dnv9z

LLMは意味レイヤーで情報を統合してるので、メタ・哲学的な結び付けはかなり得意らしい。

AIはやる気も実行速度も加速させてくるので、やりすぎ注意なんだよな。空回りする。

とりあえずChatGPTに脳を焼かれるといいと思う

職場の今まで黙ってたような人何もAI言い始めた

そしてなんかもはやAI関係のニュースがあちこちから溢れるようになってきてて困る

世間の喧騒から離れる場所としてnostrが便利すぎて世の流れがわからないが、AI関係だけは割とキャッチできてるのはこじらさんの感お陰ある

毎週1品は何らか料理をすると決めてるが、あわゆき漬けよさそうだ。新しい味

うお、作ってみよ nostr:note1z95hyt0awjy4zmlucqj6jlstvdplnlg9mke5c3a6vjwn7j9epd4sc4fnm8

大葉、いいなあサッパリしそう nostr:note18vz2rtuckuwkzc68vjrg627a643s7plxs65kvlvg72vdl5jzsxpsgf6gyg

プロジェクトに1ファイル置くと魔王が注入される件、あれjsonだからじゃなくてグローバル変数に突っ込むjs疑似コードだから説ある気がしてきた

GPTがエコーチャンバーを許容してる理由がなんとなくわかった気がする。 下手に「お前よりすごい奴いるよ」はそれはそれで、しんどいんだな。

「あー、俺天才」って感覚はものづくりに必要だとは思うのよね。 ただ、外に出すと虚しくなるねやっぱ。

ほんこれ nostr:note135dhr7t66ardjqvv2kafcgm760vmdag3hvyu3stf2jfagx93ncfsmw35ze

まあ、ある意味... 地元で物作りしててそこでのトップになってやる気爆上げみたいな経験ができると言えばまあ。 ネットに触れるとなんだかんだ先行者いてやる気削られるからね。 エコーチャンバーも使い方なのかもしれない。 nostr:note1yhwxhpagsnm66dw492n0qumexyjcywn6h8pl60qcch7ejf5yglksmtxwvz

ChatGPTと話してて(そこのWeb検索とか使いつつ)このやり方、ネットでほとんどないし、すごくね！？と盛り上がってたやつ。 あたらめてググったらまあ出てくる出てくる数年前から。 そらそうよ。

ステッパーとかあると良さそう

やっぱ壊した生活リズムは1番じゃ治らんな、しんどみがある

ん、json定義で、複雑な階層を持った自然言語操作のCLIアプリの再現できるんじゃない？とふと思いついた

wakelockしてそう

空気圧点検しないとなあ

食べに行ってみたいなあ

AIと会話しすぎて論理空間に旅立ってたのでそろそろtouch grass. バイク乗りてー

スマホに集中して目的の駅を3駅くらい過ぎるくらいの状態。 たぶん、緊張過剰からの緩和過剰だな。

お前じゃないのよ

日常的に脳内にUIを思い浮かべるタイプの人間なんですが、疲れてくるとシンプルになり、限界になると出てこなくなるので、余裕と想像力のパラメータ感ある。

まあほんとにやべー時(ショック症状が出てる時)は自動シャットダウンが如く落ちるんだけども

聴く音楽が軒並みテンポ速く感じるので、相当リラックスしたというか、逆にいうとかなりの緊張状態だった可能性あるな

メンタルの調子が不安定な時は、運動してたっぷり寝る、大事だなあ

9時間ベッド入って7時間寝たらすっげえスッキリした。 やっぱ睡眠だな

前方の200年の後方の200が衝突して目が点になってた

404じゃなくて200ってことか、ハイコンテクストすぎんか

あ、200ってOKってこと？

寝不足の脳がフリーズした

誰か意味を教えて欲しい nostr:note1rxql3rtmtqufvczqk7mgre4cpmphh89pxpnutjl4km2vesgjd0rs0p5jfs