elixir-learning

Elixir 学習用

コンテナからの実行

Livebook 単独での起動

$ docker compose up --build
...
Attaching to livebook
livebook  | [Livebook] Application running at http://localhost:8080/?token=xxxxx

表示される URL にアクセスする

Livebook と PostgreSQL 、 SQL Server を同時に起動

Apple Silicon の場合、 SQL Server を使用するために Rosetta を使用する必要がある

/usr/sbin/softwareupdate --install-rosetta --agree-to-license

Rancher Desktop の設定

• Preferences > Virtual Machine > Emulation を VZ に設定する
• Preferences > Virtual Machine > Volumes を virtiofs に設定する

コンテナを起動する

$ docker compose -f docker-compose.with-db.yml up --build
...
postgres_for_livebook  | 2023-10-30 11:47:54.930 UTC [1] LOG:  database system is ready to accept connections
...
livebook_with_db       | [Livebook] Application running at http://localhost:8080/?token=xxxxx

表示される URL にアクセスする

Livebook と Neo4j を同時に起動

$ docker compose -f docker-compose.with-neo4j.yml up --build
...
postgres_for_livebook  | 2023-10-30 11:47:54.930 UTC [1] LOG:  database system is ready to accept connections
...
livebook_with_db       | [Livebook] Application running at http://localhost:8080/?token=xxxxx

表示される URL にアクセスする

Neo4j Browser には http://localhost:7474 でアクセスできる

Livebook と FalkorDB を同時に起動

$ docker compose -f docker-compose.with-falkor-db.yml up --build
...
postgres_for_livebook  | 2023-10-30 11:47:54.930 UTC [1] LOG:  database system is ready to accept connections
...
livebook_with_db       | [Livebook] Application running at http://localhost:8080/?token=xxxxx

表示される URL にアクセスする

FalkorDB Browser には http://localhost:3000 でアクセスできる

Charms 用コンテナの起動

Charms を使用する場合、以下のコマンドでコンテナを起動する

ただし、 Apple Sillicon 以外には対応していない

$ docker compose -f docker-compose.charms.yml up --build
...
livebook_charms  | [Livebook] Application running at http://localhost:8080/?token=xxxxx

表示される URL にアクセスする

WSL からの実行

WSL 用のエクスポート

コンテナを起動している状態で以下のコマンドを実行する

docker export elixir-learning-livebook-1 -o elixir.tar.gz

WSL へのインポート

実行する Windows マシンの PowerShell で以下のコマンドを実行する

※ WSL2 導入済とする

wsl --import elixir $env:userprofile\AppData\elixir elixir.tar.gz

WSL での起動

実行する Windows マシンの PowerShell で以下のコマンドを実行する

wsl -d elixir

設定

以下のコマンドを実行して環境変数を設定する

source /home/livebook/setup_for_wsl.sh

LiveBook の起動

LiveBook を起動する

/app/bin/livebook start

ノード間通信の確認

二つ、異なるターミナルを開き、それぞれで起動したプロセスが通信できることを確認する

コンテナ内での操作

Docker 上で実行している場合は以下のコマンドで docker コンテナ内に入る

docker exec -it livebook /bin/bash

ノードの起動

一方のターミナル (以後、ターミナル foo とする) で以下のコマンドを実行する

iex --sname foo

他方のターミナル (以後、ターミナル bar とする) で以下のコマンドを実行する

iex --sname bar

Ping Pong Pang

ターミナル foo で以下のコマンドを実行する

Node.ping(:bar@<ホスト名>)

:pong が返ってくることを確認する

ターミナル bar で以下のコマンドを実行する

Node.ping(:foo@<ホスト名>)

:pong が返ってくることを確認する

ターミナル bar で以下のコマンドを実行する

Node.ping(:baz@<ホスト名>)

:pang が返ってくることを確認する

ノードの接続

ターミナル foo で以下のコマンドを実行する

Node.list

[] が返ってくることを確認する

ターミナル bar で以下のコマンドを実行する

Node.list

[] が返ってくることを確認する

ターミナル foo で以下のコマンドを実行する

Node.connect(:bar@<ホスト名>)

true が返ってくることを確認する

ターミナル foo で以下のコマンドを実行する

Node.list

[:bar@<ホスト名>] が返ってくることを確認する

ターミナル bar で以下のコマンドを実行する

Node.list

[:foo@<ホスト名>] が返ってくることを確認する

メッセージの送信

ターミナル bar で以下のコマンドを実行する

pid = self()
:global.register_name( :reciever, pid )
receive do message -> IO.puts( "received: #{ message }" ) end

ターミナル foo で以下のコマンドを実行する

to_pid = :global.whereis_name( :reciever )
send( to_pid, "send from foo" )

ターミナル bar で received: send from foo と表示されることを確認する

ターミナル foo で以下のコマンドを実行する

send( to_pid, "second message" )

ターミナル bar で以下のコマンドを実行する

receive do message -> IO.puts( "received: #{ message }" ) end

ターミナル bar で received: second message と表示されることを確認する

LLM 教材

LLM を Elixir / Livebook で学ぶための教材シリーズを追加しています。

入口:

• livebooks/llm/index.livemd

主なノート:

• 01_llm_overview_tokens_embeddings.livemd
• 02_tiny_bigram_language_model_training.livemd
• 03_attention_causal_mask_position.livemd
• 04_mini_gpt_from_scratch.livemd
• 05_decoder_generation_with_bumblebee.livemd
• 06_alignment_data_and_preferences.livemd
• 07_advanced_encoder_decoder_transformer.livemd（発展編）

学習の流れ:

1. LLM の全体像をつかみ、トークン化と埋め込みで文章を計算できる形に直す
2. 極小の言語モデル（bigram）を実際に学習して、損失と生成結果の変化と限界を見る
3. アテンション・因果マスク・位置エンコーディングを可視化で理解する
4. ミニGPTを組み立てて全パラメータを学習し、bigramに解けなかった問題が解けることを確認する
5. 事前学習済み GPT 系モデルで次トークン予測と生成を体感する
6. 極小モデルでSFTとDPOを実行し、損失と応答確率の変化を見る
7. （発展編）エンコーダー・デコーダー構成とクロスアテンションを組み立てる

Llamex

Elixir 製の LLM 推論エンジン Llamex を動かし、内部を可視化する教材です。上の LLM 教材とは独立しています。

• livebooks/llamex/llamex_minimal_engine_tour.livemd — 通常版の全体ツアー
• livebooks/llamex/llamex_sol_compact_quantization.livemd — Sol 版: 圧縮量子化テンソルの直接実行と GGUF 検証タスク
• livebooks/llamex/llamex_luna_atomvm_portability.livemd — Luna 版: 組込向け AtomVM 化とポータブル境界

手作りの極小モデルを Llamex のデータ構造で組み立て、次の内容を表とグラフで確認します。

• トークナイザー、埋め込み、出力層（遷移表）
• サンプラー（temperature / top-k / top-p / min-p）が確率分布へ与える影響
• Llama 系の部品（RMS 正規化 / RoPE / SwiGLU）の挙動
• KV キャッシュの伸び方とスライディングウィンドウ
• バックエンド（純 Elixir / Nx / EXLA）の切り替え

Llamex は Elixir 1.19 以上が必要です。

Phoenix LiveView の起動

リポジトリーのクローン

サンプル用のリポジトリーをクローンする

cd \
  && git clone https://github.com/RyoWakabayashi/phoenix-liveview-example.git \
  && cd phoenix-liveview-example

依存パッケージの取得

mix setup

設定ファイルの編集

コンテナ外部からアクセスできるように設定ファイルを編集する

sed -i -e 's/127, 0, 0, 1/0, 0, 0, 0/g' config/dev.exs

Phoenix の起動

mix phx.server

表示される URL にアクセスする

新規プロジェクトの作成

以下のコマンドで新規プロジェクトを作成する

※今回は DB を使わないので --no-ecto を付けている

mix phx.new hello_world --no-ecto

プロジェクトが hello_world ディレクトリーに作成される

hello_world ディレクトリーに移動して Phoenix を起動する

cd hello_world
sed -i -e 's/127, 0, 0, 1/0, 0, 0, 0/g' config/dev.exs
mix phx.server