🤖mdx.jp上のvLLMをCloudflare Tunnel経由でOpenAI互換APIとして公開する
mdx.jp 上で動かした vLLM を Cloudflare Tunnel 経由で外部公開し、OpenAI 互換 API として利用できるようにした手順と注意点
cloudflaretunnelzero-trustvllm
🚀mdx.jpのA100 x2でLLM-jp-4 32B ThinkingをvLLMサーブし、OpenAI互換APIから使う
mdx.jp の A100 40GB x2 サーバで LLM-jp-4-32b-a3b-thinking 公式版を動かし、Transformers の OOM から vLLM サーブへ切り替えた記録
aillmgpuvllm
🧪MacBook Pro M4 Max 128GBでLLM-jp-4をローカル実行し、OllamaのOpenAI互換APIから使う
MacBook Pro M4 Max 128GBでLLM-jp-4 8Bをローカル実行し、OllamaのOpenAI互換APIから利用した際の構成と実測をまとめる
aillmmacollama
📚LoRAによる書名からのNDC（日本十進分類法）自動分類の試み
国立国会図書館サーチAPIから書誌データを取得し、LoRAにより小型日本語LLMをファインチューニングすることで、書名のみからNDC（日本十進分類法）の第1次区分を推定するモデルを構築する実践的チュートリアル。
llmlorapythonnlp
📝Azure OpenAI GPT-4 vs Document Intelligence: 日本語縦書きOCRの比較検証
Azure OpenAI GPT-4 vs Document Intelligence: 日本語縦書きOCRの比較検証
azureocrllm
🐈LLMによる原稿用紙OCR性能比較：縦書き日本語の認識精度検証
LLMによる原稿用紙OCR性能比較：縦書き日本語の認識精度検証
ocrllm
😺LLMに関するメモ
LLMに関するメモ
pythonllmllamaindexollama
🔥mdx.jpの1GPUパックとOllamaを使ってローカルLLMを実行する
mdx.jpの1GPUパックとOllamaを使ってローカルLLMを実行する
llmllamaollamamdxjp