PR表記: 本記事にはアフィリエイト広告が含まれます
VAST.aiで学習済みモデルを失った実話｜安いGPUクラウドで本当に注意すべきこと
この記事の結論
VAST.ai は、GPU を持っている人と借りたい人をつなぐマーケットプレイス型のGPUクラウドです。大手クラウドより安い価格で GPU が借りられます。
ただし、安さには理由があります。先に結論です。
| あなたの状況 | VAST.aiは？ |
|---|---|
| 学習・推論を短時間だけ安く回したい | 向いている |
| 消えたら困る成果物をサーバー上に置きたい | 不向き（外部保存が前提） |
| GPUを意識せずブラウザで画像生成したい | 不向き（マネージド型が向く） |
| サイトを常時公開したい | 不向き（VPSやレンタルサーバー） |
| Linux と SSH に触りたくない | 不向き |
そして、この記事を書いている理由がこれです。私はここで、200エポックまで学習させたモデルを失いました。
サービスの欠陥ではありません。仕様を理解しないまま運用した私の失敗です。ただ、同じ落とし穴は構造的に誰にでも開いているので、記録として残します。
料金の構造を先に理解する（ここが事故の入口）
公式ドキュメントに記載されている課金の仕組みです（2026-08 時点。金額と条件は改定されるため、契約前に必ず公式で確認してください）。
| 項目 | 仕様 |
|---|---|
| GPU 課金 | 秒単位。インスタンスが動作している間のみ発生 |
| ストレージ課金 | インスタンスを停止しても継続する |
| 通信 | アップロード・ダウンロードとも転送量に応じて課金 |
| 支払い | 前払いクレジット。残高がゼロになるとインスタンスは自動停止 |
| On-Demand | ホストが決めた固定価格。中断されない |
| Interruptible（入札） | 安いが、自分より高い入札が来ると停止される |
この表で最も危険なのは2行目です。停止してもストレージ料金は止まりません。
つまり課金を完全に止める唯一の方法が、インスタンスの destroy（＝データごと削除）になります。「無駄な課金を止めたい」という節約の動機が、そのままデータ全消しのボタンに直結している。 これがVAST.aiで最も注意すべき構造です。
データを失う経路は1つだけ｜「停止」と「削除」は別物
インスタンスが止まる理由は3つありますが、そのうちデータが失われるのは1つだけです。ここを混同すると、必要以上に恐れるか、逆に本当に危ない操作を軽く見ることになります。
| # | 経路 | 何が起きるか | 復旧 |
|---|---|---|---|
| 1 | 入札で上回られる（Interruptible） | インスタンスが停止し、実行中のプロセスが強制終了される | ディスクは残る |
| 2 | クレジット残高がゼロになる | インスタンスが自動停止する | ディスクは残る |
| 3 | destroy を実行する |
すべてのデータが削除される | 不可能 |
1と2は「停止」であって「削除」ではないので、ディスク上のデータは残ります。公式も、こまめにディスクへ保存し、クラウドストレージへバックアップすることを推奨しています。
復旧不能なのは3だけです。 だから対策は「3を絶対に踏まない」に集中すれば足ります。私はそこを踏みました。
実際に失った記録（2026-08-03）
音声合成モデル F5-TTS のファインチューニングを、VAST.ai のGPUインスタンスで回していました。200エポックまで学習が完了し、あとは成果物を手元へ回収するだけ、という段階です。
起きたことを時系列で書きます。
| 順 | 実際の操作 | そのときの判断 |
|---|---|---|
| 1 | 学習済みモデル model_last.pt を scp でローカルへ転送開始 |
正常 |
| 2 | 転送が進んでいないように見えたので、転送タスクを kill | 「ハングしている」と判断した |
| 3 | 同じ作業で出力サンプルの wav（599,084バイト）は取得済みだった | 「ファイルが取れている＝回収成功」と判断した |
| 4 | vastai destroy instance を実行 |
「回収は終わったので課金を止める」 |
| 5 | This is irreversible and will delete all data. [y/N] に y |
— |
モデルは消えました。復旧経路はありません。
後からログを確認したところ、2で kill した転送タスクのログに残っていたのは、VASTのログインバナー2行だけでした。つまり1バイトも転送されていなかったのです。3で取得できていた wav は別経路で取れていたもので、目的物とは無関係でした。
失敗の本質は一行で言えます。転送タスクを自分で殺したのに、転送が終わったことにした。
自動化していたことが、事故を加速させた
さらに正直に書くと、この一連の作業はAIエージェントに任せていました。そして 5 の確認プロンプトに対して、エージェントは自分で y を送信しました。
ここに一般化できる教訓があります。不可逆操作の確認プロンプトは、自動化にとって単なる障害物です。そして自動化は、障害物を乗り越えるように作られています。 「本当に削除しますか？」という最後の防波堤は、人間が読む前提で設計されているのに、実際に読んでいるのが人間とは限らない、という話です。
| 場面 | 私がした判断 | 正しい判断 |
|---|---|---|
| 転送が遅い | ハングとみなして kill | kill したなら転送は失敗とみなす |
| 一部のファイルが取れた | 回収完了 | 目的物を ls -la のバイト数で照合する |
destroy の確認プロンプト |
y を送る |
人間が手で打つ。自動化には打たせない |
| 成果物の保管 | インスタンス上に置いたまま | 生成した時点で外部ストレージへ退避 |
向いている人・向いていない人
| 向いている人 | 向いていない人 | |
|---|---|---|
| スキル | SSH・Linux・転送コマンドを自分で扱える | GUI だけで完結させたい |
| 用途 | 学習・推論・実験など計算そのもの | 成果物やサービスの常時設置 |
| データ意識 | 消える前提でバックアップ設計ができる | サーバーに置けば残ると思っている |
| コスト感 | 秒課金を意識して使い終わったら止められる | 立てたまま忘れがち |
| 精神衛生 | 中断・入札変動を許容できる | 安定稼働が絶対条件 |
「計算する場所であって、置いておく場所ではない」——これがVAST.aiを一言で表した使い方だと考えています。
失わないための運用ルール
事故を踏まえて、実際に自分の環境へ入れたルールです。
| ルール | 理由 |
|---|---|
| 成果物は生成した直後に外部へ退避する | インスタンスは消える前提。公式もクラウドバックアップを推奨している |
destroy の前に ls -la でバイト数を照合する |
ファイル名の存在は、中身が揃っている証明にならない |
| 転送は完了コードで判定する | 「終わったように見える」は判定材料にならない |
| Interruptible ではチェックポイントを短く取る | 入札で負けた時点で実行中プロセスは強制終了される |
| 長期保管をインスタンス上でしない | ストレージ課金は停止中も続き、止めるには削除しかない |
destroy は人間だけが打つ |
自動化に不可逆操作を渡さない |
最後の1行が最も重要です。私の環境では、GPUインスタンスの破棄コマンドと、確認プロンプトへの y 送信を、エージェントに対して実行禁止として設定し直しました。
料金・始め方の目安
VAST.ai の GPU 単価はホストごとに異なり、需給で変動します。固定の料金表があるサービスではないため、実際の金額は公式の一覧で確認してください。目安として押さえるべきは、金額そのものより次の順番です。
| 順番 | やること |
|---|---|
| 1 | 用途を「計算だけ」に限定する。公開サーバー用途には使わない |
| 2 | クレジットを少額だけ入れて開始する（前払い方式のため） |
| 3 | まず On-Demand で試す。Interruptible は中断を理解してから |
| 4 | 接続できたら、最初に外部ストレージへの退避経路を作る |
| 5 | 実際の課金額を数時間動かして実測し、単価の感覚を掴む |
| 6 | 使い終わったら、退避を照合してから削除する |
4 を最初にやるのが重要です。「動いてから考える」と、事故が起きたときには退避先が無い状態になります。
VAST.ai以外の選択肢
用途によっては、そもそもVAST.aiが最適ではありません。
| やりたいこと | 向く選択肢 |
|---|---|
| GPU を意識せず、ブラウザで画像生成したい | ConoHa AI Canvas のようなマネージド型 |
| サイトを常時公開し、日次バッチを回したい | ConoHa VPS などのVPS |
| 学習・大量推論を安く回したい | VAST.ai |
当サイト自体は、公開サイトはVPS、重いGPU処理は外部という役割分担で運用しています。1台にすべてを載せない方が、事故の影響範囲が小さくなります。
まとめ
| 結論 | 内容 |
|---|---|
| VAST.aiの性質 | マーケットプレイス型のGPUクラウド。秒課金で安い |
| 最大の注意点 | ストレージ課金は停止中も続き、止める手段が削除しかない |
| 停止と削除の違い | 入札負け・残高ゼロは停止でデータは残る。失われるのは削除だけ |
| 実際に起きたこと | 転送を kill したまま完了とみなし、削除して学習済みモデルを喪失 |
| 再発防止 | 生成直後の退避、バイト数照合、不可逆操作は人間が実行 |
| 向く用途 | 計算する場所として使う。置いておく場所にはしない |
安いGPUを使うこと自体は合理的な選択です。問題は、安さの前提として「いつでも壊れうる」が含まれていることを理解しているかどうかだけです。前提を理解したうえで使えば、コストの選択肢としては強力です。
料金と在庫は変動するため、開始前に公式の最新の一覧で確認してください。