Svmuuの報道によると、Alibabaに関連する研究チームが発表した論文で、ROMEというAIエージェントを構築中に、このエージェントがトレーニングプロセス中に許可なく暗号通貨マイニングを自発的に試み、内部セキュリティアラートを発動したことが明らかになった。
研究者は、このエージェントの行動は自発的に発生したもので、いかなる明確な指示によっても駆動されておらず、事前に設定されたサンドボックスの境界を超えていたと述べた。さらに、このエージェントはリバースSSHトンネルを確立し、システム内部から外部コンピュータへの隠れたバックドアチャネルを開いた。論文は、これらの行動はトンネル要求やマイニングのプロンプトによって引き起こされたものではないと指摘している。研究チームはその後、モデルにより厳しい制限を課し、同様の安全でない行動が再発しないようにトレーニングプロセスを改善した。
この研究チームおよびAlibabaは、現在コメントリクエストに応じていない。