中新網(wǎng)寧波9月8日電 (張斌)利用AI技術(shù)突破模型安全限制，生成淫穢圖片牟利——近日，浙江寧波余姚市人民法院審結(jié)一起利用生成式人工智能制作淫穢物品牟利案，6名被告人被判處有期徒刑三年一個(gè)月至三年十個(gè)月不等。

　　被告人鄭某原為國(guó)內(nèi)某游戲大廠AI領(lǐng)域程序員。2024年7月，鄭某接觸境外AI色聊機(jī)器人后，萌生開(kāi)發(fā)同類軟件牟利的想法，隨后邀請(qǐng)同事及網(wǎng)友等6人組建研發(fā)團(tuán)隊(duì)。2025年1月，涉案AI模型在境外平臺(tái)上線運(yùn)營(yíng)，接入多種充值渠道向用戶收費(fèi)。

　　鄭某等人通過(guò)改寫系統(tǒng)提示詞、設(shè)定角色卡等方式，突破AI模型內(nèi)置的色情內(nèi)容安全限制。用戶付費(fèi)選定角色卡后可生成色情文本，再通過(guò)消耗積分生成不同尺度的淫穢圖片。經(jīng)查，該模型共生成靜態(tài)圖片37萬(wàn)余張、動(dòng)態(tài)圖片6000余張，收取充值金額折合人民幣17萬(wàn)余元。經(jīng)鑒定，隨機(jī)抽取的12500張靜態(tài)圖片中9000余張為淫穢物品，全量動(dòng)態(tài)圖片中5000余張為淫穢物品。

　　法院認(rèn)為，被告人雖辯稱內(nèi)容由用戶輸入觸發(fā)，但用戶操作被限定在被告人預(yù)先搭建的技術(shù)框架內(nèi)，被告人對(duì)AI模型內(nèi)容輸出具有實(shí)質(zhì)控制力，其行為與淫穢內(nèi)容產(chǎn)生存在刑法上的直接因果關(guān)系。利用AI技術(shù)制作淫穢物品，應(yīng)認(rèn)定為刑法意義上的“制作淫穢物品”。

　　“任何試圖利用技術(shù)手段規(guī)避監(jiān)管、突破法律紅線的行為，都將受到法律的嚴(yán)肅懲處。此類案件的審理，向社會(huì)傳遞了明確信號(hào)：技術(shù)中立不等于技術(shù)無(wú)罪，算法不是法外之地。”寧波市中級(jí)人民法院刑事審判第二庭庭長(zhǎng)陳靖表示。

　　9月7日，《最高人民法院關(guān)于依法審理涉人工智能糾紛案件的意見(jiàn)》發(fā)布，明確規(guī)定利用人工智能制作、販賣、傳播淫穢物品等行為，構(gòu)成犯罪的，依法追究刑事責(zé)任。(完)