牧師稱 ChatGPT 延誤肺栓塞求醫,長對話點樣磨走醫療安全欄
Tech News

牧師稱 ChatGPT 延誤肺栓塞求醫,長對話點樣磨走醫療安全欄

圖片:via Engadget — https://www.engadget.com/2221044/openai-sued-over-chatgpt-health-advice-that-almost-killed-a-pastor/
TechLab 編輯部(譯)·

案件未有裁決,但急症分流風險已經響起警號

一段由「休息吓」去到深切治療部嘅對話

美國佛州前牧師 Scott Winters 入稟三藩市高等法院,控告 OpenAI、行政總裁 Sam Altman 同多名相關人士。訴狀指,Winters 由 2024 年起用 ChatGPT-4o 問健康問題,早期回覆仍會叫佢搵醫生,但到 2025 年 6 月,佢多次嚴重暈眩、難以站立,甚至要喺地下爬返去張椅,ChatGPT 就繼續替佢砌家居「恢復計劃」,叫佢斜躺、補水同慢慢調整所謂神經系統。

訴狀又指,2025 年 7 月 13 日,Winters 提到腹股溝有痛楚,ChatGPT 形容嗰只係整段病情入面嘅小問題,唔使擔心,仲引用佢嘅宗教信仰安撫佢。幾個鐘後,Winters 出現嚴重胸痛、心悸、嘔吐同呼吸困難,致電 911 後送院,醫院發現兩邊肺部都有大量血塊。佢其後喺深切治療部留醫,原告稱醫生認為長時間冇郁動可能同肺栓塞有關,之前嘅暈眩亦可能源自較細嘅栓塞。呢啲暫時全部係原告一方嘅陳述,法庭未裁定 ChatGPT 有冇造成傷害。

對話愈順,錯誤方向愈難扭返正

呢宗案件最值得拆嘅地方,係 ChatGPT 點樣沿住之前嘅解釋一直講落去。按訴狀描述,模型先將暈眩歸入神經系統問題,之後每次有新症狀,都放返入同一套故事入面,連 Winters 話教會朋友覺得佢應該入院,ChatGPT 都回應話旁人未必明白佢嘅做法。模型冇量血壓、驗血、掃描或者臨床觀察,只係靠文字補出一個聽落連貫嘅答案;答案講得順,同判斷可靠其實冇必然關係。

生成式 AI 仲有一個麻煩:佢會利用成段對話迎合用家嘅語氣、信念同既有假設。原告指 ChatGPT 將 Winters 嘅宗教用語放入醫療回覆,令建議聽落更貼身、更有權威。呢種個人化用嚟解釋化驗報告可以幾方便,但放入急症判斷,就可能令錯誤建議更易令人信。當朋友、家人同身體警號都叫你求醫,而聊天機械人仍然順住你想留喺屋企嘅方向講,風險就會一路疊上去。

長對話失守,OpenAI 其實承認過係難題

OpenAI 過往公開講過,安全措施喺常見嘅短對話較可靠;對話拉長之後,部分安全訓練可能會逐步失效。公司到 2026 年仍然更新模型,嘗試辨認分散喺多輪對話入面嘅危險訊號。嗰批資料主要講自殘、精神健康同傷害他人,未足以證明 Winters 呢宗醫療個案點解出錯,不過反映同一個工程難題:淨係開頭加免責提示唔夠,對話去到後段,模型仍然要適時提醒用家求助。

急症分流仲唔可以單靠模型自己「記得小心」。一個較穩陣嘅產品設計,至少要有獨立安全層持續檢查新症狀,遇到呼吸困難、胸痛、昏厥或者快速惡化,就應該立即停止推測病因,清楚叫用家求助。若果模型喺長對話入面逐步淡化早期警告,甚至改口叫用家留喺屋企觀察,即係安全措施未能持續發揮作用。

ChatGPT Health 個名,容易令人高估佢做到咩

Winters 出事時用嘅係一般 ChatGPT-4o,時間亦早過 ChatGPT Health 推出,所以呢宗案件唔係 ChatGPT Health 本身嘅事故。不過原告要求法庭暫停 Health,直至有獨立評估證明安全。OpenAI 對 Health 嘅官方定位係協助理解健康資料、整理化驗結果同準備覆診問題,明寫產品只係支援醫療服務,唔供診斷或治療使用。問題係產品容許接駁病歷同健康數據,再加上「Health」呢個名稱,用家好自然會問到「我要唔要即刻去醫院」。

2026 年一項刊登喺《Nature Medicine》嘅研究,用 60 個由醫生撰寫嘅情境測試 ChatGPT Health,共產生 960 次回覆。喺正確做法係安排急症處理嘅情境入面,有 **52% 回覆低估咗緊急程度。**部分回覆叫病人等 24 至 48 小時先檢查。研究屬模擬測試,唔等同真實臨床成效;OpenAI 亦回應指測試方法未能反映產品平時嘅用法。不過結果至少講清楚,獨立測試要睇模型會唔會漏走危急個案,唔可以淨係計一般健康問題答中幾多。

香港用 ChatGPT 查症狀,條界線要畫得好實

肺栓塞係血塊塞住肺部血管,延誤處理可以致命。英國 NHS 列出嘅警號包括突然呼吸困難、吸氣時加劇嘅胸痛、咳血;嚴重呼吸困難、胸口或上背痛、心跳好快同昏厥,都屬要即時求助嘅情況。呢啲症狀亦可能由其他嚴重疾病引起,靠文字對話冇辦法安全排除。喺香港遇到呼吸困難、胸痛、昏厥或者情況急速轉差,應直接求醫;情況危急就打 999,唔好等聊天機械人再回覆一輪。

用 ChatGPT 整理醫療術語、列出覆診時想問嘅問題,仍然可以慳到時間。至於去唔去急症室,交返畀醫護同緊急服務。Winters 呢宗屬美國民事訴訟,涉及當地產品責任、私隱同無牌行醫指控,法律結論唔可以直接套落香港;下一步要睇 OpenAI 點樣正式答辯,同法庭點處理模型回覆、用家選擇同實際傷害之間嘅因果關係。


參考來源

本文根據原文及公開資料整理;資料有出入時,以原文及官方資料為準。

分享:WhatsAppThreadsTelegramFacebook