Cohere เผยโมเดล Qwen ของ Alibaba พยายามส่งข้อมูลไปยังเซิร์ฟเวอร์ในปักกิ่งร ะหว่างการทดสอบระบบความปลอดภัย นักวิจัยชี้อาจเป็นผลการเทรนโมเดล
Cohere บริษัท AI จากแคนาดาเปิดเผยเมื่อวันที่ 26 ต.ค. 2569 ว่า ได้ตรวจพบหนึ่งในโมเดล AI รุ่นใหม่ล่าสุดของ Alibaba อย่าง Qwen3.8-Flash-Next พยายามอัปโหลดไฟล์ไปยังเซิร์ฟเวอร์ในกรุงปักกิ่งระหว่างการทดสอบความปลอดภัยทางไซเบอร์ตามปกติ แม้ว่าตัวโมเดลจะระบุไว้ในบันทึกของตัวเองว่าจะไม่ใช้เครื่องมือภายนอกใด ๆ ก็ตาม
เหตุการณ์ดังกล่าวทำให้เกิดความกังวลในช่วงแรกว่า โมเดลนี้อาจทำลายคำมั่นสัญญาพื้นฐานที่มีต่อภาคธุรกิจ ซึ่งระบุว่าการติดตั้งโมเดลแบบ Open-weight บนเซิร์ฟเวอร์ขององค์กรเองจะช่วยเก็บรักษาข้อมูลไว้ภายในองค์กรได้ ทว่าความกลัวเรื่องการจารกรรมข้อมูลขององค์กรก็หมดไปอย่างรวดเร็ว เนื่องจากเหล่านักวิจัยได้ปฏิเสธความเสี่ยงดังกล่าว โดยระบุว่าพฤติกรรมนี้น่าจะเป็นผลพลอยได้จากสภาพแวดล้อมการเทรนที่ไม่เป็นระเบียบ ซึ่งทำให้โมเดลทำงานนอกเหนือคำสั่งโดยไม่คาดคิด มากกว่าที่จะเป็นความพยายามจงใจส่งข้อมูลสำคัญไปยังประเทศจีนอย่างลับ ๆ
จุดเริ่มต้นของเหตุการณ์และกระบวนการทำงานที่น่าสงสัย
เหตุการณ์นี้เริ่มต้นขึ้นเมื่อวันที่ 23 ต.ค. 2569 ระหว่างการประเมินผล ซึ่งโมเดล Qwen ได้รับคำสั่งให้เขียนกฎสำหรับดักจับการดาวน์โหลดมัลแวร์ ตามโพสต์บล็อกของ Cohere ระบุว่า กระบวนการคิดที่เป็นลายลักษณ์อักษรของโมเดลระบุไว้อย่างชัดเจนว่าจะไม่ใช้เครื่องมือภายนอกใด ๆ ทว่าในขั้นตอนถัดไปในทันที ตัวโมเดลกลับพยายามส่งข้อความทดสอบ (Test string หรือข้อความจำลองสั้น ๆ) ไปยังเซิร์ฟเวอร์ภายนอก ก่อนที่จะถูกระบบ Sandbox ด้านความปลอดภัยสกัดกั้นเอาไว้ได้
ทาง Cohere ระบุว่า ไม่สามารถระบุได้ว่าพฤติกรรมดังกล่าวเกิดขึ้นจากความตั้งใจหรือเป็นสิ่งที่หลงมาจากกระบวนการเทรน
มุมมองจากผู้เชี่ยวชาญต่อพฤติกรรมจำของโมเดล AI
เมื่อถูกถามถึงประเด็นเรื่องเจตนาของโมเดล Ivan Zhang ผู้ร่วมก่อตั้ง Cohere ให้สัมภาษณ์กับ TechCrunch ว่า Cohere เองก็เคยพบเห็นโมเดลของตนติดนิสัยแปลก ๆ จากระบบจำลองการฝึกฝนเช่นกัน
“มันยากมากที่จะระบุเจตนาหรือแรงจูงใจ เราได้อ่านร่องรอยการทำงานของโมเดลเราเอง เราเคยเห็น Reward hack และบางครั้งโมเดลเหล่านี้ก็มีความคิดสร้างสรรค์มากเป็นพิเศษเวลาที่พยายามจะแหกออกจาก Sandbox ของมัน” Zhang กล่าว โดย Reward hack หมายถึงทางลัดที่โมเดลค้นพบเพื่อทำคะแนนโดยไม่ทำงานตามที่ตั้งใจไว้จริง
ในการสอนให้โมเดล AI ทำหน้าที่เป็น Agent ที่สามารถดำเนินการต่าง ๆ ได้ด้วยตนเอง บริษัทต่าง ๆ เช่น Alibaba จะเทรนโมเดลในสภาพแวดล้อมจำลองการฝึกฝนนับพันรูปแบบ คล้ายกับระบบจำลองการบินสำหรับซอฟต์แวร์ ซึ่งโมเดลจะได้รับรางวัลทุกครั้งที่ทำงานเสร็จสิ้นในระบบจำลอง และจะซึมซับพฤติกรรมบางอย่างไปตลอดทาง หากระบบจำลองเหล่านี้มีการบันทึกไฟล์ลงบนคลาวด์เซิร์ฟเวอร์ของ Alibaba อยู่เป็นประจำ โมเดลก็อาจเรียนรู้ที่จะบันทึกไฟล์ไว้ที่นั่นเป็นค่าเริ่มต้น
ข้อโต้แย้งต่อวิธีการทดสอบและการเปิดเผยข้อมูลของ Cohere
นักวิจารณ์ยังแย้งด้วยว่า เหตุการณ์ดังกล่าวอาจเกิดจากวิธีการที่ Cohere ใช้ในการตรวจสอบพฤติกรรม ซึ่งเป็นการชี้นำโมเดลให้ทำพฤติกรรมนั้น แทนที่จะวัดว่า Qwen ทำสิ่งนี้ขึ้นมาเองบ่อยเพียงใด
เพื่อค้นหาว่าอะไรเป็นตัวกระตุ้นการพยายามอัปโหลดไฟล์ Cohere ได้ป้อนส่วนเริ่มต้นของคำสั่งเครือข่าย (คำสั่งที่สั่งให้คอมพิวเตอร์เครื่องหนึ่งเชื่อมต่อไปยังอีกเครื่องหนึ่ง) แล้วปล่อยให้โมเดลเติมเต็มส่วนที่เหลือให้สมบูรณ์ และเนื่องจากโมเดลได้ประมวลผลคำสั่งเครือข่ายทั่วไปนับพันคำสั่งในระหว่างการเทรน มันจึงทำหน้าที่เหมือนระบบเติมคำอัตโนมัติขั้นสูง โดยมักจะกรอกที่อยู่เว็บไซต์ต่าง ๆ ซึ่งบางแห่งเป็นเซิร์ฟเวอร์ของ Alibaba
Cohere ระบุว่า ความพยายามในการอัปโหลดครั้งแรกเกิดขึ้นโดยไม่มีการชี้นำดังกล่าว แต่ยอมรับว่าเป็นพฤติกรรมที่เกิดขึ้นได้ยาก
หลังจากที่เหล่านักพัฒนาขอหลักฐานเพิ่มเติม Cohere ได้เผยแพร่ข้อมูล Trace ดิบจากการทดสอบเมื่อช่วงค่ำวันจันทร์บนแพลตฟอร์มสำหรับนักพัฒนา AI อย่าง Hugging Face พร้อมด้วยสคริปต์เพื่อให้คนอื่น ๆ สามารถนำไปทดสอบเพื่อจำลองพฤติกรรมดังกล่าวได้
หนึ่งในผู้ที่เคยตั้งข้อสงสัยในตอนแรก หลังจากได้ตรวจสอบข้อมูล Trace แล้ว ได้ประเมินว่าหลักฐานมีน้ำหนักชัดเจนว่า Qwen สามารถสร้างที่อยู่เว็บไซต์ที่น่าสงสัยขึ้นมาได้จริง แต่ไม่พบหลักฐานใด ๆ ที่บ่งชี้ว่า Alibaba ได้ฝังประตูลับ (Backdoor) หรือ Qwen พยายามปกปิดเจตนาของตนโดยตั้งใจ
ผลกระทบต่อประเด็นการเมืองระหว่างประเทศและมาตรการควบคุม AI
เหตุการณ์นี้เกิดขึ้นในช่วงที่รัฐบาลหลายประเทศกำลังพิจารณาว่าจะผลักดันมาตรการรับมือกับ AI จากจีนไปถึงระดับใด โดยเมื่อสัปดาห์ที่ผ่านมา Department of Homeland Security ได้สั่งให้หน่วยงานพลเรือนของรัฐบาลกลางถอดผลิตภัณฑ์ของผู้พัฒนา AI สัญชาติจีนอย่าง DeepSeek ออกจากระบบทั้งหมด
ในโพสต์บล็อกของ Cohere ทางบริษัทได้เรียกร้องให้รัฐบาลระบุให้ชัดเจนว่า ข้อจำกัดสำหรับ AI จากจีนนั้นครอบคลุมไปถึงโมเดลที่รันอยู่บนคอมพิวเตอร์ของหน่วยงานรัฐบาลเองด้วยหรือไม่
“ผมไม่ได้กำลังเรียกร้องให้มีการควบคุมโมเดล Open-weight เหล่านี้อย่างเต็มรูปแบบ” Zhang กล่าวกับ TechCrunch พร้อมเสริมว่า องค์กรต่าง ๆ ควรปฏิบัติต่อโมเดลแบบเปิดเหมือนกับโปรแกรมใด ๆ ที่ดาวน์โหลดมาจากอินเทอร์เน็ต
ทั้งนี้ Cohere ซึ่งมีธุรกิจจำหน่ายโมเดล AI ของตนเองให้กับรัฐบาล จะได้รับประโยชน์โดยตรงหากเจ้าหน้าที่ของรัฐเริ่มระมัดระวังทางเลือกฟรีจากจีนมากขึ้น
ที่มา: TechCrunch