ผู้ช่วย AI อาจอ้างถึงเอกสารที่มีอยู่จริง แต่ยังตอบผิดได้ เช่น ค้นเจอนโยบายเก่า แยกกฎออกจากข้อยกเว้น หรือใช้ไฟล์ที่พนักงานคนนี้ไม่มีสิทธิ์อ่าน RAG หรือการค้นข้อมูลมาเป็นหลักฐานให้โมเดลตอบ จึงต้องออกแบบการเลือกหลักฐานก่อนการเรียบเรียงคำตอบ
ลองนึกถึงธุรกิจจำหน่ายอุปกรณ์ที่พนักงานถามว่า ส่งสินค้าทดแทนให้ลูกค้าก่อนรับของเดิมคืนได้หรือไม่ คำตอบอาจขึ้นอยู่กับกลุ่มสินค้า ข้อตกลงลูกค้า และนโยบายบริการปัจจุบัน การค้นเจอย่อหน้าที่มีคำว่า “ทดแทน” ยังไม่พอ บทความนี้จะใช้สถานการณ์สมมตินี้ไล่ดูว่าระบบต้องเตรียมอะไรบ้าง
เริ่มจากคำถามกับหลักฐานที่ใช้ตอบได้
รวบรวมคำถามที่ทีมถามจริง รวมทั้งคำสั้น ๆ ที่พิมพ์ตอนเร่งรีบ เช่น “ส่งให้ก่อนได้ไหม” ซึ่งขาดบริบทมากกว่า “สินค้ากลุ่มนี้ใช้บริการส่งทดแทนล่วงหน้าได้หรือไม่” หน้าจออาจถามกลุ่มสินค้าหรือข้อตกลงเพิ่ม แทนการให้โมเดลเลือกเองโดยผู้ใช้ไม่รู้
แต่ละคำถามควรระบุว่าใช้หลักฐานส่วนใดตัดสินได้ เอกสารอะไร หัวข้อไหน มีผลเมื่อใด และมีข้อยกเว้นอะไร รวมคำถามที่ยังไม่มีคำตอบอนุมัติไว้ด้วย เพื่อให้ผลที่ถือว่าถูกมีได้ทั้งตอบจากหลักฐาน ถามข้อมูลเพิ่ม หรือบอกว่าเอกสารที่มีอยู่ยังตัดสินเรื่องนี้ไม่ได้
แยกการตรวจขั้นค้นข้อมูลออกจากการตรวจคำตอบ หากข้อยกเว้นไม่เคยถูกส่งถึงโมเดล การปรับคำสั่งให้เขียนดีขึ้นมักไม่แก้ต้นเหตุ ในทางกลับกัน การค้นเจอครบก็ไม่ได้รับรองว่าตอนสรุปจะรักษาเงื่อนไขสำคัญไว้ทั้งหมด
เตรียมเอกสารให้เป็นความรู้ที่ดูแลต่อได้
ขั้นนำเข้าเอกสารควรรักษาโครงสร้าง ไม่ใช่แปลงทุกอย่างเป็นข้อความยาวเส้นเดียว เก็บหัวข้อ หัวตาราง รายการ และตำแหน่งหน้าไว้ ช่องตารางที่เขียนว่า “ใช้ได้” ไม่มีความหมายพอ หากไม่รู้ว่าอยู่ในแถวสินค้าหรือคอลัมน์เงื่อนไขใด ส่วนไฟล์สแกนต้องตรวจผลอ่านก่อนนำเข้าระบบค้นหา
คู่มือแบ่งเอกสารของ Microsoft อธิบายทั้งการแบ่งตามขนาดและตามโครงสร้าง พร้อมชี้ว่าเอกสารที่ยาวไม่เกินขีดจำกัดโมเดลก็อาจค้นได้ดีขึ้นเมื่อแบ่งเป็นส่วนที่เหมาะสม จึงไม่มีขนาด chunk เดียวที่ตอบโจทย์เอกสารทุกประเภท
ในตัวอย่างนโยบายส่งสินค้าทดแทน ควรเก็บกฎกับข้อยกเว้นให้อยู่ใกล้พอจะค้นมาด้วยกัน หรือมีรหัสหัวข้อให้ดึงบริบทเพิ่มเติมได้เมื่อพบข้อความส่วนสั้น ทดสอบส่วนที่ซ้อนกันระหว่าง chunk ด้วย เพราะข้อความเดิมที่ติดอันดับหลายชิ้นอาจเบียดหลักฐานอื่นออกจากผลค้นหา
ข้อมูลกำกับควรมีรหัสเอกสาร รุ่น ภาษา ขอบเขตสินค้า ช่วงวันที่มีผล เจ้าของ และกลุ่มที่มีสิทธิ์อ่าน พร้อมกำหนดวิธีถอนเอกสารเก่า หากลบไฟล์ต้นทางแต่ข้อความที่แบ่งไว้ยังค้างในดัชนี ระบบอาจตอบจากนโยบายที่ยกเลิกแล้วต่อไปได้
เลือกวิธีค้นให้เหมาะกับลักษณะคำถาม
รหัสเฉพาะกับคำอธิบายภาษาธรรมชาติต้องการวิธีค้นต่างกัน คำถามที่ระบุรหัสสินค้าชัดเจนไม่ควรถูกตอบด้วยสินค้าที่ชื่อคล้ายกัน ขณะเดียวกัน ประโยคว่า “ส่งเครื่องใหม่ก่อนของเก่ากลับมา” อาจไม่มีคำทางการที่ใช้ในนโยบายเลย
Hybrid search ของ Azure AI Search รวมการค้นคำกับการค้นจากเวกเตอร์แล้วรวมอันดับผล เป็นรูปแบบที่นำมาทดลองได้เมื่อทั้งคำตรงและความหมายมีความสำคัญ แต่ยังต้องพิสูจน์กับข้อมูลของธุรกิจ ไม่ใช่ตั้งแล้วถือว่าทุกคำถามจะดีขึ้นเหมือนกัน
การทดลองควรเทียบการค้นคำ การค้นความหมาย และแบบผสมด้วยชุดหลักฐานเดียวกัน ดูว่าข้อความที่ถูกอยู่ลำดับต้นหรือไม่ มีข้อความที่ไม่เกี่ยวข้องแทรกมากแค่ไหน และการจัดอันดับซ้ำช่วยพอจะคุ้มกับเวลารอที่เพิ่มหรือไม่ คะแนนค้นหาไม่ใช่ความน่าจะเป็นว่าคำตอบสุดท้ายเป็นจริง
| ลักษณะคำถาม | แนวทางที่ควรทดลอง | สิ่งที่ต้องจับตา |
|---|---|---|
| มีรหัสสินค้าแน่นอน | รักษารหัสและใช้เงื่อนไขตรงตัวเมื่อจำเป็น | เปลี่ยนเป็นรหัสที่ดูคล้ายกัน |
| ใช้คำไม่ตรงเอกสาร | ค้นข้อความอนุมัติที่มีความหมายใกล้กัน | คล้ายเรื่องแต่ขาดเงื่อนไขสำคัญ |
| มีกฎและข้อยกเว้น | ดึงบริบทหัวข้อและข้อยกเว้นประกอบ | เห็นเฉพาะกฎทั่วไป |
| นโยบายเปลี่ยนแล้ว | เลือกรุ่นตามช่วงมีผลและเก็บที่มา | ผสมคำตอบจากรุ่นเก่ากับใหม่ |
| บริบทไม่ครบ | ถามช่องข้อมูลที่เปลี่ยนผลตัดสิน | เดากลุ่มสินค้าหรือข้อตกลงเอง |
ตรวจสิทธิ์ก่อนส่งหลักฐานเข้าโมเดล
การค้นต้องอิงสิทธิ์ของพนักงานที่ยืนยันตัวตนแล้ว ไม่ควรรับชื่อแผนกที่ผู้ใช้กรอกมาเป็นหลักฐานว่าอยู่แผนกนั้น และไม่ควรค้นเอกสารทุกชิ้นเข้ามาก่อนแล้วค่อยสั่งโมเดลว่าอย่าเปิดเผยส่วนที่ห้ามอ่าน
แนวทาง Security filter ของ Microsoft ใช้ตัวระบุมากรองผลค้นหา แต่ย้ำว่าข้อความตัวระบุไม่ได้ทำหน้าที่ยืนยันตัวตนเอง แอปจึงยังต้องตรวจว่าใครกำลังใช้งานและส่งตัวกรองที่ถูกต้องทุกครั้ง โดยเฉพาะเมื่อหลายทีมหรือลูกค้าหลายรายใช้ดัชนีร่วมกัน
ต้องตรวจเส้นทางอื่นด้วย ทั้งคำตอบในแคช คำถามแนะนำ หน้าตัวอย่างอ้างอิง และลิงก์ไฟล์โดยตรง รวมถึงกรณีสิทธิ์เปลี่ยน พนักงานที่ออกจากโครงการแล้วไม่ควรอ่านคำตอบของโครงการนั้นต่อได้ เพียงเพราะระบบเคยเก็บผลไว้ก่อนหน้า
ทำอ้างอิงให้คนตรวจคำตอบได้จริง
อ้างอิงที่มีประโยชน์ควรพาไปยังส่วนที่รองรับข้อความ พร้อมระบุหัวข้อ รุ่น หรือหน้า การลิงก์เพียงหน้าแรกของเอกสารอาจดูน่าเชื่อถือ แต่ยังทิ้งให้ผู้อ่านหาเองทั้งไฟล์ จึงควรเก็บตำแหน่งข้อความที่ใช้และบริบทมากพอให้เข้าใจเงื่อนไข
สำหรับคำถามส่งสินค้าทดแทน คำตอบต้องบอกทั้งเงื่อนไขที่อนุญาตและข้อยกเว้นที่ทำให้ใช้ไม่ได้ หากแหล่งข้อมูลที่ยังมีผลสองชิ้นขัดกัน ควรแสดงจุดขัดแย้งและส่งให้เจ้าของนโยบายตรวจ ไม่เลือกย่อหน้าที่เขียนมั่นใจกว่าเอง
สุ่มตรวจเป็นรายข้อกล่าวอ้างว่า แหล่งที่อ้างรองรับประโยคนั้นจริงหรือไม่ ใช้กับสินค้าหรือวันที่นี้ได้หรือไม่ และมีคำสัญญาด้านบริการที่ต้นทางไม่ได้ระบุเพิ่มเข้ามาหรือไม่ การนับว่าคำตอบมีลิงก์กี่อันจะไม่พบปัญหาเหล่านี้
เริ่มจากความรู้ขอบเขตเล็กและรักษาให้ปัจจุบัน
เลือกพื้นที่ความรู้ที่มีผู้ดูแลชัดเจนก่อน แยกสถิติคำถามที่ตอบไม่ได้ ค้นพลาด และเอกสารล้าสมัยออกจากกัน คำถามที่ตอบไม่ได้อาจหมายถึงบริษัทยังไม่มีนโยบายเรื่องนั้น ไม่ใช่โมเดลต้องรับข้อความได้ยาวขึ้นเสมอ นำสิ่งที่พบกลับไปให้เจ้าของข้อมูลปรับต้นทางด้วย
เมื่อจะเพิ่มคลังเอกสารใหม่ ควรมีผู้ดูแลที่ระบุรุ่นและสิทธิ์ได้ บันทึกการตั้งค่าขั้นอ่านเอกสาร ค้นหา และตอบไว้ เพื่อเทียบเมื่อเปลี่ยนส่วนใดในอนาคต เป้าหมายคือเส้นทางจากคำถามธุรกิจไปสู่หลักฐานที่เปิดตรวจได้ ไม่ใช่เพียงกล่องแชทที่ตอบทุกเรื่อง
อ่านต่อเรื่องกำหนดระบบเจ้าของข้อมูลธุรกิจ หากข้อมูลต้นทางยังขัดกัน และเรื่องพื้นที่ AI กลางของทีม เมื่อต้องวางวิธีใช้งานร่วมกัน
Talvyn Labs ช่วยพัฒนาผู้ช่วยค้นความรู้จากเอกสารจริงและขอบเขตสิทธิ์ของธุรกิจ นำคำถามที่พนักงานต้องส่งต่อบ่อยกับแหล่งข้อมูลอนุมัติมาทดลองค้น วางเกณฑ์หลักฐาน และสร้างเครื่องมือที่ทีมใช้ตัดสินใจจากคำตอบที่ตรวจที่มาได้
ให้ทีมค้นความรู้ของธุรกิจได้ พร้อมหลักฐานที่ตรวจต่อได้
นำคำถามที่ทีมต้องถามซ้ำและเอกสารอนุมัติให้ Talvyn Labs ทดลอง RAG วางสิทธิ์และการดูแลข้อมูล แล้วพัฒนาผู้ช่วยที่ใช้ในงานจริง
เริ่มทำ AI ค้นความรู้ของธุรกิจ