เรียกใช้ Hugging Face tokenizers เป็นโมดูลการอนุมาน OpenVINO แบบเนทีฟ
แปลง Hugging Face tokenizers เป็น OpenVINO IR models และทำการ tokenization โดยตรงภายใน inference pipeline โดยการลบการ preprocessing ที่ใช้เฉพาะ Python ออกจากเส้นทางการปรับใช้ Intel Corporation จัดหา extension นี้เพื่อฝัง tokenization และ detokenization ภายใน OpenVINO โดยมี Python และ C++ APIs ฟังก์ชันหลักประกอบด้วยการแปลง IR, pipelines ที่รวม tokenizer+model, และการดำเนินการ regex/normalization ที่กำหนดเอง เครื่องมือนี้มุ่งเป้าไปที่นักพัฒนา AI และวิศวกรที่ต้องการการปรับใช้ LLM ที่เบาและใช้ C++ บนฮาร์ดแวร์ Intel สำหรับสถานการณ์การผลิตหรือ edge.
แปลงตรรกะของตัวแบ่งคำเป็นโมเดล OpenVINO สำหรับการใช้งานในท่อส่งข้อมูลพื้นเมือง
เครื่องมือนี้แปลงตัวแบ่งคำของ Hugging Face เป็นโมเดล OpenVINO Intermediate Representation ทำให้การแบ่งคำทำงานภายใน OpenVINO runtime แทนที่จะเป็นขั้นตอน Python ภายนอก การแปลงรองรับอัลกอริธึมตัวแบ่งคำทั่วไป เช่น Byte-Pair Encoding, WordPiece และ SentencePiece คุณสามารถรวม IR ของตัวแบ่งคำกับโมเดลหลักได้ ดังนั้นลำดับการอนุมานเดียวจะจัดการกับการป้อนข้อมูลข้อความผ่านการแบ่งคำไปยังผลลัพธ์ของโมเดล ลดขั้นตอนการประมวลผลภายนอก
การอนุมานเฉพาะ CPU สำหรับตัวแบ่งคำมีผลต่อทางเลือกในการปรับใช้
ตัวแบ่งคำทำงานบน CPU ภายใน OpenVINO runtime ซึ่งมีอิทธิพลต่อที่ที่คุณวางการประมวลผลข้อความในระบบที่มีความหลากหลาย ในขณะที่โมเดล AI หลักสามารถกำหนดเป้าหมายไปที่ CPU, GPU หรือ NPU ส่วนประกอบตัวแบ่งคำทำงานบนโปรเซสเซอร์ ดังนั้นให้วางแผนความสามารถของ CPU ตามความเหมาะสมสำหรับงานข้อความที่มีปริมาณมากหรือต่ำ-หน่วงเวลา ส่วนขยายนี้ได้รับการปรับให้เหมาะสมสำหรับโปรเซสเซอร์ Intel และถือว่ามี OpenVINO runtime พร้อมใช้งานบนโฮสต์
ทำงานโดยไม่มีการพึ่งพา Python เหมาะสำหรับการสร้างผลิตภัณฑ์ C++
โครงการนี้เปิดเผย API ทั้ง Python และ C++ และเปิดใช้งานท่อส่งการอนุมาน C++ ที่เป็นพื้นเมืองโดยการลบไลบรารีตัวแบ่งคำ Python ของบุคคลที่สามออกจากการผลิต สำหรับทีมที่ฝัง LLM ในแอปพลิเคชัน C++ หรือเฟิร์มแวร์ขอบ จะช่วยลดการพึ่งพา runtime ภายนอก สำหรับสภาพแวดล้อม C++ ตัวแบ่งคำสามารถสร้างจากซอร์สหรือใช้เป็นส่วนขยายไบนารี ซึ่งตรงกับกระบวนการสร้างพื้นเมืองทั่วไป
ความปลอดภัย ตัวเลือกการประมวลผล และการรวมเข้ากับ OpenVINO GenAI
เครื่องมือนี้รองรับขั้นตอนการประมวลผลที่กำหนดได้ เช่น การทำความสะอาดและการปรับมาตรฐานที่ใช้ regex ภายใน IR ของตัวแบ่งคำ ซึ่งรักษากระแสการอนุมานแบบอ่านอย่างเดียวสำหรับการจัดการข้อความ มันรวมเข้ากับ OpenVINO GenAI และ Optimum Intel เพื่อให้การแบ่งคำสอดคล้องกับการปรับใช้โมเดล โครงการนี้ได้รับการดูแลรักษาอย่างต่อเนื่องโดย Intel และตั้งเป้าหมายเพื่อลดขนาดการปรับใช้ในขณะที่ยังคงการประมวลผลภายในขอบเขตการอนุมาน
ใช้งานได้จริงสำหรับการผลิต C++ LLM การปรับใช้ โดยมีการแลกเปลี่ยน CPU
เครื่องมือนี้เหมาะสำหรับนักพัฒนาที่ต้องการลบการพึ่งพา Python runtime และทำการแบ่งโทเค็นภายในท่อการอนุมาน และการบำรุงรักษาอย่างต่อเนื่องโดย Intel สนับสนุนการอัปเดตสถาปัตยกรรมอย่างต่อเนื่อง การแลกเปลี่ยนที่สำคัญเพียงอย่างเดียวคือการอนุมานของตัวแบ่งโทเค็นทำงานบน CPU ดังนั้นทีมงานต้องจัดเตรียมความจุของโปรเซสเซอร์เมื่อจัดการกับปริมาณคำขอสูงหรือการประมวลผลแบบกลุ่มขนาดใหญ่ สำหรับการผลิต C++ หรือการสร้างขอบที่ให้ความสำคัญกับการพึ่งพา runtime ที่น้อยที่สุด เครื่องมือนี้มอบข้อได้เปรียบในการดำเนินงานที่ชัดเจนภายใต้ข้อจำกัดนั้น
