TensorFlow Keras Tokenizer APIஐ அடிக்கடி வார்த்தைகளைக் கண்டறிய பயன்படுத்த முடியுமா?
ஞாயிற்றுக்கிழமை, 14 ஏப்ரல் 2024
by அங்கார்ப்
TensorFlow Keras Tokenizer API ஆனது உரையின் கார்பஸில் அடிக்கடி வரும் சொற்களைக் கண்டறியப் பயன்படுத்தப்படலாம். டோக்கனைசேஷன் என்பது இயற்கை மொழி செயலாக்கத்தில் (NLP) ஒரு அடிப்படை படியாகும், இது மேலும் செயலாக்கத்தை எளிதாக்குவதற்கு உரையை சிறிய அலகுகளாக, பொதுவாக சொற்கள் அல்லது துணை வார்த்தைகளாக உடைப்பதை உள்ளடக்குகிறது. டென்சர்ஃப்ளோவில் உள்ள டோக்கனைசர் ஏபிஐ திறமையான டோக்கனைசேஷனை அனுமதிக்கிறது
- வெளியிடப்பட்ட செயற்கை நுண்ணறிவு, EITC/AI/TFF டென்சர்ஃப்ளோ அடிப்படைகள், டென்சர்ஃப்ளோவுடன் இயற்கை மொழி செயலாக்கம், டோக்கனைசேஷன்
குறித்துள்ளார்:
செயற்கை நுண்ணறிவு, ஆணுக்கு, TensorFlow, உரை பகுப்பாய்வு, டோக்கனைசர் ஏபிஐ, வார்த்தை அதிர்வெண்