NLTK நூலகத்தை ஒரு வாக்கியத்தில் வார்த்தைகளை டோக்கனைஸ் செய்ய எப்படி பயன்படுத்தலாம்?
செவ்வாய், 08 ஆகஸ்ட் 2023 by EITCA அகாடமி
இயற்கை மொழி கருவித்தொகுப்பு (NLTK) என்பது இயற்கை மொழி செயலாக்க (NLP) துறையில் உள்ள ஒரு பிரபலமான நூலகமாகும், இது மனித மொழித் தரவை செயலாக்க பல்வேறு கருவிகள் மற்றும் ஆதாரங்களை வழங்குகிறது. NLP இன் அடிப்படைப் பணிகளில் ஒன்று டோக்கனைசேஷன் ஆகும், இது ஒரு உரையை தனிப்பட்ட சொற்கள் அல்லது டோக்கன்களாகப் பிரிப்பதை உள்ளடக்குகிறது. NLTK டோக்கனைஸ் செய்ய பல முறைகள் மற்றும் செயல்பாடுகளை வழங்குகிறது
- வெளியிடப்பட்ட செயற்கை நுண்ணறிவு, EITC/AI/DLTF டென்சர்ஃப்ளோவுடன் ஆழமான கற்றல், TensorFlow, தரவை செயலாக்குகிறது, தேர்வு ஆய்வு
குறித்துள்ளார்: செயற்கை நுண்ணறிவு, என்.எல்.டி.கே, பங்க்ட்லாங்குவேஜ் வர்ஸ், RegexpTokenizer, டோக்கனைசேஷன், Word_tokenize

