Trong quá trình xử lý tiếng nói tự nhiên, chúng ta sẽ với nhu cầu so sánh những từ (token) với nhau. Việc so sánh này tưởng nghe đâu đơn thuần là lấy 2 chuỗi ký tự và sử dụng phép “==” để rà soát, nhưng thực tế thì ko phải là tương tự. Đối với một số tiếng nói, tiêu biểu là tiếng Anh, mỗi từ với thể với nhiều biến thể khác nhau. Điều này làm cho việc so sánh giữa những từ là ko thể mặc dù về mặc ý nghĩa cơ bản là như nhau. Ví dụ những từ “walks“, “walking“, “walked” đều là những biến thể của từ “walk” và đều mang ý tức là “đi bộ”. Vậy làm sao để so sánh những từ như thế với nhau? Lemmatization và Stemming chính là 2 kỹ thuật thường được sử dụng cho việc này.
Stemming
Stemming là kỹ thuật sử dụng để biến đổi 1 từ về dạng gốc (được gọi là stem hoặc root form) bằng cách hết sức đơn thuần là loại bỏ 1 số ký tự nằm ở cuối từ mà nó nghĩ rằng là biến thể của từ. Ví dụ như chúng ta thấy những từ như walked, walking, walks chỉ khác nhau là ở những ký tự cuối cùng, bằng cách bỏ đi những hậu tố -ed, -ing hoặc -s, chúng ta sẽ được từ nguyên gốc là walk. Người ta gọi những bộ xử lý stemming là Stemmer.
Bởi vì nguyên tắc hoạt động của stemmer rất là đơn thuần tương tự cho nên tốc độ xử lý của nó rất là nhanh, và kết quả stem thỉnh thoảng ko được như chúng ta mong muốn. Chẳng hạn như từ goes sẽ được stem thành từ goe (bỏ chữ s cuối từ) trong lúc đó stem của từ go vẫn là go, kết quả là 2 từ “goes” và “go” sau lúc được stem thì vẫn ko giống nhau. Một nhược điểm khác là nếu những từ dạng bất quy tắt như went hay spoke thì stemmer sẽ ko thể đưa những từ này về dạng gốc là go hay speak.
Bạn đang đọc: NLP – Stemming và Lemmatization
Tuy với những điểm yếu kém như trên nhưng trong thực tiễn Stemming vẫn được sử dụng khá phổ cập trong NLP vì nó với véc tơ vận tốc tức thời khắc phục và xử lý nhanh và hiệu quả ở đầu cuối nhìn chung ko hề tệ lúc so với Lemmatization .
Lemmatization
Khác với Stemming là xử lý bằng cách loại bỏ những ký tự cuối từ một cách rất heuristic, Lemmatization sẽ xử lý thông minh hơn bằng một bộ tự điển hoặc một bộ ontology nào đó. Điều này sẽ đảm bảo rằng những từ như “goes“, “went” và “go” sẽ kiên cố với kết quả trả về là như nhau. Kể những từ danh từ như mouse, mice cũng đều được đưa về cùng một dạng như nhau. Người ta gọi bộ xử lý lemmatization là lemmatizer
Nhược điểm của lemmatization là véc tơ vận tốc tức thời khắc phục và xử lý khá chậm vì phải thực thi tra cứu từ trong cơ sở vật chất tài liệu. Trong những ứng dụng khắc phục và xử lý NLP mà cần độ đúng chuẩn cao hơn và thời hạn ko quan yếu, người ta hoàn toàn với thể sử dụng Lemmatization .
Trong tiếng Việt
Một tin vui là so với tiếng Việt thì tất cả chúng ta ko cần phải sử dụng 2 kỹ thuật này vì mỗi từ tiếng Việt nó ko với những biến thể khác nhau ( dựa trên hiểu biết của bản thân mình ). Vì thế nếu bạn đang làm một ứng dụng NLP cho tiếng Việt thì cũng đừng lo về việc này, chỉ lúc nào khắc phục và xử lý ngôn từ như tiếng Anh thì chắc như đinh tất cả chúng ta sẽ phải chăm sóc tới chúng .
Nếu muốn tìm hiểu thêm về Stemming và Lemmatization, những bạn với thể đọc bài viết này: http://textminingonline.com/dive-into-nltk-part-iv-stemming-and-lemmatization. Bộ NLTK của Python cũng đã với sẵn những thư viện thực hiện stemming và lemmatization cho tiếng Anh nên việc tích hợp vào những ứng dụng khá thuận tiện.
Xem thêm: Vốn góp tiếng anh là gì?
San sớt:
Thích bài này:
Thích
Đang tải …
Source: https://bloghong.com
Category: Là Gì
Trọng tài biên căng cờ báo việt vị
Trong hình vẽ, cầu thủ màu xanh đứng trong vòng cấm địa ko ở trong ” tư thế việt vị “, do tại anh ta đứng phía sau trái bóng, mặc kệ việc anh ta đứng trước hàng loạt cầu thủ đối phương, trừ một cầu thủ ở đầu cuối. Nếu anh ta đứng phía trước trái bóng thì sẽ ở tư thế việt vị, ko tương quan tới việc cầu thủ chuyền bóng đứng ở vị trí nào so với cầu thủ đối phương .
FnB là gì? Vai trò của FnB đối với ngành khách sạn
Đáp ứng nhu cầu ăn uống của du khách
Thẻ Mastercard và thẻ VISA là gì? Vì sao lại khác nhau? (Nguồn: Timo)
Thẻ VISA và MasterCard ảo sở hữu phải là xu hướng mới ko? (Nguồn: Internet)
Bạn đã nắm rõ được ưu nhược điểm của thẻ Mastercard và thẻ Visa là gì chưa (Nguồn: Internet)
Tận hưởng nhiều ưu đãi lúc mở thẻ VISA/MasterCard (Nguồn: Timo)
Thẻ Visa hay thẻ MasterCard- Đâu mới là sự lựa chọn tốt (Nguồn: Internet)
Lễ Thất Tịch gắn liền với sự tích Ngưu Lang Chức Nữ. Ảnh: PinterestNhưng một ngày kia, Chức Nữ phải trở lại thiên tào theo lệnh của Ngọc Đế. Ngưu Lang khổ đau đuổi theo, nhưng bị chặn lại bởi con sông Thiên Hà, ranh giới giữa hai cõi phàm tiên. Thế rồi Ngưu Lang nhất định ở đó chờ đón, mãi ko chịu rời đi .Từ đó, kế bên sông Thiên Hà mang thêm một vì sao, mọi người gọi đó là sao Ngưu Lang. Vương Mẫu vì cảm thương tấm chân tình của Ngưu Lang, đã đồng ý chấp thuận cho họ mỗi năm vào ngày Thất tịch ( 7.7 âm lịch ) được gặp nhau một lần .
Nhiều bạn trẻ thường ăn chè đậu đỏ trong ngày Thất tịch ở Việt Nam. Ảnh: Ngọc LêNgày lễ Thất tịch tại Nhật Bản được gọi là lễ Tanabata. Vào ngày này, người Nhật sẽ viết mong ước của mình vào những mảnh giấy đầy sắc tố Tanzaku rồi treo lên cành trúc trước cửa nhà để cầu mong trót lọt, vụ mùa bội thu và sự thịnh vượng. Những bạn trẻ cũng tới những đền thờ trong đợt nghỉ lễ Tanabata để nguyện cầu, mong tìm được ý trung nhân .Ngày lễ Thất tịch đã sống sót trong văn hóa truyền thống người Nước Ta từ khá lâu. Trong ngày này nhiều người đã kiêng kỵ cưới hỏi vì sợ gặp phải những điều ko trót lọt như Ngưu Lang và Chức Nữ. Thay vào đó người ta thường đi chùa cầu duyên để cầu mong những điều tốt đẹp, sự bình an và gặp thuận tiện trong con đường tơ duyên .Ngoài ra, giới trẻ cũng thường truyền mồm nhau rằng ăn chè đậu đỏ để kỳ vọng tình yêu lứa đôi thêm vững bền và kiên cố hay người đơn thân tìm được tơ duyên cho bản thân.