Chương 3. ỨNG DỤNG TRA CỨU VĂN BẢN TIẾNG VIỆT
3.2. Xây dựng tập dữ liệu
Để đảm bảo tính chính xác cao trong việc xây dựng tập thuật ngữ chuyên ngành, tôi sử dụng phương pháp thống kê từ những văn bản chuyên ngành và từ điển chuyên ngành, bởi các phương pháp sinh từ tự động chỉ mang lại kết quả tương đối.
3.2.1 Tập dữ liệu từ dừng.
Bảng StopWord – từ dừng:
bạn chính
tôi vậy vậy là Vài mà chưa cần thật ra từ thế
nên họ tao vậy thì vậy
mà Ít với nhất đã thật là đang có
mày mày giữa thế là sau tại qúa vừa theo bất mặt
khác
tôi mầy cuối thế
nhưng
đằng
sau một chính cùng chiếc bằng đều
nó tớ cuối
cùng
nhưng mà
đằng
trước nhiều hiện
nay gồm đủ hãy liên
tục
anh mi trừ khi mà bên
trên do hoàn
toàn
bao
gồm lúc
trước liên tiếp
sẵn sàng
chị vâng khi cũng bên
dưới do vậy ví dụ cái gì trước
lúc bất kì bất cứ
cái dạ để vậy nhiều vậy
nên
vân
vân vì trước
khi mãi tại
cuộc thì thế do đó thậm
chí cho gì bởi vì tuy
nhiên
mặc
dù đâu
anh ta là thế
nhưng lại ngay khi
cho
nên còn do vì tuy vậy một đó cô ấy mà thế mà lẫn trong
lúc cho là bao giờ
đồng
thời tuy hai đây
chính
anh bị vậy mà
về phía trên
lúc cho
rằng cái ở mặc dù ba ai
chính
chị được vậy thế trong lúc ấy rằng là làm cụ thể trời ơi bốn chính là nếu thế thì dưới vào lúc năm lên vẫn là ôi số
của tôi khi vậy thì ngoài trong
khi sáu tức sẽ dù về mặt
của
mày này thôi thì sau dù bảy tức là tuy rằng
bất
chấp tự của bạn nọ vậy
thôi trước mặc dù nãy nữa tuy là không mọi
bạn đó vân
vân trái dù là hồi nãy luôn tuy
vậy chẳng như của đây tiếp
theo phải dù cho nè luôn
luôn nên những nhau chúng vì thế tiếp
đến bên dù thế tức thì ối
trời tám các hơn
chúng
tôi vì vậy kế tiếp bên
trái thuộc ngay ối chín hỡi sự
chúng
tao lại tiếp tục bên
phải khoảng tức
khắc ơ mặc
kệ hầu hết rất chúng phải mãi mặc khoảng
thì ra ơ kìa nữa mỗi rằng
mày là chừng hay chúng
nó vẫn thôi thì bởi ngay cả ấy hoặc rồi tuy thế
đấy
3.2.2 Tập dữ liệu từ chuyên ngành.
Bảng Từ chuyên ngành:
Từ Lĩnh
vực Từ Lĩnh vực Từ Lĩnh vực Từ Lĩnh
vực Từ Lĩnh vực bộ nhớ CNTT giáo sư Giáo Dục buôn bán Kinh Tế Y tế Y Tế Cổ Y Tế bộ xử lý CNTT giáo
trình Giáo Dục cân đối Kinh Tế Trạm Y tế Y Tế Ruột Y Tế cấu hình CNTT bộ môn Giáo Dục cạnh
tranh Kinh Tế Tuyến cơ
sở Y Tế Máu Y Tế
chat CNTT cao học Giáo Dục cổ đông Kinh Tế Gan Y Tế Khớp Y Tế chip CNTT hiệu
trưởng Giáo Dục cổ phần Kinh Tế Thận Y Tế Đỏ Y Tế chương
trình CNTT học kì Giáo Dục cổ phiếu Kinh Tế Phổi Y Tế Tấy Y Tế chuột CNTT học phí Giáo Dục công
nghiệp Kinh Tế Tim Y Tế Dinh
dưỡng Y Tế code CNTT học sinh Giáo Dục công
nhân Kinh Tế Xương Y Tế Còi
cương Y Tế công
nghệ CNTT học tập Giáo Dục công suất Kinh Tế Chân Y Tế Thấp Y Tế đĩa mềm CNTT học vấn Giáo Dục công ty Kinh Tế Tay Y Tế Cao Y Tế
đĩa
quang CNTT kết quả Giáo Dục đầu tư Kinh Tế Miệng Y Tế Chẩn
đoán Y Tế đĩa từ CNTT cao đẳng Giáo Dục doanh
nghiệp Kinh Tế Tai Y Tế Hô hấp Y Tế dữ liệu CNTT khoa học Giáo Dục du lịch Kinh Tế Mũi Y Tế Ngừng
thở Y Tế hệ điều
hành CNTT kĩ thuật Giáo Dục gdp Kinh Tế Họng Y Tế Khó
thở Y Tế internet CNTT giáo án Giáo Dục giá cả Kinh Tế Da Y Tế Mẩn
ngứa Y Tế lan CNTT kì thi Giáo Dục dám đốc Kinh Tế Mề day Y Tế Vết
thương Y Tế link CNTT kiến thức Giáo Dục giao dịch Kinh Tế Phù Y Tế Băng
bó Y Tế mã CNTT môn học Giáo Dục hàng hóa Kinh Tế Xương Y Tế Truyền Y Tế mail CNTT nghiên
cứu Giáo Dục hội nhập Kinh Tế Ăn Y Tế Thở Y Tế màn hình CNTT thí sinh Giáo Dục kế toán Kinh Tế Uống Y Tế Chiều
cao Y Tế mạng CNTT sinh viên Giáo Dục kiểm
toán Kinh Tế Chết Y Tế Cân
nặng Y Tế máy chủ CNTT tốt
nghiệp Giáo Dục kinh
doanh Kinh Tế Hô hấp Y Tế Cận thị Y Tế máy tính CNTT thạc sĩ Giáo Dục kinh tế Kinh Tế Rách Y Tế Gày Y Tế microsoft CNTT luận văn Giáo Dục lạm phát Kinh Tế khâu Y Tế Canxi Y Tế modem CNTT trung Giáo Dục lao động Kinh Tế oxi Y Tế Hộ Y Tế
học sinh ngoại vi CNTT trường Giáo Dục lợi nhuận Kinh Tế Hen xuyễn Y Tế Cấp
cứu Y Tế phần
mềm CNTT thực tập Giáo Dục lương Kinh Tế Chức năng Y Tế Sốt Y Tế thông tin CNTT chuyên
môn Giáo Dục lương
thực Kinh Tế Dạ dày Y Tế Co giật Y Tế thư từ CNTT thi tốt
nghiệp Giáo Dục mua Kinh Tế Cấu tạo Y Tế Vệ sinh Y Tế thuật
toán CNTT cử nhân Giáo Dục năng suất Kinh Tế đo Y Tế Sản Y Tế tin học CNTT giáo viên Giáo Dục ngân
hàng Kinh Tế Y sỹ Y Tế Lây Y Tế trực
tuyến CNTT gia sư Giáo Dục ngoại
thương Kinh Tế Bệnh viện Y Tế I ốt Y Tế truyền
thông CNTT tiến sĩ Giáo Dục nhập
khẩu Kinh Tế Cảm cúm Y Tế Trẻ em Y Tế virus CNTT toán học Giáo Dục nông
nghiệp Kinh Tế Ho Y Tế viên Y Tế website CNTT giảng
dạy Giáo Dục quản lý Kinh Tế Dịch tễ Y Tế Siro Y Tế windows CNTT giảng
đường Giáo Dục sản phẩm Kinh Tế Ngoại Y Tế Tạng
phủ Y Tế server CNTT giảng
viên Giáo Dục sản xuất Kinh Tế Truyền
nhiễm Y Tế Thanh
nhiệt Y Tế ram CNTT đại học Giáo Dục tài chính Kinh Tế Thí
nghiệm Y Tế Máu
mủ Y Tế online CNTT giáo dục Giáo Dục tăng
trưởng Kinh Tế Liều cao Y Tế Y học cổ
truyền Y Tế thanh
toán Kinh Tế Người già Y Tế Nan y Y Tế thị
trường Kinh Tế Lọ Y Tế Bát
quoái Y Tế thuế Kinh Tế Đông dược Y Tế Thuốc Y Tế thương
mại Kinh Tế Tắc nghẽn Y Tế Xoa Y Tế tỉ giá Kinh Tế Nhiễm
khuẩn Y Tế Bóp Y Tế tiền
lương Kinh Tế Sưng Y Tế Bấm
huyệt Y Tế tền tệ Kinh Tế Gãy Y Tế Thùy Y Tế tiêu dùng Kinh Tế Bàn tay Y Tế Động
mạch Y Tế tín dụng Kinh Tế Bàn chân Y Tế Tĩnh
mạch Y Tế vật tư Kinh Tế Tóc Y Tế Huyết Y Tế
xuất
khẩu Kinh Tế Đầu Y Tế Phế
quản Y Tế Kháng sinh Y Tế Còi
xương Y Tế Đặc trị Y Tế Béo Y Tế Dược sỹ Y Tế Mỡ Y Tế
Dân số Y Tế Tế bào Y Tế Đa khoa Y Tế AND Y Tế Dược tá Y Tế Gen Y Tế Dược liệu Y Tế Mạch
máu Y Tế Kiểm
nghiệm Y Tế Phế
nang Y Tế
Nội Y Tế Bế Y Tế
Nhi Y Tế Chuyển hóa Y Tế Bụng Y Tế
Trao đổi
chất Y Tế Muối Y Tế Không
khí Y Tế Người lớn Y Tế Kinh
lạc Y Tế ống Y Tế Khó
chịu Y Tế Âm dương Y Tế vai Y Tế
3.2.3 Tập dữ liệu văn bản huấn luyện.
Văn bản huấn luyện được lựa chọn trên nhiều lĩnh vực: Công nghệ thông tin, giáo dục, y tế, kinh tế ...
Số lượng văn bản huấn luyện: trên 600 văn bản.