Từ tìm kiếm đến dịch thuật, nghiên cứu AI đang nâng cao các sản phẩm Microsoft

1/10/2020

Công cuộc đầu tư của Microsoft vào nghiên cứu tìm hiểu ngôn ngữ tự nhiên đang phát triển cách Bing trả lời câu hỏi tìm kiếm “Bức tranh Mona Lisa đáng giá bao nhiêu?”

Hình ảnh: Musée du Louvre/Wikimedia Commons

Cho đến gần đây, một công ty đa quốc gia đang tìm cách giúp khách hàng trên toàn thế giới đặt chuyến du lịch quốc tế sẽ phải xây dựng các chatbot riêng biệt từ đầu đến trò chuyện bằng tiếng Pháp, tiếng Hindi, tiếng Nhật hoặc các ngôn ngữ khác.

Nhưng nhờ những đột phá nghiên cứu trí tuệ nhân tạo đã cho phép các thuật toán phân tích các sắc thái chính xác hơn theo cách các ngôn ngữ khác nhau diễn đạt các khái niệm hoặc cấu trúc câu, giờ đây có thể xây dựng một bot duy nhất và sử dụng Microsoft Translator để dịch câu hỏi và câu trả lời đủ chính xác để sử dụng trong nhiều quốc gia.

Trong vài năm qua, các nhà nghiên cứu chuyên sâu của Microsoft là những người đầu tiên đạt được các mốc tương đương của con người trong việc phát triển các thuật toán có thể thực hiện cũng như một người trong bài kiểm tra điểm chuẩn nghiên cứu nhận dạng giọng nói đàm thoại, đọc hiểu, dịch bài báo và các nhiệm vụ hiểu ngôn ngữ đầy thách thức khác. Giờ đây, lợi ích của những đột phá nghiên cứu AI đang tiến đến các sản phẩm từ Azure đến Bing.

Các kỹ sư tìm kiếm đang mượn bài học từ các nhà nghiên cứu AI của Microsoft, người đã phát triển một mô hình mạng thần kinh chuyên sâu mới có thể học hỏi từ nhiều nhiệm vụ hiểu ngôn ngữ tự nhiên cùng một lúc. Họ đã áp dụng các bài học đó để nâng cao những câu trả lời và caption trong kết quả tìm kiếm Bing và trả lời câu hỏi của các trang SharePoint trong công ty. Một mô hình AI mới đã thể hiện rất tốt trong thử thách nhận dạng người nói để nhận biết người nói từ lời nói thực tế đang được tích hợp vào Speaker Recognition Cognitive Service của Azure.

Eric Boyd, Phó chủ tịch tập đoàn Microsoft, Azure AI, nói rằng “Đây thực sự chỉ là giới thiệu gần đây của các mô hình học chuyên sâu mới cho phép hiểu ngôn ngữ để cải thiện đáng kể. Những công việc mà chúng tôi hiện có thể làm trong các sản phẩm của mình vì những đột phá nghiên cứu này là những điều mà trước đây đã không hoạt động tốt hoặc chúng tôi thường không thể làm được.”

Trên toàn công ty, ông ấy có thể chỉ ra các ví dụ về các sản phẩm Azure AI phát triển từ các nhà nghiên cứu giải quyết các thách thức hóa ra cũng hữu ích cho khách hàng – như khả năng học qua máy móc tự động của Azure giúp đơn giản hóa đáng kể quá trình xây dựng mô hình hoặc Dịch vụ nhận thức cá nhân hóa của Azure dễ dàng cung cấp nội dung có liên quan cho người dùng. Ông nói, mô hình học tăng cường sau này ban đầu được phát triển bởi các nhà nghiên cứu, đã được chứng minh trong nội bộ và cuối cùng được xây dựng thành một sản phẩm cho khách hàng cloud Azure.

Ông Boyd nói, “Không gian này di chuyển nhanh đến mức bạn thực sự cần phải chạm vào suy nghĩ mới nhất, và đó là một vị trí rất đặc quyền để có một đội quân siêu tài năng khổng lồ được thúc đẩy theo nhiều cách khác nhau này của Microsoft Research. Vì vậy công việc thực sự của chúng tôi là tìm ra những nơi thú vị nhất để có thể áp dụng lên các sản phẩm và, mặt khác, cũng là để cung cấp cho họ hướng dẫn về những gì thực sự tạo ra sự khác biệt lớn nhất đối với chúng tôi.”

Chẳng hạn, trong lĩnh vực dịch thuật, các nhà nghiên cứu của Microsoft năm 2018 là người đầu tiên chứng minh rằng AI có thể phù hợp với hiệu suất của con người trong việc dịch các bài báo từ tiếng Trung sang tiếng Anh trên một bộ thử nghiệm thường được sử dụng. Ngay khi nhóm đạt được cột mốc nghiên cứu lịch sử đó, họ đã bắt đầu điều chỉnh mô hình để hoạt động trong Microsoft Translator, cung cấp dịch vụ Nhận thức Azure phải hoạt động tức thời và dịch nhiều loại văn bản từ tài liệu nghiên cứu lịch sử sang các trang web du lịch và sản xuất hướng dẫn sử dụng. Các cải tiến sản phẩm đã được triển khai trong chín cặp ngôn ngữ đầu tiên vào tháng 6, để dịch sang tiếng Anh và tám ngôn ngữ mới vào tháng 11. Ví dụ, bản dịch tiếng Anh sang tiếng Pháp đã được cải thiện 9%, tiếng Anh sang tiếng Hindi tăng 9%, tiếng Bengali sang tiếng Anh tăng 11%, tiếng Urdu sang tiếng Anh tăng 15% và tiếng Anh sang tiếng Hàn tăng 22%.
Ngay cả các mô hình mạnh trước đây như Bồ Đào Nha và Thụy Điển đã thấy chất lượng tăng đáng kể. Trong một ví dụ, mô hình dịch máy cải tiến dịch chính xác một câu từ tiếng Pháp là: “Arsenal manager Arsene Wenger believes ‘the signs are promising’ for his three injured midfielders who are due to recover for Sunday’s game against Chelsea.” Mô hình trước đó đã dịch nó theo cách này: “Arsenal’s Director Arsene Wenger thinks ‘signs are promising’ for his three wounded terrain backgrounds that need to be plumb for the game against Chelsea on Sunday.”

Kỹ sư nổi tiếng của Microsoft - Arul Menezes, người sáng lập Microsoft Translator nói rằng “Với những loại cải tiến này, nó có tính khả thi cao hơn nhiều, ví dụ, một tài liệu nhân sự mà Google viết bằng một ngôn ngữ, sử dụng bản dịch máy để chuyển đổi nó sang ngôn ngữ khác và chỉ cần đăng tài liệu mà không cần chỉnh sửa bổ sung. Hoặc cho một kỹ sư làm việc trong một nhà máy với một thiết bị hỏng để giao tiếp với một chuyên gia trong văn phòng tại nhà, người nói một ngôn ngữ khác.

Menezes nói. “Chúng tôi thực sự đang đạt đến điểm mà dịch tự động chỉ hoạt động và rất nhiều khách hàng đang sử dụng nó cho các ứng dụng mới mà họ chưa từng nghĩ là có thể trước đây.”

Câu gốc	Bản dịch của con người	Bản dịch máy trước đây	Bản dịch máy được cải thiện với Mô hình AI Mới
Le directeur d’Arsenal Arsene Wenger pense que ‘les signes sont prometteurs’ pour ses trois milieux de terrains blessés qui doivent être remis d’aplomb pour le match contre Chelsea dimanche.	Arsenal manager Arsene Wenger believes the ‘signs look quite good’ for his three injured midfielders as they face a race to be fit for the Chelsea game on Sunday.	Arsenal’s Director Arsene Wenger thinks ‘signs are promising’ for his three wounded terrain backgrounds that need to be plumb for the game against Chelsea on Sunday.	Arsenal manager Arsene Wenger believes ‘the signs are promising’ for his three injured midfielders who are due to recover for Sunday’s game against Chelsea.
Geld könnten Verbraucher unter anderem durch Frühbucherrabatte oder All-Inclusive-Angebote sparen, erklärte Laepple.	Consumers could save money through early-bird or all-inclusive discounts, among others, Laepple said.	Money could save consumers through early bird discounts or all-inclusive deals, among other things, Laepple explained.	Consumers could save money through early booking discounts or all-inclusive deals, Laepple said.

Các nhà nghiên cứu của Microsoft đã phát triển một mô hình AI mới giúp tăng độ chính xác của Microsoft Translator, cung cấp dịch vụ Nhận thức Azure, được thể hiện trong các ví dụ trước và sau.

Sự phát triển từ nghiên cứu đến sản phẩm

Cơ sở hạ tầng máy tính mạnh mẽ của Azure, phát triển một mô hình dịch máy dựa trên AI có thể thực hiện tốt như con người trên một tiêu chuẩn nghiên cứu hạn hẹp với nhiều dữ liệu. Việc làm cho mô hình đó hoạt động trong một sản phẩm thương mại thì khác rất nhiều.

Để giải quyết thách thức ngang bằng của con người, ba nhóm nghiên cứu đã sử dụng mạng lưới thần kinh chuyên sâu và áp dụng các kỹ thuật đào tạo tiên tiến khác bắt chước cách mọi người có thể tiếp cận vấn đề để cung cấp các bản dịch chính xác và trôi chảy hơn. Bao gồm dịch câu qua lại giữa tiếng Anh và tiếng Trung và so sánh kết quả, cũng như lặp đi lặp lại cùng một bản dịch cho đến khi chất lượng của nó được cải thiện.

Menezes nói, “Ban đầu, chúng tôi đã không tính đến việc liệu công nghệ này có thể chuyển đổi thành một sản phẩm hay không. Chúng tôi chỉ tự hỏi nếu chúng tôi lấy tất cả mọi thứ trong bồn rửa nhà bếp và ném nó vào vấn đề này, làm thế nào để khiến công nghệ này tốt hơn? Vì vậy, chúng tôi đã đưa ra hệ thống nghiên cứu rất lớn, rất chậm và rất tốn kém chỉ để đẩy các giới hạn đạt được sự bình đẳng của con người. Kể từ đó, mục tiêu của chúng tôi là tìm ra cách chúng tôi có thể mang lại mức chất lượng này - hoặc càng gần mức chất lượng này càng tốt – vào công việc sản suất API của chúng tôi.”

Ông tiếp lời, “Sử dụng Microsoft Translator trong một câu và mong đợi bản dịch tính bằng mili giây. Vì vậy, nhóm cần phải tìm ra cách làm cho mô hình nghiên cứu lớn, phức tạp của nó gọn gàng hơn và nhanh hơn. Nhưng khi họ đang làm việc để thu hẹp hệ thống nghiên cứu theo thuật toán, họ cũng phải mở rộng phạm vi của nó theo cấp số nhân - không chỉ đào tạo nó trên các bài báo mà trên bất cứ thứ gì, từ sổ tay và công thức nấu ăn đến các mục từ điển bách khoa.”

Để thực hiện điều này, nhóm nghiên cứu đã sử dụng một kỹ thuật gọi là chưng cất kiến ​​thức, bao gồm việc tạo ra một mô hình học sinh cấp độ cơ bản, học hỏi từ các bản dịch được tạo ra bởi mô hình giáo viên, thay vì một lượng lớn dữ liệu thô song song mà các hệ thống dịch máy thường được đào tạo. Mục tiêu là để thiết kế mô hình học sinh nhanh hơn và ít phức tạp hơn so với giáo viên của nó, trong khi vẫn giữ được hầu hết chất lượng. Trong một ví dụ, nhóm phát hiện ra rằng mô hình học sinh có thể sử dụng thuật toán giải mã đơn giản hóa để chọn từ được dịch tốt nhất ở mỗi bước, thay vì phương pháp tìm kiếm thông thường thông qua một không gian rộng lớn các bản dịch có thể.

Các nhà nghiên cứu cũng phát triển một cách tiếp cận khác nhau đối với việc học kép, trong đó tận dụng lợi thế của việc kiểm tra bản dịch. Ví dụ, nếu một người học tiếng Nhật muốn kiểm tra và xem một lá thư cô ấy viết cho một người bạn ở nước ngoài có chính xác không, cô ấy có thể chỉnh sửa bức thư thông qua một dịch giả tiếng Anh để xem nó có hợp lý không. Các thuật toán học máy cũng có thể học hỏi từ phương pháp này.

Trong mô hình nghiên cứu, nhóm đã sử dụng học tập kép để cải thiện đầu ra mô hình. Trong mô hình sản xuất, nhóm đã sử dụng phương pháp học kép dữ liệu mà học sinh đã học được, về cơ bản là đưa ra các cặp câu thể hiện các bản dịch không chính xác hoặc khó hiểu. Điều đó bảo tồn rất nhiều lợi ích của kỹ thuật mà không cần nhiều tính toán.

Arul Menezes, kỹ sư nổi tiếng của Microsoft và người sáng lập Microsoft Translator. Ảnh của Dan DeLong.

Cải thiện tìm kiếm với học tập đa tác vụ

Trong bối cảnh AI phát triển nhanh chóng, nơi các mô hình hiểu ngôn ngữ mới liên tục được giới thiệu và cải tiến bởi những người khác trong cộng đồng nghiên cứu, các chuyên gia Bing luôn tìm kiếm các kỹ thuật mới và đầy triển vọng. Không giống như ngày xưa, trong đó mọi người có thể nhập từ khóa và nhấp qua danh sách các liên kết để có được thông tin mà họ đang tìm kiếm, người dùng ngày nay ngày càng tìm kiếm bằng cách đặt câu hỏi – “Bức tranh Mona Lisa đáng giá bao nhiêu?” hoặc “Loài nhện nào nguy hiểm nhất?” – và mong đợi câu trả lời sẽ xuất hiện trên top.

Rangan Majumder, quản lý chương trình nhóm đối tác tìm kiếm và AI trong Bing nói, “Điều này đem đến cho khách hàng thông tin chính xác và tiết kiệm thời gian tìm kiếm cho họ. Chúng tôi mong đợi được thay họ làm công việc này bằng cách chọn các trang web có thẩm quyền nhất và trích xuất các phần của trang web thực sự hiển thị câu trả lời cho câu hỏi của họ.”

Để làm điều này, mô hình AI không chỉ lựa chọn tài liệu đáng tin cậy mà mô hình mà còn phải phát triển nội dung trong mỗi tài liệu yêu cầu thành thạo bất kỳ sồ lượng nhiệm vụ hiểu ngôn ngữ nào.

Tháng 6 năm ngoái, các nhà nghiên cứu Microsoft là những người đầu tiên phát triển mô hình machine learning đã vượt qua ước tính về hiệu suất của con người trong điểm chuẩn Đánh giá Hiểu Ngôn ngữ Chung (GLUE), đánh giá này tính toán sự thành thạo của chín nhiệm vụ hiểu ngôn ngữ khác nhau, từ phân tích tình cảm đến tương tự văn bản và trả lời câu hỏi.

Trong mùa thu này, các chuyên gia của Bing đã kết hợp các nguyên tắc cốt lõi từ nghiên cứu đó vào mô hình học máy của riêng họ, mà họ ước tính đã cải thiện câu trả lời trong tối đa 26% tất cả các câu hỏi gửi đến Bing tại thị trường Anh. Nó cũng cải thiện việc tạo chú thích – hoặc liên kết và mô tả dưới các trang. Multi-task learning dẫn đến một số cải tiến lớn nhất trong trả lời và chú thích câu hỏi Bing mà trước đây được thực hiện độc lập, bằng cách sử dụng một mô hình duy nhất để thực hiện cả hai.

Ví dụ, mô hình mới có thể trả lời câu hỏi “Bức tranh Mona đáng giá bao nhiêu?” với một con số ước tính được in đậm: 830 triệu đôla. Trong câu trả lời bên dưới, đầu tiên mô hình phải biết được từ đáng giá để tìm một con số, nhưng nó cũng phải hiểu được nội dung trong câu trả lời để chọn ra ước tính đến ngày hôm nay cao hơn 100 triệu đôla giá trị cũ vào năm 1962. Qua đào tại multi-task, đội ngũ Bing đã xây dựng một mô hình đơn có thể chọn được câu trả lời tốt nhất.

Ảnh chụp màn hình kết quả tìm kiếm trên Bing mô tả ngôn ngữ tự nhiện tìm kiếm như thế nào đang cải thiện cách Bing trả lời câu hỏi “Bức tranh Mona Lisa đáng giá bao nhiêu?” Một mô hình AI mới được phát hành hiểu được ngôn ngữ và nội dung của câu hỏi đủ tốt để phân biệt giữa hai giá trị trong cùng một câu hỏi – 100 triệu đôla vào năm 1962 và 830 triệu đôla vào năm 2018 – và làm nổi bật giá trị thực tại bằng cách in đậm.

Hình ảnh: Microsoft

Jianfeng Gao, quản lý nghiên cứu đối tác trong Deep Learning Group tại Microsoft Research cho biết, “Để đào tạo cho mô hình biết trước cách giải quyết câu hỏi và tạo chú thích, đội ngũ Bing đã áp dụng phương pháp multi-task learning được phát triển bởi Microsoft Research để tinh chỉnh mô hình trên nhiều tác vụ cùng một lúc. Khi một mô hình học được điều gì hữu ích từ một tác vụ, nó có thể áp dụng những thứ vừa học được vào những khu vực khác.”

Ông nói, ví dụ, khi một người học lái xe đạp, họ phải tập cân bằng tốt, và đây cũng là một kỹ năng hữu ích trong môn trượt băng. Dựa trên những bài học từ việc lái xe đẹp có thể khiến cho con người học trượt băng dễ dàng và nhanh chóng hơn khi so sánh với một người khác không có trải nghiệm tương tự.

Ông Gao cho biết, “Ở một số khả năng, chúng tôi phải mượn từ cách con người làm việc. Khi bạn càng tích lũy được nhiều kinh nghiệm trong cuốc sống, khi bạn đối mặt với nhiệm vụ mới bạn có thể tạo ra từ tất cả thông tin bạn học được trong những trường hợp khác và áp dụng vào chúng.”

Giống như đội ngũ Microsoft Translator, đội ngũ Bing cũng sử dụng kiến ​​thức để chuyển đổi mô hình lớn và phức tạp của họ thành mô hình gọn hơn, đủ nhanh và hiệu quả về chi phí để làm việc trong một sản phẩm thương mại.

Nguồn: Microsoft