Mô hình lớn về giọng nói đằng sau DingTalk giành cú ăn ba "nghe, nói, trò chuyện"

Tuần này, gia đình mô hình lớn về giọng nói của Alibaba liên tục lập thành tích trên nền tảng đánh giá AI uy tín toàn cầu Artificial Analysis:

Fun-Realtime-ASR đạt vị trí số một toàn cầu với tỷ lệ lỗi từ cực thấp chỉ 1,8%;

Fun-Realtime-AudioChat giành cú đúp冠 quân ở hai chỉ số suy luận giọng nói và độ trôi chảy trong hội thoại;

Fun-Realtime-TTS-Preview đứng đầu các sản phẩm nội địa Trung Quốc với điểm số Elo lên tới 1190.

Như vậy, tại ba lĩnh vực chính ASR (nhận dạng giọng nói), TTS (tổng hợp giọng nói) và Chat (hội thoại bằng giọng nói), các mô hình giọng nói lớn của Alibaba đều giành vị trí hàng đầu trong nước, hoàn thành "cú ăn ba".

Trí tuệ nhân tạo về giọng nói đã được tích hợp sâu vào trải nghiệm sản phẩm DingTalk và Wukong

Là một trong những nền tảng ứng dụng trọng yếu của mô hình lớn Alibaba, khả năng mô hình giọng nói được chuyển hóa thành trải nghiệm sản phẩm mà người dùng có thể cảm nhận rõ ràng thông qua DingTalk và Wukong. Người dùng có thể trải nghiệm đầy đủ các tình huống thông minh bằng giọng nói, từ họp trực tuyến đến trao đổi mặt đối mặt, từ làm việc bằng văn bản sang tương tác bằng giọng nói, thông suốt hiểu biết các phương ngữ và thuật ngữ chuyên ngành khắp Trung Quốc, thông qua các sản phẩm như cuộc họp DingTalk, ghi chú nghe AI, tin nhắn thoại IM, cũng như phần cứng như DingTalk A1, tai nghe thông minh Cleer.

Các mô hình được vinh danh lần này sẽ lần lượt được kết nối vào các sản phẩm nêu trên, không ngừng tối ưu hóa trải nghiệm người dùng và nâng cao hiệu suất làm việc.

Ba năng lực cốt lõi của tương tác giọng nói: Nghe chuẩn, Nói hay, Trò chuyện mượt

Khả năng của mô hình giọng nói lớn có thể chia thành ba cấp độ: Nghe chuẩn (ASR - chuyển giọng nói thành văn bản), Nói hay (TTS - chuyển văn bản thành giọng nói) và Trò chuyện mượt (Chat - hiểu và hội thoại bằng giọng nói đầu cuối). Ba yếu tố này phối hợp lẫn nhau, cùng xây dựng nên trải nghiệm tương tác giọng nói hoàn chỉnh.

Năm ngoái, mô hình lớn Fun-ASR do DingTalk và Phòng thí nghiệm Tongyi cùng phát triển đã được ứng dụng rộng rãi trong các sản phẩm DingTalk.

Nghe chuẩn: Ghi nhận chính xác nội dung họp phức tạp và diễn đạt chuyên môn

Trong các cuộc họp DingTalk, trước bối cảnh phức tạp như nhiều người thảo luận, tranh luận nhanh, sử dụng thuật ngữ chuyên ngành, Fun-ASR có thể nhận diện chính xác nội dung. Sau khi họp xong, hệ thống tự động tạo ra biên bản họp gần như "không sai sót", không cần ghi chép thủ công.

Trong phần cứng AI DingTalk A1 series và chức năng ghi chú nghe AI, dù là phỏng vấn, ghi chú lớp học hay brainstorming, chỉ cần một thao tác ghi âm là có thể tạo ra văn bản cấu trúc chất lượng cao. Kết hợp với khả năng suy luận giọng nói, AI không chỉ có thể "nghe rõ" mà còn "hiểu được", tự động rút gọn tóm tắt, đánh dấu điểm quan trọng và sắp xếp các công việc cần làm.

Tin nhắn thoại IM chuyển đổi một chạm thành văn bản, hỗ trợ toàn bộ phương ngữ và khẩu âm

Trong tin nhắn IM, tin thoại dài 60 giây có thể được chuyển đổi một chạm thành văn bản với độ chính xác rất cao, hỗ trợ toàn diện các phương ngữ, khẩu âm và thuật ngữ ngành nghề.

Sự đa dạng ngôn ngữ của Trung Quốc là thách thức lớn đối với nhận dạng giọng nói. Dựa trên mô hình giọng nói lớn của Alibaba, DingTalk và Wukong đã bao phủ tám khu vực phương ngữ lớn gồm Quan thoại, Ngô ngữ, Quảng Đông, Mân ngữ, Khách Gia, Cán ngữ, Tương ngữ, Tấn ngữ; khả năng nhận dạng phương ngữ ở hàng chục thành phố đạt trình độ dẫn đầu toàn quốc, độ chính xác nhận dạng các phương ngữ chính vượt quá 90%.

Dù bạn là nhân viên tài chính dùng tiếng Thượng Hải, thương gia ngoại thương nói tiếng Quảng Đông, hay nhân viên tuyến đầu giao tiếp bằng tiếng Tứ Xuyên, Hà Nam, Thiểm Tây, DingTalk đều có thể "hiểu được bạn".

Bảng xếp hạng Artificial Analysis cho thấy, tỷ lệ lỗi từ của mô hình ASR mới nhất chỉ ở mức 1,8%, sẽ tiếp tục nâng cao độ chính xác chuyển đổi phụ đề thời gian thực và biên bản họp.

Nói hay, trò chuyện mượt: Hội thoại tự nhiên và phản hồi thông minh

Tương tác giọng nói không chỉ cần "nghe chuẩn", mà còn phải "nói hay" và "trò chuyện mượt". Trên các thiết bị như tai nghe thông minh Cleer, khả năng nhận dạng và tổng hợp giọng nói mạnh mẽ giúp việc nghe tin nhắn, trả lời bằng lời, ra lệnh bằng giọng nói trong lúc đi làm trở nên trôi chảy và tự nhiên hơn.

Fun-Realtime-TTS-Preview giành vị trí đầu bảng tổng hợp giọng nói nội địa Trung Quốc nhờ điểm số Elo 1190, giúp giọng nói AI trở nên tự nhiên hơn, truyền cảm hơn, nâng cao toàn diện trải nghiệm đầu ra giọng nói trên các sản phẩm DingTalk và Wukong.

Fun-Realtime-AudioChat đồng thời giành hai giải vô địch toàn cầu về điểm số suy luận giọng nói đạt 97,6% và độ trôi chảy hội thoại đạt 97,8%. Mô hình này không chỉ hiểu được logic ngữ nghĩa mà còn xử lý tốt các tình huống hội thoại thực tế như bị ngắt lời, hỏi thêm, chuyển chủ đề, độ trôi chảy tương tác tiến gần đến mức con người.

Tùy chỉnh sâu mô hình ngôn ngữ ngành nghề, thực sự "hiểu thuật ngữ chuyên ngành"

Mô hình chung nếu không thể hiểu các thuật ngữ như "LPR", "điều khoản cá cược ngược", "Gleevec", "xét xử dân sự lại" thì vẫn có nguy cơ thất bại trong các tình huống chuyên nghiệp.

DingTalk và đội ngũ语音 Alibaba đã hợp tác huấn luyện, đạt được phạm vi bao phủ toàn diện từ từ vựng đến các ngành phổ biến và chuyên biệt như Internet, AI, tài chính, y tế, luật pháp, ô tô, sản xuất, giáo dục, chính quyền, đồng thời tùy chỉnh sâu mô hình ngôn ngữ ngành nghề.

Trong lĩnh vực tài chính, mô hình có thể nhận diện chính xác các thuật ngữ như "mua lại ngược", "MLF", "quy định mới quản lý tài sản", nâng cao đáng kể chất lượng biên bản họp và hồ sơ tuân thủ.

Trong lĩnh vực y tế, các từ vựng phức tạp như "methotrexate", "điều trị đích EGFR", "hội chẩn đa khoa MDT" không còn là khoảng trống kiến thức.

Trong lĩnh vực pháp lý, từ "lợi ích bất chính" đến "chiếm hữu thiện chí", nội dung ghi âm phiên tòa và phỏng vấn luật sư đều có thể được tái hiện chính xác.

Trong ngành sản xuất, độ chính xác nhận diện các thuật ngữ kỹ thuật như "dung sai lắp ghép", "gia công CNC", "PPAP" được nâng cao đáng kể, hiệu suất họp sản xuất tăng gấp đôi.

Tùy chỉnh theo ngành không đơn thuần là thêm từ điển, mà là tối ưu hóa sâu ở cấp độ mô hình ngôn ngữ, giúp thuật toán thực sự hiểu được bối cảnh ngành, phân biệt từ đồng âm khác nghĩa, nhận diện từ viết tắt và tiếng lóng ngành nghề, đảm bảo mọi tương tác giọng nói đều "nói đúng thuật ngữ, hiểu đúng quy tắc hành nghề".

Giọng nói là phương thức giao tiếp tự nhiên nhất. Từ "nghe chuẩn" đến "hiểu được", từ "biết nói" đến "biết trò chuyện", "cú ăn ba" của mô hình giọng nói lớn Alibaba không chỉ là dẫn đầu về công nghệ mà còn là bước nhảy vọt toàn diện về trải nghiệm sản phẩm. DingTalk và Wukong sẽ tiếp tục chuyển hóa các khả năng AI giọng nói hàng đầu thế giới thành trải nghiệm làm việc dễ tiếp cận — giúp cuộc họp hiệu quả hơn, ghi chép nhẹ nhàng hơn, giao tiếp vượt qua rào cản ngôn ngữ và phương ngữ.

We dedicated to serving clients with professional DingTalk solutions. If you'd like to learn more about DingTalk platform applications, feel free to contact our online customer service or email at This email address is being protected from spambots. You need JavaScript enabled to view it.. With a skilled development and operations team and extensive market experience, we’re ready to deliver expert DingTalk services and solutions tailored to your needs!