AI Agent đa phương tiện Baidu ERNIE vượt trội hơn GPT và Gemini trong các bài đánh giá chuẩn

Mẫu AI đa phương tiện siêu hiệu quả mới nhất của Baidu, ERNIE, đang vượt mặt GPT và Gemini trên các chuẩn đánh giá quan trọng và tập trung khai thác dữ liệu doanh nghiệp thường bị bỏ qua bởi các mô hình chỉ tập trung vào văn bản.

Đối với nhiều doanh nghiệp, những thông tin giá trị được cất giữ trong các sơ đồ kỹ thuật, video từ nhà máy, hình ảnh y tế hay bảng điều khiển logistics. Mẫu ERNIE-4.5-VL-28B-A3B-Thinking mới của Baidu được thiết kế để lấp đầy khoảng trống này.

Điều thú vị với các kiến trúc sư doanh nghiệp không chỉ là khả năng đa phương tiện, mà còn là cấu trúc của mô hình. Được mô tả như một mô hình “nhẹ”, chỉ kích hoạt ba tỷ tham số trong quá trình vận hành. Cách tiếp cận này nhằm hướng tới giảm thiểu chi phí suy luận cao – một trong những rào cản khiến các dự án mở rộng AI bị trì hoãn. Baidu đặt cược vào hiệu quả như con đường để được chấp nhận rộng rãi, đào tạo hệ thống làm nền tảng cho các “AI Agent đa phương tiện” có thể suy luận và hành động, chứ không chỉ đơn thuần nhận biết.

Khả năng phân tích dữ liệu hình ảnh phức tạp thể hiện qua các chuẩn đánh giá AI

Mô hình ERNIE đa phương tiện của Baidu nổi bật trong việc xử lý dữ liệu phức tạp không chỉ là văn bản. Ví dụ, nó có thể diễn giải biểu đồ “Nhắc nhở Giờ Cao Điểm” để xác định thời gian tham quan tối ưu – một vấn đề phản ánh thách thức trong quản lý tài nguyên logistics hay bán lẻ.

ERNIE 4.5 còn cho thấy năng lực trong các lĩnh vực kỹ thuật như giải một sơ đồ mạch cầu áp dụng các định luật Ohm và Kirchhoff. Với các phòng R&D và kỹ thuật, trợ lý tương lai có thể xác nhận thiết kế hoặc giải thích các sơ đồ phức tạp cho nhân viên mới.

Khả năng này được củng cố qua các benchmark của Baidu, cho thấy ERNIE-4.5-VL-28B-A3B-Thinking vượt trội hơn các đối thủ như GPT-5-High và Gemini 2.5 Pro trong một số bài kiểm tra quan trọng:

• MathVista: ERNIE (82.5) so với Gemini (82.3) và GPT (81.3)

• ChartQA: ERNIE (87.1) so với Gemini (76.3) và GPT (78.2)

• VLMs Are Blind: ERNIE (77.3) so với Gemini (76.5) và GPT (69.6)

Tuy nhiên, cần lưu ý rằng các chuẩn đánh giá AI chỉ mang tính tham khảo và có thể có sai sót. Do đó, hãy luôn thực hiện kiểm tra nội bộ phù hợp với nhu cầu trước khi triển khai bất kỳ mô hình AI nào cho các ứng dụng quan trọng.

Baidu chuyển trọng tâm từ nhận biết sang tự động hóa với mẫu AI ERNIE mới nhất

Rào cản lớn nhất đối với AI doanh nghiệp là chuyển từ nhận biết (“đây là gì?”) sang tự động hóa (“tiếp theo là gì?”). ERNIE 4.5 tuyên bố giải quyết vấn đề này bằng cách tích hợp nhận diện hình ảnh với khả năng sử dụng công cụ.

Khi yêu cầu AI đa phương tiện tìm tất cả người mặc vest trong một bức ảnh và trả về tọa độ theo định dạng JSON thì nó hoạt động hiệu quả. Mô hình tạo ra dữ liệu có cấu trúc này, một chức năng dễ dàng đưa vào dây chuyền sản xuất để kiểm tra hình ảnh hay trên hệ thống kiểm toán hình ảnh tại hiện trường nhằm đảm bảo tuân thủ an toàn.

Mô hình còn có khả năng điều phối các công cụ bên ngoài và có thể tự động phóng to vào ảnh để đọc chữ nhỏ. Nếu gặp vật thể chưa biết, nó có thể kích hoạt tìm kiếm hình ảnh để xác định đối tượng. Đây là dạng AI chủ động hơn, có thể không chỉ cảnh báo lỗi tại trung tâm dữ liệu mà còn phóng to đoạn mã, tìm kiếm trong kho tri thức nội bộ và gợi ý cách sửa lỗi.

Mở khóa trí tuệ doanh nghiệp với AI đa phương tiện

Mẫu ERNIE AI mới của Baidu còn hướng đến khai thác kho video doanh nghiệp từ các buổi đào tạo, họp hành cho đến hình ảnh giám sát an ninh. Nó có thể trích xuất toàn bộ phụ đề trên màn hình và gắn chúng với dấu thời gian chính xác.

ERMIE cũng thể hiện khả năng nhận biết thời gian, tìm ra các cảnh cụ thể (chẳng hạn đoạn “quay trên cầu”) qua phân tích các dấu hiệu hình ảnh. Mục tiêu rõ ràng là biến kho video đồ sộ thành dữ liệu có thể tìm kiếm, giúp nhân viên nhanh chóng tìm được khoảnh khắc cụ thể một chủ đề được đề cập trong buổi hội thảo kéo dài hai tiếng mà họ có thể đã chợp mắt vài lần.

Baidu đưa ra hướng dẫn triển khai với nhiều tùy chọn khác nhau, bao gồm transformers, vLLM và FastDeploy. Tuy nhiên, yêu cầu phần cứng khá cao là rào cản lớn. Triển khai trên một GPU đơn cần bộ nhớ lên đến 80GB. Đây không phải là công cụ dành cho thử nghiệm nhỏ lẻ mà phù hợp với các tổ chức đã có hạ tầng AI hiệu năng cao.

Với những tổ chức đủ điều kiện phần cứng, bộ công cụ ERNIEKit của Baidu cho phép tinh chỉnh dựa trên dữ liệu riêng; điều này rất cần thiết cho phần lớn các use case mang giá trị cao. Baidu cũng cung cấp mẫu ERNIE AI mới nhất dưới license Apache 2.0 cho phép sử dụng thương mại – yếu tố quan trọng để thúc đẩy sự chấp nhận rộng rãi.

Thị trường cuối cùng đang tiến tới AI đa phương tiện có khả năng nhìn, đọc và hành động trong bối cảnh cụ thể của doanh nghiệp, và các chuẩn đánh giá cho thấy nó đang làm được điều đó với hiệu quả ấn tượng. Nhiệm vụ trước mắt là xác định những tác vụ suy luận hình ảnh có giá trị cao trong hoạt động của bạn và cân nhắc so với chi phí phần cứng và quản trị đáng kể.