- Chương Trình Đào Tạo
- Dịch Vụ
- Khuyến Mãi
- Lịch Khai Giảng
- Trung Tâm Thi
- Thông Tin
- Liên Hệ
Thành viên kỹ thuật của Microsoft - Alex Kipman đeo mô hình HoloLens 2, một tai nghe điện toán ba chiều có cảm biến. Ảnh: Microsoft.
Lần đầu khi mọi người đeo HoloLens 2 trên đầu, thiết bị sẽ tự động nhận biết chúng: Thiết bị đo mọi thứ từ hình dạng chính xác của bàn tay đến khoảng cách chính xác giữa hai mắt.
Jamie Shotton, một đối tác là nhà khoa học dẫn đầu nhóm nghiên cứu HoloLens khoa học tại Cambridge, Vương quốc Anh cho biết, các nghiên cứu trí tuệ nhân tạo và phát triển kích hoạt những khả năng “phiền phức đáng kinh ngạc”, nhưng quan trọng là tạo trải nghiệm sử dụng các thiết bị “bản năng”.
Shotton nói: “Chúng tôi muốn bạn biết cách sử dụng HoloLens mà không cần phải được dạy cách sử dụng nó. Chúng tôi biết cách tương tác với mọi thứ trong thế giới thực tế, vật chất: Chúng tôi lựa chọn các vật, nhấn nút, và chỉ rõ các đồ vật. Chúng tôi nhắm đến càng nhiều càng tốt, để chuyển điều đó trực tiếp thành hiện thực hỗn hợp.”
Microsoft công bố HoloLens 2 hiện đang được giao cho khách hàng. Tai nghe điện toán ba chiều có cảm biến sử dụng AI để thay thế không gian và thời gian, tạo ra một thực tế hỗn hợp giữa con người, địa điểm và mọi thứ để tạo điều kiện cho một trong những xung lực cơ bản nhất của con người: trao đổi kiến thức.
Thành viên kỹ thuật của Microsoft - Alex Kipman cho biết tai nghe xác định watermark cao nhất của các thiết bị cạnh thông minh - công nghệ có khả năng AI có thể thu thập và xử lý dữ liệu ngay cả khi không có kết nối internet đáng tin cậy - và sau đó có thể chia sẻ một số hoặc tất cả dữ liệu đó với intelligent cloud khi kết nối.
Gần đây, Kipman đã phác thảo một sơ đồ cơ cấu điện toán phổ biến này trên một bảng trắng kỹ thuật số trong văn phòng của mình.
Theo ông, “HoloLens là thiết bị bản địa đầu tiên được phát minh ra từ đầu với thế giới quan này.”
Sự kết hợp của AI trong HoloLens 2 với các khả năng AI của Azure, nền tảng điện toán đám mây của Microsoft, cho phép những người làm việc trực tiếp, học hỏi các kỹ năng nâng cao sự nghiệp của họ và giúp mọi người ở phía đối diện Trái đất có thể nói các ngôn ngữ khác nhau để hợp tác với ý thức chia sẻ về sự hiện diện vật lý.
Julia White, Phó Chủ tịch tập đoàn tiếp thị Azure của Microsoft cho biết: “Bạn có thể làm những điều thực sự thú vị với HoloLens và cloud. Nhưng khi bạn thấy hai điều này kết hợp với nhau, nó sẽ thay đổi cuộc chơi theo những gì mọi người thực sự có thể làm.”
Cung cấp thực tế hỗn hợp với AI
Để kích hoạt các tương tác theo bản năng với HoloLens 2, Shotton và các đồng nghiệp của anh đã phát triển, huấn luyện và triển khai các mô hình AI trên thiết bị theo dõi chuyển động tay và ánh mắt của mọi người để họ có thể cảm nhận được hình ba chiều nổi trước mặt họ và vươn tay ra để thay đổi kích thước hoặc định vị lại nó.
Để xây dựng hệ thống theo dõi tay, nhóm nghiên cứu đã xây dựng một giàn và vòm camera hướng vào trong mà họ đã sử dụng để ghi lại một loạt tay người khác nhau. Sau đó, nhóm đã sử dụng xử lý đám mây ngoại tuyến để xây dựng mô hình 3D có khả năng đại diện cho tất cả các hình dạng và chuyển động của bàn tay con người.
Từ mô hình 3D này, nhóm đã có thể sử dụng đồ họa máy tính để hiển thị hình ảnh thực tế, tổng hợp của bàn tay cùng với nhãn tổng hợp để làm cho mô hình mạnh mẽ qua nhiều hình dạng, tư thế và chuyển động khác nhau.
Shotton nói rằng: “Bạn có thể tạo ra số lượng dữ liệu đào tạo không giới hạn một cách hiệu quả.”
Nhóm nghiên cứu đã sử dụng dữ liệu này để huấn luyện một mạng lưới nơ ron chặt chẽ, một loại thuật toán AI, phù hợp với bộ xử lý trên bo mạch HoloLens, và chạy hiệu quả trên mọi khung hình đến từ cảm biến độ sâu của thiết bị.
Khi một khách hàng mới sử dụng HoloLens 2, hệ thống sẽ sử dụng mạng thần kinh này để giúp điều chỉnh mô hình 3D được cá nhân hóa cho tay khách hàng, cho phép theo dõi chính xác cần thiết để cho phép tương tác theo bản năng với hình ba chiều.
Nhóm của Shotton đã thực hiện một cách tiếp cận tương tự để xây dựng và huấn luyện mô hình theo dõi mắt, chú ý đến khoảng cách giữa các mắt, hoặc khoảng cách giữa tâm của con ngươi, khác nhau giữa mọi người và ảnh hưởng đến cách một người nhìn gần hoặc xa các đối tượng.
Kết quả là một mô hình theo dõi bằng mắt cho phép HoloLens 2 hiển thị chính xác hình ba chiều trước mặt khách hàng để tương tác và thao tác bằng tay và mắt.
Shotton nói rằng: “Nếu không có tính năng theo dõi bằng mắt, việc sắp xếp các hình ba chiều vào thế giới thực - đặc biệt là bàn tay vật lý của người - sẽ không thể ở mức độ chính xác cần thiết để cho phép tương tác theo bản năng.”
AI trên edge đến cloud
Các khả năng theo dõi tay và mắt, cùng với các tính năng thông minh khác như simultaneous localization and mapping
cần thiết để tạo hình ba chiều xuất hiện được gắn vào thế giới khi một người di chuyển xung quanh, được nhúng vào HoloLens 2 trong chip tùy chỉnh thế hệ thứ hai được gọi là xử lý hình ba chiều đơn vị, hoặc HPU 2.0.
Kipman gọi lớp nhận thức về khả năng AI trên thiết bị này là AI.
Anh ấy nói rằng: “Nhận thức của người Viking giống như bộ não của loài bò sát. Nó đang thực hiện những hoạt động mà não bạn thực hiện theo bản năng mà bạn không nghĩ về tới.”
Đối với mọi người, loại trí thông minh này giữ cho trái tim của chúng ta đập, phổi của chúng ta thở và đôi mắt của chúng ta thực hiện kính hiển vi để đo độ sâu của trường, ví dụ. Khi chúng ta khát nước và muốn uống một ngụm nước, mắt chúng ta theo bản năng đo khoảng cách đến ly nước mà tay chúng ta nâng lên môi.
Nhận thức AI trên HoloLens 2 cho phép mọi người thao tác và tương tác với hình ba chiều mà không cần lo lắng về điều gì gọi là độ trễ - thường là hàng trăm mili giây để dữ liệu di chuyển lên cloud, được xử lý và quay trở lại edge.
Shotton chú ý rằng: “Hàng chục mili giây tạo ra sự khác biệt đáng kể về nhận thức, ví dụ, khi nhấn một nút trên hình ba chiều hoặc scroll văn bản trên hình ba chiều bằng mắt. Thời gian quay vòng đó là rất quan trọng.”
Mối quan tâm về quyền riêng tư là một lý do khác để thực hiện tính toán AI cục bộ trên thiết bị; quét mống mắt mà HoloLens 2 thực hiện để xác thực khách hàng là loại dữ liệu cá nhân mà mọi người có thể không muốn gửi lên cloud.
Tuy nhiên, đối với nhiều loại dữ liệu khác, có một lợi thế để gửi dữ liệu lên cloud: Khi đó, khách hàng có thể tận dụng Azure AI và các dịch vụ thực tế hỗn hợp và kết hợp dữ liệu từ thiết bị của họ với dữ liệu từ toàn bộ cấu trúc máy tính phổ biến. Điều đó cho phép tính toán hoặc nhận thức tiên tiến hơn, Kipman nói.
Các thành phần của HoloLens 2. Ảnh: Microsoft.
Cloud collaboration
Marc Pollefeys, giám đốc Microsoft của Mixed Reality and AI Zurich Lab ở Thụy Sĩ cho biết: Một lợi thế chính của điện toán ba chiều thông minh dựa trên đám mây là khả năng chia sẻ thông tin với những người khác có HoloLens hoặc thiết bị khác có khả năng tương tự.
Pollefeys đang dẫn đầu một nhóm phát triển các thuật toán thị giác máy tính cốt lõi cho một dịch vụ đám mây thực tế hỗn hợp có tên là Azure Spatial Anchors cho phép hình ba chiều tồn tại, bị khóa trong thế giới thực, cho bất kỳ ai có mức độ truy cập phù hợp để xem.
Ví dụ, công nghệ anchor không gian cho phép người quản lý trong nhà máy đặt hình ba chiều bên cạnh thiết bị trên dây chuyền lắp ráp có chứa thông tin vận hành và bảo trì quan trọng, thời gian thực mà bất kỳ nhân viên có chứng chỉ với thiết bị có khả năng thực tế hỗn hợp đều có thể truy cập.
Pollefeys nói rằng: “Nếu tôi chỉ có thể đặt thông tin mà tôi sẽ thấy xuất hiện lại trên thiết bị của mình, có lẽ không bao giờ đáng để đặt hình ba chiều trên thế giới, nhưng nếu tôi có thể chú thích thế giới và sau đó bất kỳ ai khác trong công ty có quyền truy cập phù hợp có thể thấy tất cả thông tin, nó đột nhiên có giá trị hơn nhiều”.
Để tạo ra khả năng này, Pollefeys và nhóm của ông đã phát triển các thuật toán thị giác máy tính AI xử lý dữ liệu từ các cảm biến để trích xuất thông tin hình học 3D về môi trường và ghép chúng lại với nhau trong cloud để tạo ra digital twin hoặc bản đồ của khu vực quan tâm.
Pollefeys cho rằng, HoloLens luôn xây dựng một sự hiểu biết không gian hoặc 3D về môi trường của nó để hoạt động. Azure Spatial Anchors tạo, lọc và chia sẻ các bản đồ này trên các thiết bị. Đó là lý do tại sao các bản đồ từ các thiết bị riêng lẻ được ghép lại với nhau và được lưu trữ trên cloud.
Pollefeys nói rằng: “Không có ý nghĩa gì khi chỉ có dữ liệu đó trên một thiết bị riêng lẻ. Đây là một trong những điều mà tôi có một mảnh ghép nhỏ và ai đó có một mảnh ghép nhỏ, và tất cả các thiết bị cùng nhau đã bao phủ toàn bộ không gian quan tâm.”
Các bản đồ này trở nên dày đặc hơn, chính xác hơn và mạnh mẽ hơn theo thời gian khi các thiết bị có khả năng thực tế hỗn hợp khác nhau - HoloLenses cũng như điện thoại, máy tính bảng và máy tính xách tay được trang bị đúng cách - lập bản đồ môi trường của chúng và chia sẻ dữ liệu với cloud.
Ví dụ, bản đồ của nhà máy nơi người quản lý để hình ba chiều nổi trên các thiết bị trên dây chuyền lắp ráp được tinh chỉnh đều đặn khi ngày càng nhiều công nhân có uy tín xem hình ba chiều bằng thiết bị của họ.
Khả năng này cũng cho phép các kịch bản như cuộc họp giữa kiến trúc sư và khách hàng xem và tương tác với bản thiết kế 3D ba chiều của tòa nhà, mỗi thiết bị có khả năng thực tế hỗn hợp nhìn vào bản thiết kế từ góc nhìn của chính họ khi họ ngồi quanh bàn .
Bà White chia sẻ: Azure chứa các dịch vụ dựng sẵn để viết ứng dụng cho các loại trải nghiệm này trên HoloLens và bất kỳ thiết bị thực tế hỗn hợp nào khác, bao gồm cả điện thoại thông minh và máy tính bảng chạy hệ điều hành iOS và Android.
Bà nói rằng: “Kinh nghiệm hợp tác đó không chỉ dành cho HoloLens. Chi phí và độ phức tạp và kỹ năng cần thiết để tạo ra một ứng dụng làm được điều gì đó tuyệt vời là rất xa.”
Chẳng hạn, khả năng đa thiết bị và nền tảng cho phép trải nghiệm như Minecraft Earth, kết hợp trò chơi video phổ biến với thực tế hỗn hợp theo cách người chơi có thể xây dựng và đặt các cấu trúc ảo trong thế giới thực để người chơi khác có thể tương tác với họ trên thiết bị của họ.
Theo bà White, tất cả chúng ta đều tham gia vì nó dựa trên việc sử dụng công nghệ đám mây có thể hiểu và giải thích bởi tất cả các thiết bị khác nhau.
Thiết kế công nghệ cho con người
Kipman cho rằng: Để HoloLens hoạt động như được hình dung, công nghệ làm nền tảng cho trải nghiệm cần phải hiểu thế giới theo những cách tương tự như cách mọi người làm.
Đó là lý do tại sao Kipman và các cộng tác viên của mình trên Microsoft đã phát triển, triển khai và tận dụng các giải pháp AI trong toàn bộ cấu trúc máy tính phổ biến, từ silicon trong tai nghe của HoloLens 2 đến Azure AI và các dịch vụ thực tế hỗn hợp.
Trở lại với bảng trắng kỹ thuật số của mình, Kipman hiện đã phác thảo một tầm nhìn cho điện toán có mặt khắp nơi đầy những từ ngữ, hộp, mũi tên - và một hình ảnh hai người bị khóa trong cuộc trò chuyện bên cạnh một thiết bị thông minh.
Theo ông, đó là mục tiêu cuối cùng của điện toán có mặt khắp nơi - để khiến mọi người tương tác với người khác theo cách tự nhiên.
Để đi thẳng đến vấn đề, anh ta thiết lập một khoảnh khắc giao tiếp bằng mắt có chủ ý và nói,” Hy vọng, bạn sẽ nhận được nhiều hơn từ cuộc trò chuyện này vì bạn đang có mặt với tôi.”
Anh ấy tiếp tục, “Chúng tôi có thể đã làm điều này qua điện thoại. Chúng tôi có thể đã làm điều đó qua Skype. Tôi có thể đã ghi lại nó và gửi cho bạn một cuộn băng. Bạn đã không chọn làm điều đó. Bạn đã chọn để có mặt ở đây với tôi. Tại sao? Bởi vì đó là cách chúng ta làm những việc của con người.”
“Một điều bất lợi là bạn phải ở đây cùng lúc tôi ở đây và chúng ta phải ở cùng một vị trí. Sức mạnh của công nghệ này là nó cho chúng ta khả năng thay thế không gian và thời gian.”
Nguồn: Microsoft
