Как сделать фото в Яндекс Алисе?

Яндекс Алиса распознаёт фотографии и изображения

Голосовой помощник Алиса от компании Яндекс научился распознавать картинки и фото с камеры, и делать с ними различные полезные действия.

Компания Яндекс постоянно улучшает своего голосового помощника Алиса. Появляются новые функции и команды, которые расширяют возможности Алисы. Мы уже публиковали полный список голосовых команд, а также писали про игры и секретные команды. А теперь российский умный ассистент обзавёлся интересными возможностями работы с камерой.

В июне 2018-го года Алиса научилась искать информацию по фотографиям с камеры или любым другим изображениям, которые вы ей предоставите. На основе загруженного изображения помощник может сделать некоторые полезные действия. Отметим, что до появления Алисы приложение «Яндекс» уже умело распознавать изображения, но это работало не так удобно и красиво, как выглядит в Алисе. Поиск и анализ необходимой информации стал ещё быстрее и точнее. Мы используем эту новую функцию помощника сами, и рекомендуем воспользоваться ею и вам.

Очевидно, что в умной колонке Яндекс Станция возможности работы с изображениями отсутствуют. Для того, чтобы использовать эти функции вам нужно приложение Яндекс и Яндекс.Браузер.

Содержание

Где скачать Алису с поиском по картинкам

Компания Яндекс встроила голосовой ассистент Алиса в приложение под названием «Яндекс» на платформах Android и iOS. Скачать Яндекс с Алисой можно по этим ссылкам:

voiceapp.ru

Алиса научилась распознавать изображения и разбираться в музыке

Голосовой помощник Яндекса Алиса научился распознавать изображения и узнавать музыкальные композиции, благодаря технологиям компьютерного зрения и нейронных сетей. Об этом сегодня, на конференции Yet another Conference, рассказал руководитель службы компьютерного зрения Яндекса Александр Крайнов.

Теперь Алиса узнает по фото модель и марку машины, породу кошки или собаки, опознает незнакомое здание или памятник, назовет знаменитость или произведение искусства. Если на фотографии есть текст, Алиса предложит распознать его и перевести на русский или другой язык с помощью Яндекс.Переводчика. Увидев смартфон, пару туфель или другой товар — найдет похожие варианты на Яндекс.Маркете или в поиске Яндекса.

Технология распознавания изображений, которой пользуется Алиса, разработана с применением машинного обучения. Эта же технология работает, например, в поиске по картинкам на компьютере и в приложении Яндекс.

Кроме зрения у Алисы появился и музыкальный слух. Если рядом играет музыка, достаточно спросить «Алиса, что сейчас играет?» — и она подскажет песню и исполнителя. В этом Алисе помогает технология Яндекс.Музыки, также созданная на основе нейронных сетей.

Напомним, сегодня во время Yet another Conference Яндекс представил домашнее мультимедиа-устройство Яндекс.Станция с голосовым помощником Алисой, которая понимает по-русски и помогает в повседневных делах. Станция выполняет поручения, играет музыку с отличным качеством, находит видео и показывает его на экране телевизора.

Также сегодня на конференции Яндекс анонсировал единую подписку на свои сервисы — Яндекс.Плюс. Владельцы подписки смогут пользоваться особыми условиями на всех сервисах Яндекса, участвующих в проекте. Сейчас это Музыка, Такси, Драйв, КиноПоиск, Диск и новый маркетплейс, бета-версию которого недавно запустил Яндекс.Маркет.

www.searchengines.ru

Алиса, что за мем? Помощник Яндекса научился распознавать фотки и текст

Голосового помощника Яндекса снова прокачали. Алиса научилась распознавать изображения и текст на фотографии.

Эта функция появилась относительно недавно, но в компании не занимались ее ярым продвижением. Вероятно, вы уже могли это заметить и сами.

Причём Алиса может распознавать не просто какие-то объекты, вроде чашки, салата, цветочка и так далее. Но и известные интернет-мемы.

Вот пара примеров:

Для проверки знаний Алисы нужно лишь скачать приложение Яндекса и сказать: «Привет, Алиса, сделай фото». Затем навести камеру на нужный объект и сделать снимок.

Через секунду ассистент распознаёт, что изображено на фотографии и выдаст результат. Если же перед вами будет текст, то Алиса его распознаёт и попытается перевести в цифровой вид. И даже сможет впоследствии перевести на другой язык.

(5.00 из 5, оценили: 1)

www.iphones.ru

Новые возможности Алисы от «Яндекса»: распознавание предметов, QR-кода и текста на фотографии

Алиса облегчает выполнение многих задач. Одной из удобных и полезных функций помощника является умение работать с фотографиями: распознавать предметы, обрабатывать текст и расшифровывать QR-коды.

Обзор функции «Поиск по фото»

Функция «Поиск по фото», которая включает в себя все возможности Алисы по обработке контента, содержащегося на картинке, на данный момент доступна на всех устройствах, работающих под управлением операционной системы Android (версии 6.0 и выше) и iOS (версия 9.0 и выше). Приложение «Яндекс» с встроенным помощником Алисой бесплатно распространяется для обеих операционных систем в официальных магазинах: Play Market и App Store.

Открыв приложение, вы должны перейти к Алисе. Для этого нажмите на её иконку — белый треугольник на фоне фиолетового круга.

Есть два способа активации работы с фото:

• сказать кодовую фразу «Алиса, сделай фото»;
• нажать на иконку в виде фотокамеры и лупы, расположенную в нижнем левом углу.

Нажимаем на иконку с фотоаппаратом и лупой

Далее нужно пройти следующие этапы:

Откроется приложение, способное сделать фото. Учтите, этого не произойдёт, если вы не дадите Алисе доступ к камере. Когда появится сообщение «Разрешить данному приложению доступ к камере», нажмите «Разрешить». Если вы хотите загружать уже сделанные фотографии из «Галереи», дайте Алисе доступ к медиаэлементам.

Для работы Алисе нужно получить разрешения

Фото можно выбрать из «Галереи»

Возможные функции обработки фотографии

Научившись показывать фотографию Алисе, вы можете воспользоваться одной из функций помощника. Дождавшись завершения обработки снимка, нажмите на кнопку, появившуюся внизу или вверху фото, или произнесите кодовую фразу.

Определение объекта

Алиса может предположить, что изображено на снимке. Для этого нужно загрузить фотографию, где предмет, который нужно распознать, расположен на переднем плане и не перекрыт другими предметами. Чем больше деталей видно, тем больше вероятность того, что Алиса сможет правильно определить название предмета.

Алиса может предположить, что изображено на фото

Поиск похожих изображений

Определив, что изображено на картинке, Алиса может отыскать другие фотографии этого же и похожих предметов в интернете.

Чтобы воспользоваться функцией, дождитесь того момента, когда Алиса опознает предмет, а после нажмите кнопку «Посмотреть похожие картинки» или «Найти это в Яндексе», если хотите найти сайты, имеющие информацию об этом предмете.

Алиса может найти похожие снимки

Определение знаменитости

Если на снимке находится лицо известного человека, помощник может подсказать, как его зовут, и предоставить информацию о нём. Также можно попробовать загрузить снимки своих знакомых: если они часто размещают свои фотографии в различных открытых источниках, Алиса сможет их опознать.

Чтобы активировать функцию, произнесите кодовую фразу «Кто на фото?», а после загрузите в диалог нужную фотографию.

Алиса может определить человека на фотографии и предоставить информацию о нём

Распознавание текста и его перевод

Если на картинке есть текст, Алиса может найти его и отправить вам в виде сообщения (удобно, если нужно быстро просканировать страницу и захватить с неё текст, чтобы не перепечатывать весь текст вручную). Для поиска текста необходимо сказать фразу «Распознай текст» и загрузить изображение, на котором чётко виден текст.

Загружаем картинку с текстом и сканируем её

Если же текст на иностранном языке, можно сразу перевести его при помощи «Яндекс.Переводчика». Кодовая фраза для активации функции: «Распознай и переведи текст».

Алиса может найти текст и перевести его

Определение марки

Если на фото автомобиль, Алиса сможет указать его модель и марку, а также предоставить другую информацию по запросу. Для использования функции понадобится фотография автомобиля в хорошем качестве, желательно, чтобы она была сделана издалёка, ведь так будет видно больше деталей, по которым Алиса сможет определить точную марку. Фраза, активирующая поиск: «Определи марку автомобиля».

По фотографии Алиса может определить марку автомобиля

Определение породы

Покажите Алисе фото с животным, чтобы она предоставила информацию о нём. Помощник определит не только его вид, но и подскажет, какой он породы. Желательно показывать фотографию животного в полный рост, чтобы Алиса могла оценить все его признаки и отнести к тому или иному виду. Фраза, активирующая поиск: «Распознай животное».

С помощью Алисы можно определить вид и породу животного

Определение растения

Показав помощнику фото с растением, можете попросить предоставить информацию о его виде. Для запуска поиска произнесите фразу «Распознай растение».

По фото Алиса может определить вид растения

Определение объектов искусства

Алиса может рассказать, какая картина на фото и кто её автор. Для этого нужно загрузить картинку с фрагментом картины или её фото в полный размер и использовать команду «Распознай картину».

Определить картину и автора с помощью Алисы очень легко

Поиск товара

Если на фото есть какой-то предмет, Алиса может отыскать его (или сходный с ним предмет) в «Яндекс.Маркете», сервисе от «Яндекс», позволяющем найти оптимальную цену и качество среди всех предложений в интернете.

Есть два способа активации поиска:

произнести фразу «Определи товар»;

Чтобы активировать поиск товара, произнесите фразу «Определи товар»

Алиса может отыскать изображённый на фото (или сходный с ним предмет) в «Яндекс.Маркете»

Распознавание QR-кода

На многих товарах присутствует QR-код, содержащий достаточно много информации о товаре и его производителе. Также QR-коды иногда используют, чтобы быстро перенаправить пользователя на определённый сайт.

Алиса может прочитать, какую информацию содержит в себе код:

Используйте команду «Распознай QR (кью эр) код».

Сначала используйте команду

Загрузите фото с QR-кодом

Видео: обзор возможностей Алисы

Алиса умеет работать как с новыми снимками, так и с теми картинками, которые уже сохранены в память телефона. Она может найти информацию о животных, растениях, автомобилях, людях и любых других предметах, а также считать QR-код. Чтобы повысить эффективность распознавания, показывайте Алисе чёткие фотографии, на которых один объект расположен по центру.

itmaster.guru

Как «Яндекс» создавал «Алису»

Разработчики голосового ассистента — об особенностях российской аудитории, преимуществах перед конкурентами и перспективах технологии.

• 10 октября 2017 года «Яндекс» официально представил своего голосового ассистента «Алиса».
• В основе «Алисы» — нейронные сети, которые распознают речь, интерпретируют её , составляют ответы и синтезируют голос помощника. «Алиса» обучается на огромных массивах текстов, чтобы общаться с пользователем на свободные темы.
• Есть и «редакторские» реплики, написанные командой для ответов на популярные вопросы.
• Одна из главных сложностей в разработке такой системы: понять, что будет интересовать пользователей, и как они будут об этом спрашивать. Кто-то спрашивает у поисковика «где я», кто-то — «какая моя геолокация».
• Основные отличия «Алисы» от конкурентов (к примеру, Siri) — интеграция с собственной поисковой системой компании и наличие нейронной сети, с помощью которой помощник самостоятельно генерирует новые реплики.

Почему «Яндекс» взялся за разработку голосового ассистента

К 2017 году своих голосовых помощников представили крупнейшие мировые ИТ-компании: на англоязычном рынке работает Siri от Apple, Assistant от Google, Alexa от Amazon, M от Facebook, Cortana от Microsoft. На азиатском — Duer от Baidu и Bixby от Samsung.

Весной 2017 года тестирование собственного голосового помощника запустил российский «Яндекс». Ассистент по имени Алиса встроен в поисковое приложение компании. Пользователь может решить свою задачу в форме диалога с ассистентом — вместо ввода запроса в поисковую строку. 10 октября 2017 года компания объявила об официальном запуске сервиса — помощник появился в стабильной версии поискового приложения для Android и iOS, а также в бета-версии «Голосового помощника» для Windows.

За создание «Алисы» компания принялась в конце 2016 года. Сервис начали разрабатывать потому, что вся индустрия движется в этом направлении: пользователь хочет и готов решать свои задачи в форме диалога с виртуальным помощником, готовы к этому и алгоритмы, — и можно переходить от голосового ввода к осмысленному диалогу.

Когда у пользователя появляется возможность задать вопрос голосом, он начинает говорить по-человечески. Вместо «Лада калина 2007 карданный вал дёшево купить» спрашивает: «Где мне купить карданный вал на «Ладу Калину» 2007 года»? Не выдумывает поисковый запрос, не формулирует его, как он привык это делать, а просто спрашивает.

В этом направлении параллельно движутся и поисковые алгоритмы, и диалоговые интерфейсы. Но в голосовом помощнике есть привязка к контексту — то есть способность удерживать смысл реплик и понимать, связаны ли с ними последующие высказывания.

Скажем, вы спросили «Алису»: «Какая завтра погода?» — она ответила вам: «+7 и ясно». Следующий вопрос может оказаться: «А на выходных?» Его легко понять человеку, но сложно машине — ведь в нём нет даже ключевого слова «погода». Диалоговый помощник умеет сопоставлять реплики и понимать, что вы всё ещё говорите о погоде.

Значит, когда мы от простого голосового ввода переходим к диалогу, то делаем это, чтобы дать пользователям возможность говорить так, как они привыкли — вот и всё.

По словам разработчиков, пользователи «Яндекса» уже умеют обращаться к сервисам компании голосом — команда «Слушай, Яндекс» работает и в «Поиске», и в «Навигаторе», и в других приложениях. Так что привыкать к новому интерфейсу им не придётся.

С пользовательской точки зрения, говорит команда проекта, с появлением «Алисы» меняется несколько вещей. Помимо диалогового интерфейса, помощник обрёл личность — «Алиса» проявляет эмоции, умеет шутить и «не терпит унизительного обращения в свой адрес». К ней теперь можно обращаться по имени: «Слушай, Алиса».

С технологической — за работу помощника теперь отвечает многослойная нейросеть, которая учится на массивах текстов, понимает смысл запроса и самостоятельно синтезирует речь.

Как работает «Алиса»

«Алиса» встроена в поисковое приложение «Яндекса». Общаться с ассистентом можно как голосом, так и вводя запросы с клавиатуры. При возможности «Алиса» отвечает на заданный вопрос прямо в диалоговом интерфейсе, в других случаях — показывает поисковую выдачу по запросу или нужное приложение.

Под капотом

В основе «Алисы» — нейронные сети: они распознают речь, анализируют её, определяют тематику диалога, выделяют полезную для поиска информацию, синтезируют ответы помощника.

Почти все вычисления, помимо голосовой активации (распознавания фразы «Слушай, Алиса»), проводятся в облаке. «Конечно, было бы интересно перенести часть вычислений на смартфон, чтобы «Алиса» иногда могла работать и без интернета, — говорит Илья Субботин. — Но вычислительная мощность смартфонов слишком низкая для таких задач».

Технологии машинного обучения дошли до уровня, когда пользователь может просто говорить с приложением и видеть, что то его понимает, — а синтезированный голос приобретает звучание, близкое к естественному.

При этом мировое научное и технологическое сообщество находится лишь в начале пути — алгоритмы будут совершенствоваться и дальше. Распознавание речи, синтез, определение тематики беседы — всё это должно работать ещё лучше.

Есть общие продуктовые метрики, по которым можно оценивать работу помощника, — удовлетворенность пользователя, частота использования приложения. Но есть и более сложные параметры, объясняет Субботин. Например, умение находиться в контексте беседы: помощник должен помнить, о чём его спросил пользователь, уметь верно интерпретировать дополнительные вопросы и давать релевантные ответы.

«От релевантности одного конкретного диалога в будущем можно будет переходить к персонализации и мультизадачности: в идеале, когда я собираюсь на работу, я смогу спросить, что надеть, «Алиса» посмотрит погоду, маршрут до офиса, решит, на чем лучше доехать, и исходя из этого посоветует мне, что надеть».

Как объективно оценивать способность системы вести диалог, пока не ясно. Длина диалога мало говорит о его содержательности: беседа может затянуться, если пользователю интересно обсудить что-то с ассистентом или если помощник долго не может решить его задачу. Но и короткий диалог не всегда говорит об успешном решении проблемы.

Акцент на поиске

Разработчики голосового помощника Siri от Apple намеренно наращивают количество диалоговых сценариев — чтобы не демонстрировать пользователю поисковую выдачу. Перед командой «Алисы» такой задачи не стоит, потому что «Алиса» — другой продукт.

Apple поступает так не от богатства выбора. Просто это не поисковая компания. Мы абсолютно другие. Для нас поиск на первом месте — это лучший продукт, который у нас есть.

Загадывать, как интегрированный с поиском помощник будет адаптирован для работы на других устройствах, пока рано, считает руководитель продукта «Алиса»: индустрия пока не выяснила, какие именно устройства окажутся востребованы у аудитории, а кроме того, такие устройства будут предполагать разные сценарии взаимодействия, под которые можно будет адаптировать систему.

«У пользователя в любом случае есть задача, которую он хочет решить — взаимодействуя с голосовой колонкой или, допустим, системой управления автомобилем. В случае с колонкой упор будет сделан, вероятно, на музыке или новостях — и у нас есть музыкальный и новостной сервисы. В автомобиле водителя интересуют карты. Вряд ли он будет спрашивать у машины: «пластиковые окна купить дёшево»».

Крупные технологические компании делают ставку на развитие экосистем «умных» устройств — и это расширяет возможности взаимодействия с помощником. Если для ответа на вопрос устройству без экрана понадобится показать поисковую выдачу или открыть приложение, помощник сможет запустить нужный сервис на другом — например, на смартфоне.

«Это лишь вопрос адаптации под устройство, — продолжает Субботин. Но, по-честному, мы пока ничего не знаем. Один из лидеров отрасли — Amazon, — до сих пор экспериментирует с форматами: у компании есть колонка Echo, мини-версия Echo Dot, варианты с камерой, с экраном».

Личность «Алисы», считают разработчики, — одно из её главных конкурентных преимуществ. Проекты, рассчитанные на англоязычную аудиторию, не пытаются создать сильную эмоциональную связь с пользователем, а наоборот, скорее от него отстраняются.

Чтобы дать ассистенту личность, команде нужно было определиться с полом, возрастом, именем и чертами характера персонажа, описать поведение и составить реплики, которые помощник будет использовать для диалога с пользователем — «редакторские» ответы.

Вместе с журналистом, писателем и бывшим руководителем группы маркетинга поиска «Яндекса» Владимиром Гуриевым разработчики описали характер персонажа и выбрали для него подходящие реплики.

Всего команда описала около 320 сценариев, в которых помощник отвечает редакторскими репликами. Для каждого из таких сценариев заложено от двух до семи ответов, которые система выбирает случайным образом. «Этого достаточно, чтобы сформировать личность, но недостаточно, чтобы потрепаться обо всём на свете», — говорит Субботин.

Разработчики решили, что ассистент будет молодой девушкой, которая всегда готова помочь владельцу смартфона, но при этом не допускает панибратского отношения. Она корректна и держит дистанцию, когда её пытаются оскорбить, но не высокомерна и не кичится своими знаниями.

Помощник также должен быть ироничным и — это важно в контексте систем искусственного интеллекта — самоироничным. «Дело в том, что наш алгоритм речевого синтеза, — да и все алгоритмы конкурентов, — не очень-то хороши в эмоциях. «Алиса» немножечко над собой посмеивается, добавляя слова «шутка» или «сарказм», где это нужно. Потому что она знает про себя, что пока не может хорошо интонировать», — объясняют разработчики.

Как выбирали имя

Команда составила список имён, которые, как показалось сотрудникам, лучше всего подходили к выбранным чертам характера. К имени предъявлялись также технические требования: например, в нём не должно было быть буквы «р» — её не выговаривают маленькие дети.

Кроме того, имя не должно было входить в другие слова или фразы. В качестве одного из вариантов разработчики рассматривали имя Майя — но оно могло спровоцировать ошибки распознавания на фразах вроде «Девятое мая». Важно было также, чтобы имя не входило в список наиболее популярных женских имён в России — чтобы сократить количество ложных активаций. Алиса в такой список не входит, но для тех пользователей, у кого в семье есть Алиса, останется возможность активировать помощника командой «Слушай, Яндекс».

Определившись с вариантами, разработчики вместе с социологами и аналитиками «Яндекса» составили опрос для пользователей сервиса «Толока». В нём компания просила определить черты характера девушки по имени. «Пользователей нельзя спросить прямо, какое имя больше подходит ассистенту, и мы спросили хитро. Взяли нужные нам характеристики — и наоборот, совсем неподходящие, и стали спрашивать: если у девушки вот такое имя, то она скорее, например, добрая или агрессивная?».

С большим отрывом, говорит Субботин, в опросе победило имя «Алиса». «И никто за время тестирования ни разу не сказал нам, что это плохое имя».

Как «Алиса» обучалась во время тестирования

Всего в тестировании ассистента приняло участие несколько десятков тысяч человек, а продлилось оно пять месяцев.

Главное, что мы выяснили за это время, — что двигаемся в верную сторону. И что те вопросы, которые, как мы думали, должны волновать пользователей, действительно их интересуют.

Перед запуском тестирования было важно определить наиболее вероятные сценарии взаимодействия: вопросы, которые пользователи будут задавать «Алисе», — а также понять, как именно они будут их задавать.

«Мы понимали, что людей волнует, к примеру, погода. Отлично, чтобы рассказать о погоде, надо на что-то среагировать — на какие-то пользовательские фразы», — рассказывает Субботин. Определившись с темой, разработчики описали самые простые сценарии: например, когда пользователь просто спрашивает: «Какая сейчас погода?». Затем добавили более сложные варианты: прогноз погоды на конкретное число, на несколько дней, на несколько дней в следующем месяце.

Ещё одна популярная тематика — определение местоположения. Изначально команда «Алисы» собрала несколько реплик, которыми пользователи могли бы активировать сценарий, но выяснилось, что зачастую люди задают вопросы совсем не так, как могли предположить разработчики. «Мы включили: «где я», «где я нахожусь», «какое моё местоположение», «какой у меня сейчас адрес». А пользователь спрашивает: «Подскажи, пожалуйста, где моя геолокация». Такое мы не могли предусмотреть».

Разработчики отслеживают типы запросов пользователей и релевантность ответов помощника и добавляют в ассистента новые сценарии, которые не были заложены в него изначально.

Команда также занимается разработкой специальной диалоговой модели — внутри компании её называют «болталкой», — которая в будущем может взять на себя всё общение с пользователем на отвлечённые темы и обучаться новым репликам самостоятельно.

«Болталка» обучается на больших массивах текстов, в том числе диалогов. Порой, говорят создатели, они не могут предугадать ответы «Алисы» — настолько человечными они оказываются, — а иногда она может и нахамить собеседнику. Но разработчики отслеживают некорректные реплики и удаляют их из системы.

vc.ru