07 marzo 2012

AAC Speech Communicator, un comunicador para Android que permite generar frases con la concordancia correcta (disponible en francés e inglés).

Ya sabéis que, además de  colaborar con desarrolladores nacionales de software para la comunicación aumentativa y alternativa, colaboramos también con algunos ingenieros de otros países que, además de incorporar la galería de pictogramas de ARASAAC en sus aplicaciones, nos solicitan asesoramiento para llevar a cabo sus proyectos.

Éste es el caso de Vidmantas Zemleris, un ingeniero suizo, que ha desarrollado un aplicación para Android denominada AAC Speech Communicator y en la que, a lo largo de varios meses, le hemos ido asesorando en distintos aspectos y sugiriendo algunas implementaciones.


AAC Speech Communicator es una aplicacion gratuita, que está disponible, únicamente en francés e inglés, para dispositivos móviles Android. Podéis descargarla desde el propio Market a través del dispositivo móvil, introduciendo AAC Speech en el buscador.

AAC Speech es una aplicación, a través de la cual podemos comunicarnos, y que incorpora una API que genera frases con la concordancia correcta de sujeto y predicado de forma automática, lo que evita hablar con "infinitivos", en vez del tiempo conjugado del verbo. La voz sintetizada del dispositivo se encarga, finalmente, de leer la frase cuando pulsemos sobre el botón de hablar.

Pero aquí no acaba todo. La aplicación incorpora dos pictogramas de pasado y futuro que, cuando son introducidos en la frase, conjugan el verbo automáticamente en el tiempo pasado o futuro, según el pictograma que hayamos introducido, con lo que generamos una frase con una estructura sintáctica correcta ¡Es fantástico!


La aplicación tiene una pantalla inicial en la que podemos elegir el sujeto, el verbo, los pictogramas de pasado/futuro, la negación y distintas categorias, que incluyen más de 5000 pictogramas de la base de datos de  ARASAAC.


La única pega es que sólo está disponible en francés y en inglés, ya que la API que permite la conjugación de los verbos no está desarrollada en castellano. A ver si alguno de los que leés esta entrada, tenéis conocimientos de informática y os atrevéis a desarrollar el API en nuestro idioma. Nos haríais un gran favor, ya que podríamos incoporarla, además, a otras aplicaciones.


Os recomendamos que, aunque esté en francés y en inglés, la descarguéis y la probéis para ver cómo está avanzando el mundo del software en los referente a la CAA en dispositivos móviles. Una vez descargada, deberéis cambiar el idioma de vuestro dispositivo al francés, para que la lectura de la frase sea correcta.

A Vidmantas Zemleris, sólo nos queda agradecerle que haya confiado en nosotros y felicitarle por el gran trabajo realizado y en el que seguro que va a continuar trabajando para ir aumentando las posibilidades de la aplicación.

A continuación, copio y pego la descripción en inglés.

"AAC Speech Communicator - An Android application for children with speech disabilities that forms sentences from a list of pictograms clicked (French, very limited English).
  • 5,000 icons included.
  • generates gramatically correct sentences.
  • people find it to be a fun toy for learning the basics of foreign language.
  • It's free, it's fairly cool already and there are lots of features to be implemented.

An Android application for people with speech disabilities, a generic and easy to learn communication method for anyone with speech disabilities that forms grammatically correct sentences from a list of pictograms clicked and reads them (text-to-speech). Because of pictograms it's especially good for children on ones who have limited reading abilities.

It is different from most of existing products by being free, by it's grammatically correct natural language generation features (inflection, tenses, using the setting user gender to alter first person sentences1 and more) and by usage of gesture search on mobile phones where keyboard is not reliable because is small screen.

Also, my friends have found it to be a fun toy to learn basics of foreign language :)
The application includes ~5000 icons obtained from arasaac.org, where ~900 are properly categorized, and others are accessible through search. It supports French language well, and there is an early prototype for English too.

Other features include:
  • recent phrases and pictogram history (each category lists most used ones on top) accessibilit
  • for easier identification icons tagged with the 6 SPC colors (actions, names, descriptives etc.
  • option to display text in capital letter
  • compatibility with both Tablets and mobile phones." 

3 comentarios:

Anónimo dijo...

Buenos dias,

Yo soy un informatico, con niño autista. Estaria encantado en intentar crear la api en español..

para mas comunicacion :

carlos.blazquez.fernandez@gmail.com

Equipo de ACCEGAL dijo...

Bueno, en castellano hay una aplicación que hace eso: PictoDroid. Está disponible en la web de ACCEGAL porque todavía está en beta :)
http://www.accegal.org/pictodroid/

vidma dijo...

Hi,

to add new languages with correct tenses, conjugation etc, one need to implement the natural language processing library (surely one obtain just have a list of concatenated words in any language without any intelligence without implementing this).

I used simpleNLG library as it works on Java, as is simple, sufficiently powerful and performant enough for mobile devices. There I build sort of a sentence tree, specifying objects, subjects, modifiers tenses etc.

http://code.google.com/p/simplenlg/

There are currently only French and English versions of this library. Some guys were also working on German version since last year but it seems not ready yet.

I think for Spanish one could adapt the French version (info here: http://www-etud.iro.umontreal.ca/~vaudrypl/snlgbil/snlgEnFr_english.html ), if I'm right Spanish grammar is a quite much simplier than French.

Basically that you need to do is:
1) create the Spanish lexicon [list of words, their forms and correspondace between them]. Maybe some existing lexicon could be used
https://github.com/vidma/aac-speech-android/blob/master/source/libs/simplenlg/lexicon/french/XMLLexicon.java

2) implement some specific to language features (morphology and something else) including numbers, inflections etc

e.g.
https://github.com/vidma/aac-speech-android/blob/master/source/libs/simplenlg/morphology/french/MorphologyRules.java

That may be more complex than this if you want to handle particular cases etc. but I'm sure that would be an interesting piece of both linguistic and computer science work/research. To have rough idea, the French version took I think around 6 months to be developed.


Having simplenlg library in particular language adapting applications using simpleNLG is fairly straight forward. Second, I think the Spanish implementation may be useful for many of other (non-related) projects.

feel free to contact me at vidmantas.zemleris @ gmail.com



Cheers,
Vidmantas / developer of AAC Speech

Related Posts Plugin for WordPress, Blogger...