Blog
Conséquences du produit et code d’éthique du produit? |
- 25 février 2020
- Publié par : nicolas
- Catégorie : Non classifié(e)
Incité par des discussions avec Jumana Abu-Ghazaleh, Phil Wolff et John Sebes, J’ai pensé aux produits technologiques qui font du mal dans le monde – intentionnellement ou non. Et si un code d’éthique ou un autre accord entre les chefs de produit / chefs de produit serait utile. Ce post est plus sur la formulation du problème tel que je le vois plutôt que sur la proposition de solutions, avec un appel à l’action. Décomposons-le un peu.
1. Conséquences involontaires et mauvaise utilisation du produit
Nous avons réappris au cours des dernières années que les produits peuvent involontaire effets secondaires, et que les mauvais acteurs peuvent abuser bons produits. On oublie ça la technologie n’est pas neutre et comprend généralement une certaine ingénierie sociale. Par exemple:
Dans nos tours de technologie ivoire confortablement meublées, nous nous concentrons sur «chemin heureux»Des scénarios, avec peu de réflexion sur la façon dont des personnes malveillantes pourraient abuser de nos produits / services – ou sur la manière dont des utilisateurs non typiques pourraient avoir des ennuis. Même si nous avons vu des générations de réseaux sociaux détournés par des trolls; outils de sécurité du réseau subvertis; et Des sonnettes IoT pour suivre les voisins. En tant que professionnels des produits, nous ne prenons pas souvent le temps d’anticiper les mauvais résultats.
Que faire?
Nous (en tant que chefs de produit et chefs de produit) devons penser à une mauvaise utilisation et à des conséquences imprévues très tôt dans le cycle de conception du produit, et encore avant de passer à l’échelle. Parallèlement aux modèles commerciaux et aux publics cibles et aux mesures de réussite, nous devons peut-être prendre le temps de «jouer à la guerre» ou de «équipe rouge»Nos prototypes de problèmes potentiels. Une liste de contrôle conceptuelle peut comprendre:
- Comment de mauvais acteurs pourraient-ils exploiter notre outil / plateforme / produit / service?
- Pourrait-il devenir une plateforme de haine, de désinformation, de honte en ligne ou d’autres mauvais comportements? Pouvons-nous définir un contenu inacceptable pour cette application? Comment pourrions-nous repérer le contenu inapproprié et les mauvais acteurs assez rapidement pour prendre des décisions significatives (par exemple, supprimer du contenu, signaler NSFW, interdire les utilisateurs)?
- Si «voter» est inclus, un bot ou une personne malveillante peut-il créer des marionnettes qui submergent de véritables opinions, par exemple avec fausses recommandations de voyage? Voir Randy FarmerLivre de 2010 à ce sujet.
- Stockons-nous les informations personnelles des utilisateurs, au-delà des informations personnelles définies par la loi? Anticiper les conséquences des hacks ou des fuites, par exemple pour actrices qui ont téléchargé des photos révélatrices? Avons-nous l’obligation d’avertir les utilisateurs ou de limiter ce que nous collectons?
- Sommes-nous en train de permettre employeurs ou Gouvernements pour surveiller de nouveaux types d’activités? Si oui, quelles obligations cela crée-t-il pour nous?
- Faisons-nous sans fondement ou réclamations dangereuses sur les résultats et l’efficacité? Si quelqu’un utilise notre produit comme indiqué, quels sont les mauvais résultats possibles?
- Des problèmes ou des effets secondaires si notre produit ne fonctionne pas? Les ouvre-portes de garage IoT peuvent rester en «position ouverte»; Les détecteurs de fumée basés sur l’IA pourraient faire des erreurs; La sauvegarde dans le cloud des dossiers médicaux des consommateurs peut être perdue. Quel est le préjudice pour les clients payants si tout notre centre de données virtuel disparaît?
En tant que spécialistes des produits, nous devons soulever ces problèmes nous-mêmes – les rendre plus importants pour nos équipes produit / conception / développement. Réduisez les surprises. Rappelez à nos groupes techniques optimistes / protégés que les mauvaises personnes peuvent faire des choses moches avec de bons produits. Mais cela demandera des efforts et éloignera les gens des autres priorités n ° 1.
[[Faites le moi savoir si vous souhaitez piloter un exercice “équipe rouge” pour votre produit.]
2. Conséquences détenues
D’un autre côté, je vois beaucoup de segments de produits qui sont intrinsèquement problématiques, en particulier dans les services financiers, la technologie publicitaire et le contenu / les médias sociaux générés par les utilisateurs. Il y a potentiellement de mauvais résultats et des blessures enracinées dans les principaux modèles commerciaux et les objectifs de produit des entreprises: dans les mesures de réussite ou les chiffres économiques ou globaux qui se prêtent naturellement à des abus. Pour moi, le problème fondamental est souvent une scission entre les «utilisateurs» et les «payeurs» où les technologues toujours plus intelligents trouvent des moyens toujours plus subtils de collecter et de vendre des informations personnelles à des tiers avec des intentions anti-utilisateurs. Ou entre les employeurs et les employés, où les entreprises déploient des procédures et des technologies qui empêchent les travailleurs.
- Les réseaux sociaux font leur argent en vendant notre comportement en ligne très détaillé aux annonceurs (et aux gouvernements et aux cybercriminels et trolls). C’est fondamentale pour leur modèle d’entreprise, pas un effet secondaire, et intentionnellement caché à la vue – notoirement difficile à contrôler ou à comprendre pour les consommateurs. Heureusement, nous voyons quelques réseaux sociaux (Twitter) font un peu d’autorégulation pour protéger les utilisateurs finaux, même si cela coûte des revenus de première ligne.
- Certains applications de financement à la consommation/ sites fournissent des rapports de crédit personnels et des conseils aux consommateurs sur l’amélioration de leurs cotes de crédit, mais font leur argent sur les frais de recommandation de carte de crédit. Leur OKRS interne est destiné à orienter les consommateurs avec un mauvais crédit vers plus de crédit – ce qui semble fallacieux et peut-être nocif.
- Vidéo générée par l’utilisateur les sites sont payés en volume. Ainsi, les algorithmes qui recommandent des vidéos toujours plus choquantes seront naturellement plus rentables. Quelle est la prochaine vidéo en colère / sexy / déformée / virale qui sera difficile à détourner du regard et plus difficile à oublier?
- AdTech a été une course vers le bas, lutter contre la baisse des prix avec un ciblage publicitaire plus précis. Dans une bataille pour la survie des entreprises, nous attendons-nous à ce que des contrôles internes solides évitent les inférences concernant l’appartenance politique, l’état de santé ou la religion ou où nous dormons la nuit?
- Cigarette électronique les entreprises conçoivent leurs produits pour créer une dépendance, avec des (et pourtant inconnu) risques pour la santé. Ils ont suivi les compagnies de tabac traditionnelles en faisant la promotion de la mauvaise science, en faisant beaucoup de lobbying et en se cachant derrière le choix des consommateurs.
- En relation… développeurs d’applications / de jeux ont des décennies d’expérience pour nous accroché, renforçant les comportements pendant que nous jouons (juste) un tour de plus ou vérifions notre statut (juste) une fois de plus. Nous avons investi dans la dépendance numérique. Quel est le bon équilibre lorsque nos investisseurs inspectent les statistiques d’engagement à chaque réunion du Conseil?
- De nouveaux acteurs de la fintech proposent financer une partie de l’acompte sur votre nouvelle maison. Mais ils sont fortement incités à capter autant que possible votre appréciation éventuelle, et leurs analyses de données dépassent presque tous les propriétaires. Pouvons-nous savoir si les consommateurs obtiennent une offre raisonnable? Devraient-ils avoir une obligation «d’équité» envers les propriétaires ainsi que les investisseurs? Cela fait écho à la crise des titres adossés à des créances hypothécaires et des CDO de 2007-2008, où de vraies personnes étaient des dommages collatéraux – des maisons perdues et des retraites.
- Modèles d’apprentissage automatique formé sur des décennies d’hypothèques peut renforcer automatiquement redlining historique et mauvaises pratiques de prêt. Notre mauvais comportement précédent façonne de nouveaux algorithmes.
Ce n’est donc pas que Facebook a l’intention de violer notre vie privée ou d’aider des acteurs étrangers à saper la démocratie, mais ce n’est pas surprenant rétrospectivement. Et Facebook continue d’en faire de l’argent. Ce qui est différent pour les chefs de produit / chefs de produit, c’est que nous pouvons être poussant contre notre entreprise objectifs financiers fondamentaux, soulevant des préoccupations qui s’opposent à nos statistiques de premier plan. Si (par exemple) nous avertissons les consommateurs avec un mauvais crédit sur les dangers de plus de cartes de crédit et que cela réduit nos taux de conversion, nous aurons des questions difficiles lors de notre prochaine réunion du Conseil.
Cela illustre la lenteur des intentions et des décisions au début du cycle de conception du produit et la nécessité d’un examen intellectuellement honnête. Bien avant de commencer le cycle de développement ou d’abandonner des MVP sur des consommateurs sans méfiance, avons-nous réfléchi aux utilisations prévues et involontaires? Imaginez-vous en train de discuter avec votre PDG pour savoir si votre produit répond vraiment aux besoins des utilisateurs finaux et des acheteurs: serait-ce une conversation amicale ou combative?
Je pense que cela nous oblige à prendre des décisions personnelles concernant nos employeurs: travailler en interne, équilibrer la valeur pour tous les participants et réduire les mauvais résultats, ou quitter pour les entreprises avec des modèles commerciaux plus propres. Nous pouvons voter avec nos pieds. J’ai eu cette discussion avec des dizaines de personnes qui envisagent de quitter leur entreprise actuelle. Comme l’a demandé Arlo Guthrie: «vous voulez savoir si je suis assez moral pour rejoindre l’armée, brûler des femmes, des enfants, des maisons et des villages après avoir été une litière?“
Les politiques de confidentialité ne suffisent pas
La plupart de nos produits incluent un lien vers un document «Confidentialité» ou «Conditions d’utilisation» avec 10 à 50 pages de texte légalement obscurci. Nous savons que c’est incompréhensible pour la plupart des humains, et tout ce qui est louche est caché à la page 18. Cela peut nous protéger des poursuites judiciaires, mais évite toute responsabilité réelle. Nous pourrions plutôt appliquer un test d’ensoleillement: Si ProPublica ou Le New York Times décrit avec précision comment notre entreprise gagne de l’argent et partage des informations sur les consommateurs, serions-nous gênés? Par exemple, mon opérateur de téléphonie mobile (Verizon) vend mes données de localisation en temps réel à des tiers douteux, mais je n’arrive pas à me retirer ou même à obtenir des réponses sur les destinataires. Le jargon juridique l’emporte sur la clarté.
Ou peut-être un test entre amis et famille: est-ce que je recommanderais ce produit à mon oncle peu averti en technologie ou donnerais à mon enfant d’âge préscolaire un accès illimité / non contrôlé à ce contenu? Quelles rambardes voudrais-je avant d’approuver cela à un public beaucoup plus large? (Certains parents tech sont limiter le temps d’écran de leurs enfants.)
Phil WolffLa construction de échelle de maturité morale de la gestion des produits cela élargit notre allégeance et notre devoir de diligence au-delà des investisseurs et du leadership de l’entreprise pour inclure les utilisateurs, les acheteurs, nous-mêmes, nos équipes de produits, d’autres employés et la société en général. Intéressant de voir comment différentes personnes trieraient une telle liste.
Un petit appel à l’action
Cela semble difficile à résoudre. Les chefs de produits technologiques ne disposent pas d’un organisme de réglementation pour décertifier les mauvais acteurs, médecins ou des avocats. Et nous sommes profondément impliqués dans l’idéation / validation de nouveaux produits, avec de fortes incitations financières pour travailler sur des produits «gagnants» avec des modèles économiques évolutifs pour les investisseurs qui financent la croissance à tout prix (social)… ce qui invite à l’auto-justification motivée par l’argent. Mais cela semble maintenant le bon moment pour pousser à une plus grande responsabilité au sein de la gestion des produits et au sein de la C-suite. Pour défendre notre utilisateurs et des parties prenantes largement définies ainsi que nos investisseurs.
Si vous êtes un chef de produit et que vous souhaitez participer à une discussion d’une demi-journée à ce sujet avec vos pairs, veuillez faites le moi savoir.