Deepvest/ProfilingAI
0
1o
2 J��g�6 � @ s� d dl Zd dlZd dlZd dlZd dlmZm Z m3Z4 d dl m Z m Z d dl
Z
d dlZd dlZd dlmZ d dlZd dlmZ d dlZd dlZd dlmZ eej�ej�e �ddd �� G d5d � d �Z G d d
� d
�Z G dd� d�Z dS )� N)�List�Dict�Optional)�datetime� timedelta)�
BeautifulSoup)�Article)� load_dotenvZDeepvest_system�srcz data_API.envc @ s6 e Zd ZdZdd� Zd"dee dedejfdd �Z d#dee d e7dee fd d
�Z dee de fdd�Z
dee dee fdd�Zdee dejfdd�Zdee de fdd�Zdedee fdd�Zdedejfdd�Zdedee fd d �Zd ee de fd d �Zd!S )$� DataFetcheru6 Gestionnaire centralisé de récupération de donnéesc C s< t jdd�| _t�dd�| _| j�dd� t�| j�| _d S )NZ(cu9bhbhr01qnf5nmldv0cu9bhbhr01qnf5nmldvg)�api_keyZHaynwOOFiEd2Ty3m6Xu7sPhrdZ2nuu7y46JtjB7qbYnhK79w86AqR9PC2maDzl2qDpJZLceQeEe5Yz21871112111419486208-taeYKwppobslPmDa4NaDMCqCEG9qoaZ-N2izETc3KGe6tPE8yc1rvKTo20lnZewhxWw19HhzlebRp) �finnhub�Client�finnhub_client�tweepyZ OAuthHandlerZ twitter_authZset_access_tokenZAPI� twitter_api)�self� r �8/Users/sandrine/Deepvest_system/src/core/data_fetcher.py�__init__ s ��zDataFetcher.__init__�2y�symbols�period�returnc � s� �t �� }|D ];}z tj||d�}| �|�}t j||gdd�}|d ||< W q tyB } ztd|� d|� �� W Y d}~qd}~ww |S )u& Récupération des données de marché)r � )�axis�Closeu3 Erreur lors de la récupération des données pour �: N)�pd� DataFrame�yf�downloadZ_get_finnhub_data�concat� Exception�print) r r r �data�symbolZyf_dataZ finnhub_dataZ
combined_data�er r r �fetch_market_data% s �8 ��z DataFetcher.fetch_market_data� �daysc 9 � sR �g }t �� 4 I dH ��}|D ]�}zd| jj|t�� t|d� �d�t�� �d�d�}|D ]G}z,t|d �}|� � |�10� |� ||d |j |d |d t�
|d �|�d �d11�� W q+ tyr } z
td | � �� W Y d} ~ q+d} ~ ww W q ty� } ztd |� d
| � �� W Y d} ~ qd} ~ ww W d �I dH |S 1 I dH s�w Y |S )u) Récupération des nouvelles financièresN)r* z%Y-%m-%d)�_from�to�urlZheadline�sourcer � sentiment)r& �title�contentr. r- r r/ z'Erreur lors de l'analyse de l'article: u4 Erreur lors de la récupération des nouvelles pour r )�aiohttp�
ClientSessionr Z company_newsr �nowr �strftimer r! �parse�append�text�
fromtimestamp�getr# r$ )12r r r* � news_data�sessionr& Z finnhub_news�news�articler' r r r �fetch_news_data: sL � � � ��� ���� � zDataFetcher.fetch_news_datac � s2 �| � |�I dH | �|�I dH | �|�I dH d�S )u( Récupération des données alternativesN)� social_media� web_traffic� satellite)�_fetch_social_media_data�_fetch_web_traffic_data�_fetch_satellite_data)r r r r r �fetch_alternative_data` s13 ��z"DataFetcher.fetch_alternative_datac � s� �g }|D ]C}z%| j jd|� �dddd�}|D ]}|�d|j|j|j|j |d�� qW q tyH } ztd|� d |� �� W Y d14}~qd15}~ww |S ) u0 Récupération des données des réseaux sociaux�$�en�d �extended)�q�lang�countZ16tweet_mode�twitter)�platformr8 � timestampZ17engagementr& u< Erreur lors de la récupération des données sociales pour r N) r Z
search_tweetsr7 Z full_text�18created_atZfavorite_countZ
retweet_countr# r$ )r r � social_datar& ZtweetsZtweetr' r r r rC h s0 ��1920�� ��z$DataFetcher._fetch_social_media_datac � sz �t �� }|D ]3}z| �|�}|r | �|�I dH }|||< W q ty: } ztd|� d|� �� W Y d}~qd}~ww |S )u) Récupération des données de trafic webNu4 Erreur lors de la récupération du trafic web pour r )r r �_get_company_domain�_get_similerweb_metricsr# r$ )r r � traffic_datar& Zcompany_domainZtraffic_metricsr' r r r rD � s �21� ��z#DataFetcher._fetch_web_traffic_datac � sv �i }|D ]3}z| � |�}|r| �|�I dH }|||< W q ty8 } ztd|� d|� �� W Y d}~qd}~ww |S )u% Récupération des données satelliteNu= Erreur lors de la récupération des données satellite pour r )�_get_company_locations�_get_satellite_metricsr# r$ )r r Zsatellite_datar& Zcompany_locationsZsatellite_metricsr' r r r rE � s �22� ��z!DataFetcher._fetch_satellite_datar& c C s: z| j j|d�}|�dd��dd��dd�W S Y dS )u/ Récupère le domaine principal de l'entreprise)r& Zweburl� zwww.zhttps://N)r Zcompany_profile2r: �replace)r r& Zcompany_profiler r r rS � s23 z DataFetcher._get_company_domain�domainc � � �dS )u6 Récupère les métriques de trafic web via SimilerwebNr )r rZ r r r rT � s �z#DataFetcher._get_similerweb_metricsc C s zW dS g Y S )u6 Récupère les emplacements principaux de l'entrepriseNr �r r& r r r rV � s z"DataFetcher._get_company_locations� locationsc � r[ )uA Récupère les métriques satellite pour les emplacements donnésNr )r r] r r r rW � s �z"DataFetcher._get_satellite_metricsN)r )r) )�__name__�24__module__� __qualname__�__doc__r r �strr r r( �intr r? rF rC rD rE r rS �SeriesrT rV rW r r r r r s & r c @ sj e Zd ZdZdee deeef fdd�Zdee deeef fdd�Z dee deeef fd d25�Z26d S ) �SatelliteDataAnalyzeru< Analyse des données satellite pour indicateurs économiquesr] r c � s� �i }|D ]H}z(| j |d |d dd�I dH }||d | �|�| �|d |�d�||d < W q tyM } ztd27|d � d |� �� W Y d}~qd}~ww |S ) uA Analyse l'activité de vente au détail via le trafic de parkings�latitude� longitudei� ��lat�lon�radiusNZ total_spaces�id)Zparking_occupancyZcustomer_trafficZ28yoy_change�namezErreur analyse retail pour r )Z_analyze_parking_occupancyZ_estimate_customer_trafficZ_calculate_yoy_changer# r$ )r r] Zretail_metrics�locationZ
parking_countr' r r r �get_retail_activity� s$ � �29�$��z)SatelliteDataAnalyzer.get_retail_activityc � s� �i }|D ]N}z.| j |d |d d�I dH }| j|d |d d�I dH }|d |d |d d�||d < W q tyS } ztd30|d � d |� �� W Y d}~qd}~ww |S ) uD Analyse l'activité industrielle via imagerie thermique et pollutionrf rg �ri rj N�activity_score�level�operational_status)Zactivity_levelZemissions_levelrs rm z!Erreur analyse industrielle pour r )Z_analyze_thermal_activityZ_analyze_emissionsr# r$ )r r] Zindustrial_metricsrn Zheat_signature� emissionsr' r r r �get_industrial_activity� s* � � ��$��z-SatelliteDataAnalyzer.get_industrial_activity�portsc � s� �i }|D ]S}z3| j |d |d dd�I dH }| j|d |d d�I dH }||d || �||d �d�||d < W q tyX } ztd31|d � d |� �� W Y d}~qd}~ww |S ) u* Analyse l'activité maritime et logistiquerf rg i� rh Nrp �capacity)Zvessel_occupancyZcontainer_volumeZport_congestionrm z Erreur analyse maritime pour r )Z_analyze_vessel_trafficZ_analyze_container_stacksZ_calculate_congestion_scorer# r$ )r rv Zshipping_metrics�portZ vessel_countZcontainer_countr' r r r �get_shipping_activity� s, � � �32�$��z+SatelliteDataAnalyzer.get_shipping_activityN) r^ r_ r` ra r r rb �floatro ru ry r r r r re � s33 " re c @ sz e Zd ZdZdee deeef fdd�Zdee defdd�Z d edefd34d �Z35d e defd
d�Z d edefdd�Z
dS )�SocialMediaAnalyzeruH Analyse avancée des médias sociaux pour le sentiment des investisseursr r c � s� �i }|D ]^}z@| � |�I dH }| �|�I dH }| �|�I dH }| �|d |d |d g�| �|�| �|d |d |d �| �|�d�||< W q tyc } ztd|� d|� �� W Y d}~qd}~ww |S )u0 Analyse complète du sentiment des investisseursN�score�volume)Zoverall_sentiment�sentiment_momentumZretail_interestZinstitutional_hintsz Erreur analyse sentiment pour r ) �_analyze_reddit_sentimentZ _analyze_stocktwits_sentiment�_analyze_twitter_sentiment�_aggregate_sentiment_scores� _calculate_sentiment_momentum�_gauge_retail_interest� _detect_institutional_activityr# r$ )r r Zsentiment_datar& Zreddit_sentimentZstocktwits_sentimentZtwitter_sentimentr' r r r � analyze_investment_sentiment s2 ���� ��z0SocialMediaAnalyzer.analyze_investment_sentiment�scoresc C s g d�}t dd� t||�D ��S )u1 Agrège les scores de sentiment avec pondération)g�������?�333333�?r� c s s � | ] \}}|| V qd S )Nr )�.0r| �weightr r r � <genexpr>A s � zBSocialMediaAnalyzer._aggregate_sentiment_scores.<locals>.<genexpr>)�sum�zip)r r� �weightsr r r r� > s z/SocialMediaAnalyzer._aggregate_sentiment_scoresr& c C � dS )z!Calcule la dynamique du sentimentNr r\ r r r r� C � z1SocialMediaAnalyzer._calculate_sentiment_momentum�volumesc G s |r36t |�t|� S dS )u2 Évalue l'intérêt des investisseurs particuliersr )r� �len)r r� r r r r� H s z*SocialMediaAnalyzer._gauge_retail_interestc C r� )u0 Détecte les signes d'activité institutionnelleNr r\ r r r r� L r� z2SocialMediaAnalyzer._detect_institutional_activityN)r^ r_ r` ra r rb r r� rz r� r� rc r� r� r r r r r{ s $r{ ) �yfinancer r
�pandasr �numpy�np�typingr r r r r r2 �asyncio�json�bs4r �requestsZ newspaperr r �osZdotenvr �path�join�dirname�__file__r re r{ r r r r �<module> s( /S