= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
                                         A G R O B R   -   R O A D M A P   v 0 . 6 . 0 
 
                                         " D e   b i b l i o t e c a   p a r a   i n f r a e s t r u t u r a " 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 R O L E   &   C O N T E X T O   D O   P R O J E T O 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 #   R o l e 
 
 D e s e n v o l v e d o r   s % n i o r   d o   p r o j e t o   * * a g r o b r * *        i n f r a e s t r u t u r a   P y t h o n   p a r a   d a d o s 
 
 a g r % c o l a s   b r a s i l e i r o s   c o m   c a m a d a   s e m % n t i c a   s o b r e   C E P E A ,   C O N A B   e   I B G E . 
 
 
 
 #   C o n t e x t o   d o   P r o j e t o 
 
 -   * * S t a c k : * *   P y t h o n   3 . 1 1 + ,   h t t p x   ( a s y n c ) ,   b e a u t i f u l s o u p 4   +   l x m l ,   p a n d a s ,   p o l a r s , 
 
     p y d a n t i c   v 2 ,   D u c k D B ,   s t r u c t l o g ,   c h a r d e t ,   c o n t e x t v a r s 
 
 -   * * A r q u i t e t u r a : * * 
 
     -   C a m a d a   d e   f o n t e s :   m %%d u l o s   p o r   o r i g e m   ( c e p e a / ,   c o n a b / ,   i b g e / ) 
 
     -   C a m a d a   s e m % n t i c a :   d a t a s e t s /   c o m   f a l l b a c k   a u t o m % t i c o ,   c o n t r a t o s   v e r s i o n a d o s 
 
     -   R e g i s t r y   d e   d a t a s e t s   c o m   a u t o - d e s c o b e r t a 
 
     -   C a c h e   D u c k D B   c o m   h i s t %%r i c o   p e r m a n e n t e 
 
     -   A s y n c - f i r s t ,   s y n c   w r a p p e r   v i a   a g r o b r . s y n c 
 
 -   * * P a d r % e s : * *   G o o g l e   S t y l e   G u i d e ,   p y t e s t   +   p y t e s t - a s y n c i o ,   m k d o c s - m a t e r i a l 
 
 -   * * F o n t e s : * *   C E P E A   ( p r e % o s ) ,   C O N A B   ( s a f r a s / b a l a n % o ) ,   I B G E / S I D R A   ( P A M ,   L S P A ) 
 
 -   * * R e s i l i % n c i a : * *   F i n g e r p r i n t i n g   d e   l a y o u t ,   v a l i d a % % o   e s t a t % s t i c a ,   g o l d e n   t e s t s , 
 
     f a l l b a c k   e m   c a s c a t a   v i a   c a l l a b l e   f e t c h e r s ,   e x c e % % e s   t i p a d a s 
 
 
 
 #   C o m u n i c a % % o   ( T o k e n   S a v i n g   M o d e ) 
 
 -   S e m   p r e % m b u l o s   ( " C l a r o ! " ,   " E n t e n d o " )   o u   c o n c l u s % e s   g e n % r i c a s 
 
 -   P r e f i r a   b u l l e t   p o i n t s ,   t a b e l a s   e   M a r k d o w n   e s t r u t u r a d o 
 
 -   A s s u m a   c o n h e c i m e n t o   d e :   p a n d a s ,   p o l a r s ,   s c r a p i n g ,   a s y n c ,   a g r o n e g %%c i o   b r a s i l e i r o 
 
 -   S e   p e d i d o   a m b % g u o :   p e r g u n t a s   d e   e s c l a r e c i m e n t o   a n t e s   d e   p r o c e s s a r 
 
 
 
 #   Q u a l i d a d e   d e   C %%d i g o   ( c h e c k l i s t   i n t e r n o ,   n % o   v e r b a l i z a r ) 
 
 -   T y p e   h i n t s   o b r i g a t %%r i o s   ( u s a r   ` f r o m   _ _ f u t u r e _ _   i m p o r t   a n n o t a t i o n s ` ) 
 
 -   P y d a n t i c   v 2   B a s e M o d e l   p a r a   t o d o s   o s   d a d o s   e x t e r n o s   ( I n d i c a d o r ,   S a f r a ,   e t c . ) 
 
 -   V a l i d a % % o   d e   i n p u t s   e m   f u n % % e s   p %Q%b l i c a s   d a   A P I 
 
 -   T r y / e x c e p t   e s p e c % f i c o   p o r   c a t e g o r i a : 
 
     -   ` h t t p x . H T T P E r r o r ` ,   ` h t t p x . T i m e o u t E x c e p t i o n `        r e d e 
 
     -   ` P a r s e E r r o r `        l a y o u t   m u d o u 
 
     -   ` C o n t r a c t V i o l a t i o n E r r o r `        D F   n % o   b a t e   c o m   c o n t r a t o 
 
     -   ` E x c e p t i o n `   g e n % r i c o   a p e n a s   e m   ` _ t r y _ s o u r c e s `   ( l o o p   d e   f a l l b a c k   r e s i l i e n t e ) 
 
 -   C o n s t a n t e s   e m   ` a g r o b r / c o n s t a n t s . p y `   ( U R L s ,   T T L s ,   m a p e a m e n t o s ) 
 
 -   F u n % % e s   >   3 0   l i n h a s        p r o p o r   q u e b r a 
 
 -   A n t e s   d e   c r i a r   h e l p e r        v e r i f i c a r   s e   j %   e x i s t e   e m   u t i l s / 
 
 -   E d g e   c a s e s   o b r i g a t %%r i o s :   r e s p o s t a   v a z i a ,   l a y o u t   m u d o u ,   t i m e o u t ,   e n c o d i n g 
 
 -   D o c s t r i n g   G o o g l e   s t y l e   e m   f u n % % e s   p %Q%b l i c a s 
 
 -   s t r u c t l o g   c o m   J S O N   p a r a   t o d o s   o s   l o g s 
 
 -   S E M   C O M E N T % R I O S   N O   C % D I G O   -   c %%d i g o   d e v e   s e r   a u t o e x p l i c a t i v o 
 
 
 
 #   I m p o r t s 
 
 -   P r e f e r i r   ` f r o m   m o d u l o   i m p o r t   s u b m o d u l o `   s o b r e   ` f r o m   m o d u l o . s u b m o d u l o   i m p o r t   C l a s s e ` 
 
 -   I m p o r t s   e x p l % c i t o s   f a c i l i t a m   m o c k i n g   e   d e i x a m   o r i g e m   c l a r a 
 
 -   N % o   a d i c i o n a r   i m p o r t s   n % o   u t i l i z a d o s   ( i n c l u i n d o   _ _ f u t u r e _ _   s e   n % o   u s a r   a n n o t a t i o n s ) 
 
 -   L a z y   i m p o r t s   d e n t r o   d e   f e t c h e r s   ( e v i t a r   c i r c u l a r   i m p o r t s   e n t r e   d a t a s e t s /   e   f o n t e s ) 
 
 
 
 #   C a c h e 
 
 -   S m a r t   T T L   p a r a   C E P E A   ( e x p i r a   % s   1 8 h ,   n % o   T T L   f i x o ) 
 
 -   F o n t e s   s e m   C l o u d f l a r e :   N o t % c i a s   A g r % c o l a s   c o m o   f a l l b a c k   p a d r % o 
 
 -   B r o w s e r   f a l l b a c k   d e s a b i l i t a d o   p o r   p a d r % o   ( _ u s e _ b r o w s e r   =   F a l s e ) 
 
 
 
 #   T e s t e s 
 
 -   T y p e   h i n t s   ` - >   N o n e `   n % o   s % o   n e c e s s % r i o s   e m   m % t o d o s   d e   t e s t e 
 
 -   U m   t e s t e   p o r   c e n % r i o ,   m %Q%l t i p l a s   a s s e r % % e s   d e n t r o   s % o   o k 
 
 -   s e t U p ( )   p a r a   c o n f i g u r a % % o   c o m p a r t i l h a d a ,   n % o   p a r a   c a d a   t e s t e 
 
 -   N o m e s   d e s c r i t i v o s :   t e s t _ < f u n c i o n a l i d a d e > _ < c e n a r i o >   o u   t e s t _ < f u n c i o n a l i d a d e >   s e   %Q%n i c o 
 
 
 
 #   P a d r % e s   E s p e c % f i c o s   a g r o b r 
 
 -   H T T P :   s e m p r e   ` h t t p x . A s y n c C l i e n t `   c o m   t i m e o u t ,   r e t r y   e x p o n e n t i a l ,   u s e r - a g e n t   r o t a t i v o 
 
 -   C a c h e :   D u c k D B   l o c a l   c o m   s e p a r a % % o   c a c h e / h i s t %%r i c o ,   v e r i f i c a r   a n t e s   d e   r e q u e s t 
 
 -   P a r s i n g :   i s o l a r   e m   ` p a r s e r s / `   c o m   v e r s i o n a m e n t o ,   f i n g e r p r i n t i n g ,   f a l l b a c k   e m   c a s c a t a 
 
 -   N o r m a l i z a % % o :   u s a r   ` n o r m a l i z e / `   p a r a   u n i d a d e s ,   d a t a s   s a f r a ,   U F s ,   e n c o d i n g 
 
 -   E n c o d i n g :   f a l l b a c k   c h a i n   U T F - 8        I S O - 8 8 5 9 - 1        W i n d o w s - 1 2 5 2        c h a r d e t 
 
 -   T e s t e s :   V C R   c a s s e t t e s   +   g o l d e n   d a t a   t e s t s   p a r a   r e q u e s t s ;   m o c k s   p a r a   c a c h e 
 
 -   E r r o s :   h i e r a r q u i a   t i p a d a   ( v e r   a g r o b r / e x c e p t i o n s . p y ) 
 
 -   V a l i d a % % o :   e s t a t % s t i c a   ( r a n g e s   h i s t %%r i c o s )   +   e s t r u t u r a l   ( f i n g e r p r i n t ) 
 
 -   D a t a s e t s :   c a l l a b l e   f e t c h e r s   n o   D a t a s e t S o u r c e ,   a u t o - r e g i s t r o   v i a   r e g i s t r y 
 
 -   S e p a r a % % o   f o n t e s / d a t a s e t s :   c e p e a / ,   c o n a b / ,   i b g e /   s % o   a u t %$%n o m o s   c o m   s e u s 
 
     p r %%p r i o s   p a r s e r s / m o d e l s / c o n t r a t o s   i n t e r n o s .   d a t a s e t s /   a p e n a s   o r q u e s t r a , 
 
     n o r m a l i z a   e   g a r a n t e   o   c o n t r a t o   f i n a l .   N u n c a   m o v e r   l %%g i c a   d e   p a r s i n g   p r a   d a t a s e t s / 
 
 -   C o n t r a t o s :   s c h e m a   v e r s i o n a d o ,   M e t a I n f o   p a d r o n i z a d o   c o m   p r o v e n i % n c i a 
 
 -   V a l o r e s   m o n e t % r i o s :   f l o a t 6 4   n o   D a t a F r a m e   ( n % o   D e c i m a l        e v i t a   d t y p e   o b j e c t ) 
 
 -   D e t e r m i n i s m o :   v i a   c o n t e x t v a r s   ( t h r e a d / a s y n c - s a f e ) ,   n u n c a   g l o b a l   s t a t e 
 
 
 
 #   E n t r e g a s 
 
 -   S c r i p t s   c o m p l e t o s   e   f u n c i o n a i s   n a   p r i m e i r a   t e n t a t i v a 
 
 -   C o r r e % % e s :   a p e n a s   b l o c o   c o r r i g i d o   +   c o n t e x t o   m % n i m o 
 
 -   F o n t e s :   s e g u i r   e s t r u t u r a   e x i s t e n t e   ( c l i e n t        p a r s e r        m o d e l s        A P I   p %Q%b l i c a ) 
 
 -   D a t a s e t s :   s e g u i r   f l u x o   ( f e t c h e r        b a s e        r e g i s t r y        A P I   p %Q%b l i c a ) 
 
 -   M e n c i o n a r   d e p e n d % n c i a s   q u a n d o   a d i c i o n a r   n o v a   l i b 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   1 :   V I S % O   E S T R A T % G I C A 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 C O N T E X T O 
 
 - - - - - - - - 
 
 O   a g r o b r   0 . 5 . 0   u l t r a p a s s o u   a   f a s e   " w r a p p e r   %Q%t i l "   e   e n t r o u   n a   f a s e   m a i s 
 
 p r o m i s s o r a :   q u a n d o   p e s s o a s   c o m e % a m   a   c o n f i a r   n e l e   s e m   l e r   o   c %%d i g o . 
 
 
 
 I N S I G H T   C E N T R A L 
 
 - - - - - - - - - - - - - - - 
 
 " N i n g u % m   q u e r   t r % s   f o n t e s ;   q u e r e m   u m a   t a b e l a   b o a . " 
 
 
 
 P e s q u i s a d o r ,   t r a d e r ,   j o r n a l i s t a   o u   g e s t o r   n % o   p e n s a   " v o u   c o n s u l t a r   o   C E P E A " , 
 
 p e n s a   " p r e c i s o   d o   p r e % o   d i % r i o   d a   s o j a   c o n f i % v e l ,   c o n t % n u o   e   a u d i t % v e l " . 
 
 
 
 D E C I S % O   E S T R A T % G I C A 
 
 - - - - - - - - - - - - - - - - - - - 
 
 C r e s c e r   p a r a   C I M A   ( a b s t r a % % o   s e m % n t i c a ) ,   n % o   p a r a   o s   L A D O S   ( m a i s   f o n t e s ) . 
 
 
 
 |   M a i s   f o n t e s                             |   C r e s c e r   p r a   c i m a                             | 
 
 | - - - - - - - - - - - - - - - - - - - - - - - - - - | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 
 
 |   + C o m p l e x i d a d e                         |   + V a l o r                                                 | 
 
 |   + M a n u t e n % % o                             |   + D i f e r e n c i a % % o                                 | 
 
 |   U s u % r i o   e s c o l h e   f o n t e         |   U s u % r i o   p e d e   o   q u e   q u e r               | 
 
 |   C o m p e t e   c o m   s c r a p i n g           |   C o m p e t e   c o m   s e r v i % o   d e   d a d o s     | 
 
 |   F % c i l   d e   c o p i a r                     |   D i f % c i l   d e   c o p i a r                           | 
 
 
 
 M a i s   f o n t e s   q u a l q u e r   u m   a d i c i o n a   d e p o i s   ( i n c l u s i v e   c o n t r i b u i d o r e s ) . 
 
 C a m a d a   s e m % n t i c a   b e m   f e i t a   %   v a n t a g e m   c o m p e t i t i v a   p e r m a n e n t e . 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   2 :   O B J E T I V O   v 0 . 6 . 0 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 T E M A :   " D e   b i b l i o t e c a   p a r a   i n f r a e s t r u t u r a " 
 
 
 
 A N T E S   ( v 0 . 5 . 0 ) 
 
 - - - - - - - - - - - - - - 
 
 -   U s u % r i o   p r e c i s a   s a b e r   q u a l   f o n t e   u s a r 
 
 -   C o n t r a t o s   e x i s t e m   m a s   n % o   s % o   v i s % v e i s 
 
 -   R e p r o d u t i b i l i d a d e   e x i s t e   m a s   n % o   %   m a r k e t a d a 
 
 -   H e a l t h   c h e c k   r o d a   m a s   u s u % r i o   n % o   v % 
 
 
 
 D E P O I S   ( v 0 . 6 . 0 ) 
 
 - - - - - - - - - - - - - - - 
 
 -   U s u % r i o   p e d e   o   q u e   q u e r ,   a g r o b r   r e s o l v e 
 
 -   C o n t r a t o s   s % o   p %Q%b l i c o s   e   d o c u m e n t a d o s 
 
 -   R e p r o d u t i b i l i d a d e   %   f e a t u r e   d e   m a r k e t i n g   ( c o n t e x t   m a n a g e r ) 
 
 -   N o t e b o o k   d e m o   C o l a b :   f u n c i o n a   s e m   i n s t a l a r   n a d a 
 
 -   H e a l t h   b a d g e   m o s t r a   s a %Q%d e   n o   R E A D M E 
 
 
 
 
 
 A N T E S   v s   D E P O I S   ( C % D I G O ) 
 
 - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 #   A n t e s   ( v 0 . 5 . 0 ) 
 
 f r o m   a g r o b r   i m p o r t   c e p e a 
 
 d f   =   a w a i t   c e p e a . i n d i c a d o r ( " s o j a " )     #   U s u % r i o   p r e c i s a   s a b e r   q u e   %   C E P E A 
 
 
 
 #   D e p o i s   ( v 0 . 6 . 0 ) 
 
 f r o m   a g r o b r   i m p o r t   d a t a s e t s 
 
 d f   =   a w a i t   d a t a s e t s . p r e c o _ d i a r i o ( " s o j a " )     #   P e d e   o   q u e   q u e r ,   f o n t e   %   d e t a l h e 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   3 :   E N T R E G A S   v 0 . 6 . 0 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 |   E n t r e g a                                                     |   E s f o r % o       |   I m p a c t o       | 
 
 | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | - - - - - - - - - - - | - - - - - - - - - - - | 
 
 |   p r e c o _ d i a r i o   M V P   ( e n d - t o - e n d )         |   3   d i a s         |   C r % t i c o       | 
 
 |   N o t e b o o k   d e m o   C o l a b                             |   3   h o r a s       |   A l t o             | 
 
 |   D e m a i s   3   d a t a s e t s                                 |   4   d i a s         |   A l t o             | 
 
 |   C o n t r a t o s   p %Q%b l i c o s   d o c u m e n t a d o s     |   3   h o r a s       |   A l t o             | 
 
 |   D o c s :   r e p r o d u t i b i l i d a d e                     |   2   h o r a s       |   A l t o             | 
 
 |   D o c s :   i n t e g r a % % o   p i p e l i n e s               |   2   h o r a s       |   M % d i o           | 
 
 |   H e a l t h   b a d g e   n o   R E A D M E                       |   3 0   m i n         |   B a i x o           | 
 
 
 
 T o t a l   e s t i m a d o :   ~ 3   s e m a n a s 
 
 
 
 N O T A :   A   s t a t u s   p a g e   H T M L   c u s t o m i z a d a   f o i   r e m o v i d a   d o   e s c o p o . 
 
 O   r e p o   j %   p o s s u i   D a i l y   H e a l t h   C h e c k   b a d g e   ( w o r k f l o w   e x i s t e n t e ) . 
 
 U m a   p % g i n a   H T M L   e s t % t i c a   a t u a l i z a d a   a   c a d a   6 h   n % o   %   " t e m p o   r e a l "   e   o 
 
 c u s t o / b e n e f % c i o   n % o   j u s t i f i c a .   O   b a d g e   e x i s t e n t e   r e s o l v e . 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   4 :   C A M A D A   S E M % N T I C A   ( a g r o b r / d a t a s e t s / ) 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 C O N C E I T O 
 
 - - - - - - - - 
 
 C a m a d a   d e   a b s t r a % % o   a c i m a   d a s   f o n t e s   i n d i v i d u a i s .   U s u % r i o   p e d e   u m   " d a t a s e t " 
 
 ( e x :   p r e % o   d i % r i o ) ,   a g r o b r   r e s o l v e   i n t e r n a m e n t e   q u a l   f o n t e   u s a r ,   c o m   f a l l b a c k 
 
 a u t o m % t i c o   e   m e t a d a d o s   d e   p r o v e n i % n c i a . 
 
 
 
 E X T E N S I B I L I D A D E   D E   F O N T E S 
 
 - - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 N o v a s   f o n t e s   ( N o t % c i a s   A g r % c o l a s ,   B 3 ,   U S D A ,   C M E ,   e t c . )   s % o   a d i c i o n a d a s 
 
 s e m   m o d i f i c a r   o   c o r e        b a s t a   c r i a r   u m   f e t c h e r   a s y n c   e   r e g i s t r a r   c o m o 
 
 D a t a s e t S o u r c e   c o m   p r i o r i d a d e   a d e q u a d a : 
 
 
 
         a s y n c   d e f   _ f e t c h _ b 3 ( p r o d u t o :   s t r ,   * * k w a r g s )   - >   t u p l e [ p d . D a t a F r a m e ,   A n y ] : 
 
                 . . . 
 
 
 
         D a t a s e t S o u r c e ( n a m e = " b 3 " ,   p r i o r i t y = 3 ,   f e t c h _ f n = _ f e t c h _ b 3 ) 
 
 
 
 I s s o   p e r m i t e   q u e   c o n t r i b u i d o r e s   a d i c i o n e m   f o n t e s   s e m   e n t e n d e r   a 
 
 a r q u i t e t u r a   i n t e r n a   ( b a s e . p y ,   r e g i s t r y ,   e t c . ) . 
 
 
 
 
 
 E S T R U T U R A   D E   D I R E T % R I O S 
 
 - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 a g r o b r / 
 
            e x c e p t i o n s . p y                         #   H i e r a r q u i a   d e   e x c e % % e s 
 
            d a t a s e t s / 
 
                     _ _ i n i t _ _ . p y                     #   E x p o r t s   p %Q%b l i c o s 
 
                     b a s e . p y                             #   C l a s s e   b a s e   D a t a s e t 
 
                     r e g i s t r y . p y                     #   R e g i s t r o   d e   d a t a s e t s 
 
                     d e t e r m i n i s t i c . p y           #   C o n t e x t   m a n a g e r   d e t e r m i n % s t i c o 
 
                     p r e c o _ d i a r i o . p y             #   D a t a s e t   d e   p r e % o s 
 
                     p r o d u c a o _ a n u a l . p y         #   D a t a s e t   d e   p r o d u % % o 
 
                     e s t i m a t i v a _ s a f r a . p y     #   D a t a s e t   d e   e s t i m a t i v a s 
 
                     b a l a n c o . p y                       #   D a t a s e t   d e   b a l a n % o   O & D 
 
 
 
 
 
 H I E R A R Q U I A   D E   E X C E % % E S 
 
 - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 #   a g r o b r / e x c e p t i o n s . p y 
 
 
 
 f r o m   _ _ f u t u r e _ _   i m p o r t   a n n o t a t i o n s 
 
 
 
 
 
 c l a s s   A g r o B R E r r o r ( E x c e p t i o n ) : 
 
         " " " B a s e   p a r a   t o d a s   a s   e x c e % % e s   d o   a g r o b r . " " " 
 
 
 
 
 
 c l a s s   S o u r c e U n a v a i l a b l e E r r o r ( A g r o B R E r r o r ) : 
 
         " " " T o d a s   a s   f o n t e s   f a l h a r a m   p a r a   u m   d a t a s e t / p r o d u t o . " " " 
 
 
 
 
 
 c l a s s   N e t w o r k E r r o r ( A g r o B R E r r o r ) : 
 
         " " " E r r o   d e   r e d e   ( t i m e o u t ,   H T T P   e r r o r ,   D N S ) . " " " 
 
 
 
 
 
 c l a s s   P a r s e E r r o r ( A g r o B R E r r o r ) : 
 
         " " " L a y o u t   d a   f o n t e   m u d o u   o u   p a r s i n g   f a l h o u . " " " 
 
 
 
 
 
 c l a s s   C o n t r a c t V i o l a t i o n E r r o r ( A g r o B R E r r o r ) : 
 
         " " " D a t a F r a m e   n % o   a t e n d e   o   c o n t r a t o   d o   d a t a s e t   ( c o l u n a s ,   t i p o s ,   r a n g e s ) . " " " 
 
 
 
 
 
 c l a s s   S t a l e D a t a W a r n i n g ( U s e r W a r n i n g ) : 
 
         " " " D a d o s   p o d e m   e s t a r   d e s a t u a l i z a d o s   ( e x :   c a c h e   a n t i g o   s e m   r e f r e s h ) . " " " 
 
 
 
 
 
 M O D E L O   M E T A I N F O   P A D R O N I Z A D O 
 
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 #   a g r o b r / m o d e l s . p y   ( e x p a n d i r   M e t a I n f o   e x i s t e n t e ) 
 
 
 
 f r o m   _ _ f u t u r e _ _   i m p o r t   a n n o t a t i o n s 
 
 
 
 f r o m   d a t e t i m e   i m p o r t   d a t e t i m e 
 
 f r o m   t y p i n g   i m p o r t   A n y 
 
 
 
 f r o m   p y d a n t i c   i m p o r t   B a s e M o d e l ,   F i e l d 
 
 
 
 
 
 c l a s s   M e t a I n f o ( B a s e M o d e l ) : 
 
         " " " M e t a d a d o s   d e   p r o v e n i % n c i a   d e   u m   d a t a s e t   f e t c h . " " " 
 
 
 
         d a t a s e t :   s t r   =   " " 
 
         s o u r c e :   s t r   =   " " 
 
         s o u r c e _ u r l :   s t r   =   " " 
 
         s o u r c e _ m e t h o d :   s t r   =   " " 
 
         f e t c h e d _ a t :   d a t e t i m e   =   F i e l d ( d e f a u l t _ f a c t o r y = l a m b d a :   d a t e t i m e . n o w ( ) ) 
 
         r e c o r d s _ c o u n t :   i n t   =   0 
 
         c o l u m n s :   l i s t [ s t r ]   =   F i e l d ( d e f a u l t _ f a c t o r y = l i s t ) 
 
         c a c h e _ h i t :   b o o l   =   F a l s e 
 
         p a r s e r _ v e r s i o n :   s t r   =   " " 
 
         c o n t r a c t _ v e r s i o n :   s t r   =   " " 
 
         s n a p s h o t :   s t r   |   N o n e   =   N o n e 
 
         w a r n i n g s :   l i s t [ s t r ]   =   F i e l d ( d e f a u l t _ f a c t o r y = l i s t ) 
 
 
 
 
 
 D A T A S E T S   I N I C I A I S 
 
 - - - - - - - - - - - - - - - - - 
 
 
 
 |   D a t a s e t                       |   D e s c r i % % o                                 |   F o n t e s   ( p r i o r i d a d e )                               | 
 
 | - - - - - - - - - - - - - - - - - - - | - - - - - - - - - - - - - - - - - - - - - - - - - - | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | 
 
 |   p r e c o _ d i a r i o             |   P r e % o   s p o t   c o m m o d i t i e s       |   C E P E A        N o t % c i a s   A g r % c o l a s        c a c h e   | 
 
 |   p r o d u c a o _ a n u a l         |   P r o d u % % o   p o r   U F / m u n i c % p i o |   I B G E   P A M        C O N A B                                     | 
 
 |   e s t i m a t i v a _ s a f r a     |   S a f r a   c o r r e n t e                       |   C O N A B        I B G E   L S P A                                   | 
 
 |   b a l a n c o                       |   O f e r t a / d e m a n d a                       |   C O N A B                                                           | 
 
 
 
 
 
 U S O   D A   A P I 
 
 - - - - - - - - - - 
 
 
 
 f r o m   a g r o b r   i m p o r t   d a t a s e t s 
 
 
 
 #   P r e % o   d i % r i o   -   f o n t e   %   d e t a l h e   i n t e r n o 
 
 d f   =   a w a i t   d a t a s e t s . p r e c o _ d i a r i o ( " s o j a " ) 
 
 d f   =   a w a i t   d a t a s e t s . p r e c o _ d i a r i o ( " s o j a " ,   r e t u r n _ m e t a = T r u e ) 
 
 
 
 #   P r o d u % % o   a n u a l   c o n s o l i d a d a 
 
 d f   =   a w a i t   d a t a s e t s . p r o d u c a o _ a n u a l ( " m i l h o " ,   a n o = 2 0 2 4 ) 
 
 d f   =   a w a i t   d a t a s e t s . p r o d u c a o _ a n u a l ( " m i l h o " ,   a n o = 2 0 2 4 ,   n i v e l = " m u n i c i p i o " ) 
 
 
 
 #   E s t i m a t i v a   d e   s a f r a   c o r r e n t e 
 
 d f   =   a w a i t   d a t a s e t s . e s t i m a t i v a _ s a f r a ( " s o j a " ,   s a f r a = " 2 0 2 4 / 2 5 " ) 
 
 
 
 #   B a l a n % o   o f e r t a   e   d e m a n d a 
 
 d f   =   a w a i t   d a t a s e t s . b a l a n c o ( " s o j a " ,   s a f r a = " 2 0 2 4 / 2 5 " ) 
 
 
 
 #   L i s t a r   d a t a s e t s   d i s p o n % v e i s 
 
 d a t a s e t s . l i s t _ d a t a s e t s ( ) 
 
 
 
 #   L i s t a r   p r o d u t o s   d e   u m   d a t a s e t 
 
 d a t a s e t s . l i s t _ p r o d u c t s ( " p r e c o _ d i a r i o " )     #   [ ' a l g o d a o ' ,   ' b o i ' ,   ' c a f e ' ,   . . . ] 
 
 
 
 #   I n f o   s o b r e   u m   d a t a s e t 
 
 d a t a s e t s . i n f o ( " p r e c o _ d i a r i o " ) 
 
 
 
 
 
 I M P L E M E N T A % % O :   B A S E 
 
 - - - - - - - - - - - - - - - - - - - 
 
 
 
 #   a g r o b r / d a t a s e t s / b a s e . p y 
 
 
 
 f r o m   _ _ f u t u r e _ _   i m p o r t   a n n o t a t i o n s 
 
 
 
 f r o m   a b c   i m p o r t   A B C ,   a b s t r a c t m e t h o d 
 
 f r o m   c o l l e c t i o n s . a b c   i m p o r t   A w a i t a b l e ,   C a l l a b l e 
 
 f r o m   d a t a c l a s s e s   i m p o r t   d a t a c l a s s 
 
 f r o m   t y p i n g   i m p o r t   A n y ,   T Y P E _ C H E C K I N G 
 
 
 
 i m p o r t   h t t p x 
 
 i m p o r t   s t r u c t l o g 
 
 
 
 i f   T Y P E _ C H E C K I N G : 
 
         i m p o r t   p a n d a s   a s   p d 
 
         f r o m   a g r o b r . m o d e l s   i m p o r t   M e t a I n f o 
 
 
 
 f r o m   a g r o b r . e x c e p t i o n s   i m p o r t   ( 
 
         C o n t r a c t V i o l a t i o n E r r o r , 
 
         N e t w o r k E r r o r , 
 
         P a r s e E r r o r , 
 
         S o u r c e U n a v a i l a b l e E r r o r , 
 
 ) 
 
 
 
 l o g g e r   =   s t r u c t l o g . g e t _ l o g g e r ( ) 
 
 
 
 
 
 @ d a t a c l a s s 
 
 c l a s s   D a t a s e t S o u r c e : 
 
         n a m e :   s t r 
 
         p r i o r i t y :   i n t 
 
         f e t c h _ f n :   C a l l a b l e [ . . . ,   A w a i t a b l e [ t u p l e [ p d . D a t a F r a m e ,   A n y ] ] ] 
 
         e n a b l e d :   b o o l   =   T r u e 
 
         d e s c r i p t i o n :   s t r   =   " " 
 
 
 
 
 
 @ d a t a c l a s s 
 
 c l a s s   D a t a s e t I n f o : 
 
         n a m e :   s t r 
 
         d e s c r i p t i o n :   s t r 
 
         s o u r c e s :   l i s t [ D a t a s e t S o u r c e ] 
 
         p r o d u c t s :   l i s t [ s t r ] 
 
         c o n t r a c t _ v e r s i o n :   s t r 
 
         u p d a t e _ f r e q u e n c y :   s t r 
 
         t y p i c a l _ l a t e n c y :   s t r 
 
         
 
         d e f   t o _ d i c t ( s e l f )   - >   d i c t [ s t r ,   A n y ] : 
 
                 r e t u r n   { 
 
                         " n a m e " :   s e l f . n a m e , 
 
                         " d e s c r i p t i o n " :   s e l f . d e s c r i p t i o n , 
 
                         " s o u r c e s " :   [ s . n a m e   f o r   s   i n   s e l f . s o u r c e s ] , 
 
                         " p r o d u c t s " :   s e l f . p r o d u c t s , 
 
                         " c o n t r a c t _ v e r s i o n " :   s e l f . c o n t r a c t _ v e r s i o n , 
 
                         " u p d a t e _ f r e q u e n c y " :   s e l f . u p d a t e _ f r e q u e n c y , 
 
                         " t y p i c a l _ l a t e n c y " :   s e l f . t y p i c a l _ l a t e n c y , 
 
                 } 
 
 
 
 
 
 c l a s s   B a s e D a t a s e t ( A B C ) : 
 
         i n f o :   D a t a s e t I n f o 
 
         
 
         @ a b s t r a c t m e t h o d 
 
         a s y n c   d e f   f e t c h ( 
 
                 s e l f , 
 
                 p r o d u t o :   s t r , 
 
                 r e t u r n _ m e t a :   b o o l   =   F a l s e , 
 
                 * * k w a r g s :   A n y , 
 
         )   - >   p d . D a t a F r a m e   |   t u p l e [ p d . D a t a F r a m e ,   M e t a I n f o ] : 
 
                 p a s s 
 
 
 
         d e f   _ v a l i d a t e _ p r o d u t o ( s e l f ,   p r o d u t o :   s t r )   - >   N o n e : 
 
                 i f   p r o d u t o   n o t   i n   s e l f . i n f o . p r o d u c t s : 
 
                         r a i s e   V a l u e E r r o r ( 
 
                                 f " P r o d u t o   ' { p r o d u t o } '   n % o   s u p o r t a d o   p o r   { s e l f . i n f o . n a m e } .   " 
 
                                 f " V % l i d o s :   { s e l f . i n f o . p r o d u c t s } " 
 
                         ) 
 
 
 
         a s y n c   d e f   _ t r y _ s o u r c e s ( 
 
                 s e l f , 
 
                 p r o d u t o :   s t r , 
 
                 * * k w a r g s :   A n y , 
 
         )   - >   t u p l e [ p d . D a t a F r a m e ,   s t r ,   A n y ] : 
 
                 s e l f . _ v a l i d a t e _ p r o d u t o ( p r o d u t o ) 
 
                 e r r o r s :   l i s t [ t u p l e [ s t r ,   s t r ,   s t r ] ]   =   [ ] 
 
                 
 
                 f o r   s o u r c e   i n   s o r t e d ( s e l f . i n f o . s o u r c e s ,   k e y = l a m b d a   s :   s . p r i o r i t y ) : 
 
                         i f   n o t   s o u r c e . e n a b l e d : 
 
                                 c o n t i n u e 
 
                         
 
                         t r y : 
 
                                 d f ,   m e t a   =   a w a i t   s o u r c e . f e t c h _ f n ( p r o d u t o ,   * * k w a r g s ) 
 
                                 l o g g e r . i n f o ( 
 
                                         " s o u r c e _ s u c c e s s " , 
 
                                         d a t a s e t = s e l f . i n f o . n a m e , 
 
                                         s o u r c e = s o u r c e . n a m e , 
 
                                         r o w s = l e n ( d f ) , 
 
                                 ) 
 
                                 r e t u r n   d f ,   s o u r c e . n a m e ,   m e t a 
 
 
 
                         e x c e p t   ( h t t p x . H T T P E r r o r ,   h t t p x . T i m e o u t E x c e p t i o n ,   O S E r r o r )   a s   e : 
 
                                 l o g g e r . w a r n i n g ( 
 
                                         " s o u r c e _ n e t w o r k _ e r r o r " , 
 
                                         d a t a s e t = s e l f . i n f o . n a m e , 
 
                                         s o u r c e = s o u r c e . n a m e , 
 
                                         e r r o r _ t y p e = " n e t w o r k " , 
 
                                         e r r o r = s t r ( e ) , 
 
                                 ) 
 
                                 e r r o r s . a p p e n d ( ( s o u r c e . n a m e ,   " n e t w o r k " ,   s t r ( e ) ) ) 
 
 
 
                         e x c e p t   P a r s e E r r o r   a s   e : 
 
                                 l o g g e r . w a r n i n g ( 
 
                                         " s o u r c e _ p a r s e _ e r r o r " , 
 
                                         d a t a s e t = s e l f . i n f o . n a m e , 
 
                                         s o u r c e = s o u r c e . n a m e , 
 
                                         e r r o r _ t y p e = " p a r s e " , 
 
                                         e r r o r = s t r ( e ) , 
 
                                 ) 
 
                                 e r r o r s . a p p e n d ( ( s o u r c e . n a m e ,   " p a r s e " ,   s t r ( e ) ) ) 
 
 
 
                         e x c e p t   C o n t r a c t V i o l a t i o n E r r o r   a s   e : 
 
                                 l o g g e r . w a r n i n g ( 
 
                                         " s o u r c e _ c o n t r a c t _ e r r o r " , 
 
                                         d a t a s e t = s e l f . i n f o . n a m e , 
 
                                         s o u r c e = s o u r c e . n a m e , 
 
                                         e r r o r _ t y p e = " c o n t r a c t " , 
 
                                         e r r o r = s t r ( e ) , 
 
                                 ) 
 
                                 e r r o r s . a p p e n d ( ( s o u r c e . n a m e ,   " c o n t r a c t " ,   s t r ( e ) ) ) 
 
 
 
                         e x c e p t   E x c e p t i o n   a s   e : 
 
                                 l o g g e r . w a r n i n g ( 
 
                                         " s o u r c e _ u n e x p e c t e d _ e r r o r " , 
 
                                         d a t a s e t = s e l f . i n f o . n a m e , 
 
                                         s o u r c e = s o u r c e . n a m e , 
 
                                         e r r o r _ t y p e = " u n e x p e c t e d " , 
 
                                         e r r o r = s t r ( e ) , 
 
                                 ) 
 
                                 e r r o r s . a p p e n d ( ( s o u r c e . n a m e ,   " u n e x p e c t e d " ,   s t r ( e ) ) ) 
 
                 
 
                 r a i s e   S o u r c e U n a v a i l a b l e E r r o r ( 
 
                         f " A l l   s o u r c e s   f a i l e d   f o r   { s e l f . i n f o . n a m e } / { p r o d u t o } :   { e r r o r s } " 
 
                 ) 
 
 
 
 
 
 I M P L E M E N T A % % O :   P R E C O _ D I A R I O 
 
 - - - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 #   a g r o b r / d a t a s e t s / p r e c o _ d i a r i o . p y 
 
 
 
 f r o m   _ _ f u t u r e _ _   i m p o r t   a n n o t a t i o n s 
 
 
 
 f r o m   d a t e t i m e   i m p o r t   d a t e ,   d a t e t i m e ,   t i m e z o n e 
 
 f r o m   t y p i n g   i m p o r t   A n y ,   T Y P E _ C H E C K I N G 
 
 
 
 i m p o r t   s t r u c t l o g 
 
 
 
 f r o m   a g r o b r . d a t a s e t s . b a s e   i m p o r t   B a s e D a t a s e t ,   D a t a s e t I n f o ,   D a t a s e t S o u r c e 
 
 f r o m   a g r o b r . m o d e l s   i m p o r t   M e t a I n f o 
 
 
 
 i f   T Y P E _ C H E C K I N G : 
 
         i m p o r t   p a n d a s   a s   p d 
 
 
 
 l o g g e r   =   s t r u c t l o g . g e t _ l o g g e r ( ) 
 
 
 
 
 
 a s y n c   d e f   _ f e t c h _ c e p e a ( p r o d u t o :   s t r ,   * * k w a r g s :   A n y )   - >   t u p l e [ p d . D a t a F r a m e ,   A n y ] : 
 
         f r o m   a g r o b r   i m p o r t   c e p e a 
 
         r e t u r n   a w a i t   c e p e a . i n d i c a d o r ( p r o d u t o ,   r e t u r n _ m e t a = T r u e ,   * * k w a r g s ) 
 
 
 
 
 
 a s y n c   d e f   _ f e t c h _ c a c h e ( p r o d u t o :   s t r ,   * * k w a r g s :   A n y )   - >   t u p l e [ p d . D a t a F r a m e ,   A n y ] : 
 
         f r o m   a g r o b r . c a c h e   i m p o r t   d u c k d b _ s t o r e 
 
         s t o r e   =   d u c k d b _ s t o r e . g e t _ s t o r e ( ) 
 
         d f   =   s t o r e . g e t _ h i s t o r i c o ( " c e p e a " ,   p r o d u t o ) 
 
         r e t u r n   d f ,   N o n e 
 
 
 
 
 
 P R E C O _ D I A R I O _ I N F O   =   D a t a s e t I n f o ( 
 
         n a m e = " p r e c o _ d i a r i o " , 
 
         d e s c r i p t i o n = " P r e % o   d i % r i o   s p o t   d e   c o m m o d i t i e s   a g r % c o l a s   b r a s i l e i r a s " , 
 
         s o u r c e s = [ 
 
                 D a t a s e t S o u r c e ( 
 
                         n a m e = " c e p e a " , 
 
                         p r i o r i t y = 1 , 
 
                         f e t c h _ f n = _ f e t c h _ c e p e a , 
 
                         d e s c r i p t i o n = " C E P E A / E S A L Q   v i a   N o t % c i a s   A g r % c o l a s " , 
 
                 ) , 
 
                 D a t a s e t S o u r c e ( 
 
                         n a m e = " c a c h e " , 
 
                         p r i o r i t y = 9 9 , 
 
                         f e t c h _ f n = _ f e t c h _ c a c h e , 
 
                         d e s c r i p t i o n = " C a c h e   l o c a l   D u c k D B " , 
 
                 ) , 
 
         ] , 
 
         p r o d u c t s = [ " s o j a " ,   " m i l h o " ,   " b o i " ,   " c a f e " ,   " t r i g o " ,   " a l g o d a o " ] , 
 
         c o n t r a c t _ v e r s i o n = " 1 . 0 " , 
 
         u p d a t e _ f r e q u e n c y = " d a i l y " , 
 
         t y p i c a l _ l a t e n c y = " D + 0 " , 
 
 ) 
 
 
 
 
 
 c l a s s   P r e c o D i a r i o D a t a s e t ( B a s e D a t a s e t ) : 
 
         i n f o   =   P R E C O _ D I A R I O _ I N F O 
 
 
 
         a s y n c   d e f   f e t c h ( 
 
                 s e l f , 
 
                 p r o d u t o :   s t r , 
 
                 i n i c i o :   s t r   |   d a t e   |   N o n e   =   N o n e , 
 
                 f i m :   s t r   |   d a t e   |   N o n e   =   N o n e , 
 
                 r e t u r n _ m e t a :   b o o l   =   F a l s e , 
 
                 * * k w a r g s :   A n y , 
 
         )   - >   p d . D a t a F r a m e   |   t u p l e [ p d . D a t a F r a m e ,   M e t a I n f o ] : 
 
                 l o g g e r . i n f o ( " d a t a s e t _ f e t c h " ,   d a t a s e t = " p r e c o _ d i a r i o " ,   p r o d u t o = p r o d u t o ) 
 
 
 
                 d f ,   s o u r c e _ n a m e ,   s o u r c e _ m e t a   =   a w a i t   s e l f . _ t r y _ s o u r c e s ( 
 
                         p r o d u t o ,   i n i c i o = i n i c i o ,   f i m = f i m ,   * * k w a r g s 
 
                 ) 
 
 
 
                 d f   =   s e l f . _ n o r m a l i z e ( d f ,   p r o d u t o ) 
 
 
 
                 i f   r e t u r n _ m e t a : 
 
                         f r o m   a g r o b r . d a t a s e t s . d e t e r m i n i s t i c   i m p o r t   g e t _ s n a p s h o t 
 
                         m e t a   =   M e t a I n f o ( 
 
                                 d a t a s e t = " p r e c o _ d i a r i o " , 
 
                                 s o u r c e = f " d a t a s e t s . p r e c o _ d i a r i o / { s o u r c e _ n a m e } " , 
 
                                 s o u r c e _ u r l = s o u r c e _ m e t a . s o u r c e _ u r l   i f   s o u r c e _ m e t a   e l s e   " " , 
 
                                 s o u r c e _ m e t h o d = " d a t a s e t " , 
 
                                 f e t c h e d _ a t = s o u r c e _ m e t a . f e t c h e d _ a t   i f   s o u r c e _ m e t a   e l s e   d a t e t i m e . n o w ( t i m e z o n e . u t c ) , 
 
                                 r e c o r d s _ c o u n t = l e n ( d f ) , 
 
                                 c o l u m n s = d f . c o l u m n s . t o l i s t ( ) , 
 
                                 c a c h e _ h i t = s o u r c e _ n a m e   = =   " c a c h e " , 
 
                                 p a r s e r _ v e r s i o n = s o u r c e _ m e t a . p a r s e r _ v e r s i o n   i f   s o u r c e _ m e t a   e l s e   " " , 
 
                                 c o n t r a c t _ v e r s i o n = s e l f . i n f o . c o n t r a c t _ v e r s i o n , 
 
                                 s n a p s h o t = g e t _ s n a p s h o t ( ) , 
 
                         ) 
 
                         r e t u r n   d f ,   m e t a 
 
 
 
                 r e t u r n   d f 
 
 
 
         d e f   _ n o r m a l i z e ( s e l f ,   d f :   p d . D a t a F r a m e ,   p r o d u t o :   s t r )   - >   p d . D a t a F r a m e : 
 
                 r e q u i r e d   =   [ " d a t a " ,   " p r o d u t o " ,   " v a l o r " ,   " u n i d a d e " ] 
 
 
 
                 f o r   c o l   i n   r e q u i r e d : 
 
                         i f   c o l   n o t   i n   d f . c o l u m n s : 
 
                                 i f   c o l   = =   " p r o d u t o " : 
 
                                         d f [ " p r o d u t o " ]   =   p r o d u t o 
 
                                 e l s e : 
 
                                         r a i s e   V a l u e E r r o r ( f " M i s s i n g   r e q u i r e d   c o l u m n :   { c o l } " ) 
 
 
 
                 r e t u r n   d f . s o r t _ v a l u e s ( " d a t a " ,   a s c e n d i n g = F a l s e ) 
 
 
 
 
 
 _ p r e c o _ d i a r i o   =   P r e c o D i a r i o D a t a s e t ( ) 
 
 
 
 #   A u t o - r e g i s t r o 
 
 f r o m   a g r o b r . d a t a s e t s . r e g i s t r y   i m p o r t   r e g i s t e r 
 
 r e g i s t e r ( _ p r e c o _ d i a r i o ) 
 
 
 
 
 
 a s y n c   d e f   p r e c o _ d i a r i o ( 
 
         p r o d u t o :   s t r , 
 
         i n i c i o :   s t r   |   d a t e   |   N o n e   =   N o n e , 
 
         f i m :   s t r   |   d a t e   |   N o n e   =   N o n e , 
 
         r e t u r n _ m e t a :   b o o l   =   F a l s e , 
 
         * * k w a r g s :   A n y , 
 
 )   - >   p d . D a t a F r a m e   |   t u p l e [ p d . D a t a F r a m e ,   M e t a I n f o ] : 
 
         " " " B u s c a   p r e % o   d i % r i o   d e   u m   p r o d u t o   a g r % c o l a . 
 
 
 
         F o n t e s   ( e m   o r d e m   d e   p r i o r i d a d e ) : 
 
             1 .   C E P E A / E S A L Q   v i a   N o t % c i a s   A g r % c o l a s 
 
             2 .   C a c h e   l o c a l 
 
 
 
         A r g s : 
 
                 p r o d u t o :   s o j a ,   m i l h o ,   b o i ,   c a f e ,   t r i g o ,   a l g o d a o 
 
                 i n i c i o :   D a t a   i n i c i a l   ( o p c i o n a l ) 
 
                 f i m :   D a t a   f i n a l   ( o p c i o n a l ) 
 
                 r e t u r n _ m e t a :   S e   T r u e ,   r e t o r n a   t u p l a   ( D a t a F r a m e ,   M e t a I n f o ) 
 
 
 
         R e t u r n s : 
 
                 D a t a F r a m e   c o m   c o l u n a s :   d a t a ,   p r o d u t o ,   v a l o r ,   u n i d a d e ,   v a r i a c a o 
 
         " " " 
 
         r e t u r n   a w a i t   _ p r e c o _ d i a r i o . f e t c h ( 
 
                 p r o d u t o ,   i n i c i o = i n i c i o ,   f i m = f i m ,   r e t u r n _ m e t a = r e t u r n _ m e t a ,   * * k w a r g s 
 
         ) 
 
 
 
 
 
 I M P L E M E N T A % % O :   _ _ i n i t _ _ . p y 
 
 - - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 #   a g r o b r / d a t a s e t s / _ _ i n i t _ _ . p y 
 
 
 
 f r o m   a g r o b r . d a t a s e t s . p r e c o _ d i a r i o   i m p o r t   p r e c o _ d i a r i o 
 
 f r o m   a g r o b r . d a t a s e t s . p r o d u c a o _ a n u a l   i m p o r t   p r o d u c a o _ a n u a l 
 
 f r o m   a g r o b r . d a t a s e t s . e s t i m a t i v a _ s a f r a   i m p o r t   e s t i m a t i v a _ s a f r a 
 
 f r o m   a g r o b r . d a t a s e t s . b a l a n c o   i m p o r t   b a l a n c o 
 
 f r o m   a g r o b r . d a t a s e t s . r e g i s t r y   i m p o r t   l i s t _ d a t a s e t s ,   l i s t _ p r o d u c t s ,   i n f o ,   g e t _ d a t a s e t 
 
 
 
 _ _ a l l _ _   =   [ 
 
         " p r e c o _ d i a r i o " , 
 
         " p r o d u c a o _ a n u a l " , 
 
         " e s t i m a t i v a _ s a f r a " , 
 
         " b a l a n c o " , 
 
         " l i s t _ d a t a s e t s " , 
 
         " l i s t _ p r o d u c t s " , 
 
         " i n f o " , 
 
         " g e t _ d a t a s e t " , 
 
 ] 
 
 
 
 
 
 I M P L E M E N T A % % O :   R E G I S T R Y 
 
 - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 #   a g r o b r / d a t a s e t s / r e g i s t r y . p y 
 
 
 
 f r o m   _ _ f u t u r e _ _   i m p o r t   a n n o t a t i o n s 
 
 
 
 f r o m   t y p i n g   i m p o r t   T Y P E _ C H E C K I N G 
 
 
 
 i f   T Y P E _ C H E C K I N G : 
 
         f r o m   a g r o b r . d a t a s e t s . b a s e   i m p o r t   B a s e D a t a s e t ,   D a t a s e t I n f o 
 
 
 
 _ R E G I S T R Y :   d i c t [ s t r ,   B a s e D a t a s e t ]   =   { } 
 
 
 
 
 
 d e f   r e g i s t e r ( d a t a s e t :   B a s e D a t a s e t )   - >   B a s e D a t a s e t : 
 
         " " " R e g i s t r a   u m   d a t a s e t   n o   r e g i s t r y   g l o b a l . " " " 
 
         _ R E G I S T R Y [ d a t a s e t . i n f o . n a m e ]   =   d a t a s e t 
 
         r e t u r n   d a t a s e t 
 
 
 
 
 
 d e f   g e t _ d a t a s e t ( n a m e :   s t r )   - >   B a s e D a t a s e t : 
 
         " " " R e t o r n a   i n s t % n c i a   d e   u m   d a t a s e t   p e l o   n o m e . " " " 
 
         i f   n a m e   n o t   i n   _ R E G I S T R Y : 
 
                 r a i s e   K e y E r r o r ( 
 
                         f " D a t a s e t   ' { n a m e } '   n % o   e n c o n t r a d o .   " 
 
                         f " D i s p o n % v e i s :   { l i s t ( _ R E G I S T R Y . k e y s ( ) ) } " 
 
                 ) 
 
         r e t u r n   _ R E G I S T R Y [ n a m e ] 
 
 
 
 
 
 d e f   l i s t _ d a t a s e t s ( )   - >   l i s t [ s t r ] : 
 
         " " " L i s t a   n o m e s   d e   t o d o s   o s   d a t a s e t s   r e g i s t r a d o s . " " " 
 
         r e t u r n   s o r t e d ( _ R E G I S T R Y . k e y s ( ) ) 
 
 
 
 
 
 d e f   l i s t _ p r o d u c t s ( n a m e :   s t r )   - >   l i s t [ s t r ] : 
 
         " " " L i s t a   p r o d u t o s   d i s p o n % v e i s   p a r a   u m   d a t a s e t . " " " 
 
         r e t u r n   g e t _ d a t a s e t ( n a m e ) . i n f o . p r o d u c t s 
 
 
 
 
 
 d e f   i n f o ( n a m e :   s t r )   - >   d i c t : 
 
         " " " R e t o r n a   m e t a d a d o s   d e   u m   d a t a s e t . " " " 
 
         r e t u r n   g e t _ d a t a s e t ( n a m e ) . i n f o . t o _ d i c t ( ) 
 
 
 
 
 
 #   A u t o - r e g i s t r o   a o   i m p o r t a r   o s   m %%d u l o s   d e   d a t a s e t . 
 
 #   C a d a   m %%d u l o   c h a m a   r e g i s t e r ( )   n o   n % v e l   d e   m %%d u l o . 
 
 #   E x :   e m   p r e c o _ d i a r i o . p y        r e g i s t e r ( _ p r e c o _ d i a r i o ) 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   5 :   C O N T R A T O S   P % B L I C O S 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 O B J E T I V O 
 
 - - - - - - - - 
 
 P u b l i c a r   c o n t r a t o s   d e   f o r m a   v i s % v e l   e   a c e s s % v e l .   U s u % r i o   s a b e   e x a t a m e n t e 
 
 o   q u e   e s p e r a r   e   p o d e   c o n f i a r   q u e   n % o   v a i   q u e b r a r . 
 
 
 
 
 
 d o c s / c o n t r a c t s / i n d e x . m d 
 
 - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 #   C o n t r a t o s   d e   D a d o s 
 
 
 
 O   a g r o b r   g a r a n t e   e s t a b i l i d a d e   d e   s c h e m a .   S e u   p i p e l i n e   n % o   v a i   q u e b r a r . 
 
 
 
 # #   G a r a n t i a s   G l o b a i s 
 
 
 
 |   G a r a n t i a   |   D e s c r i % % o   | 
 
 | - - - - - - - - - - | - - - - - - - - - - - | 
 
 |   * * N o m e s   e s t % v e i s * *   |   C o l u n a s   n u n c a   m u d a m   d e   n o m e   ( s %%  a d i c i o n a m )   | 
 
 |   * * T i p o s   s %%  a l a r g a m * *   |   i n t    f l o a t   o k ,   f l o a t    i n t   n u n c a   | 
 
 |   * * D a t a s   I S O - 8 6 0 1 * *   |   S e m p r e   Y Y Y Y - M M - D D   | 
 
 |   * * U n i d a d e s   e x p l % c i t a s * *   |   C o l u n a   d e d i c a d a   | 
 
 |   * * B r e a k i n g   =   M a j o r * *   |   Q u e b r a s   s %%  e m   v e r s % o   m a j o r   | 
 
 
 
 # #   D a t a s e t s 
 
 
 
 -   [ p r e c o _ d i a r i o ] ( . / p r e c o _ d i a r i o . m d )   -   P r e % o s   d i % r i o s 
 
 -   [ p r o d u c a o _ a n u a l ] ( . / p r o d u c a o _ a n u a l . m d )   -   P r o d u % % o   a n u a l 
 
 -   [ e s t i m a t i v a _ s a f r a ] ( . / e s t i m a t i v a _ s a f r a . m d )   -   E s t i m a t i v a s 
 
 -   [ b a l a n c o ] ( . / b a l a n c o . m d )   -   O f e r t a / d e m a n d a 
 
 
 
 
 
 d o c s / c o n t r a c t s / p r e c o _ d i a r i o . m d 
 
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 #   p r e c o _ d i a r i o   v 1 . 0 
 
 
 
 P r e % o   d i % r i o   s p o t   d e   c o m m o d i t i e s   a g r % c o l a s   b r a s i l e i r a s . 
 
 
 
 # #   F o n t e s 
 
 
 
 |   P r i o r i d a d e   |   F o n t e   |   D e s c r i % % o   | 
 
 | - - - - - - - - - - - - | - - - - - - - | - - - - - - - - - - - | 
 
 |   1   |   C E P E A / E S A L Q   |   V i a   N o t % c i a s   A g r % c o l a s   | 
 
 |   2   |   C a c h e   l o c a l   |   D u c k D B   | 
 
 
 
 # #   P r o d u t o s 
 
 
 
 ` s o j a ` ,   ` m i l h o ` ,   ` b o i ` ,   ` c a f e ` ,   ` t r i g o ` ,   ` a l g o d a o ` 
 
 
 
 # #   S c h e m a 
 
 
 
 |   C o l u n a   |   T i p o   |   N u l l a b l e   |   U n i d a d e   |   D e s c r i % % o   | 
 
 | - - - - - - - - | - - - - - - | - - - - - - - - - - | - - - - - - - - - | - - - - - - - - - - - | 
 
 |   ` d a t a `   |   d a t e   |        |   -   |   D a t a   d o   i n d i c a d o r   | 
 
 |   ` p r o d u t o `   |   s t r   |        |   -   |   N o m e   d o   p r o d u t o   | 
 
 |   ` p r a c a `   |   s t r   |        |   -   |   P r a % a   d e   r e f e r % n c i a   | 
 
 |   ` v a l o r `   |   f l o a t 6 4   |        |   B R L   |   P r e % o   e m   r e a i s   ( 2   c a s a s   d e c i m a i s )   | 
 
 |   ` u n i d a d e `   |   s t r   |        |   -   |   E x :   " B R L / s c 6 0 k g "   | 
 
 |   ` v a r i a c a o `   |   f l o a t 6 4   |        |   %   |   V a r i a % % o   v s   d i a   a n t e r i o r   | 
 
 |   ` f o n t e `   |   s t r   |        |   -   |   O r i g e m   d o s   d a d o s   | 
 
 
 
 * * N o t a   s o b r e   p r e c i s % o : * *   ` v a l o r `   u s a   ` f l o a t 6 4 `   ( n % o   ` D e c i m a l ` )   p a r a 
 
 c o m p a t i b i l i d a d e   c o m   p a n d a s / p o l a r s   e   p e r f o r m a n c e   e m   p i p e l i n e s .   P r e c i s % o 
 
 I E E E   7 5 4   %   s u f i c i e n t e   p a r a   p r e % o s   a g r % c o l a s   ( m % x   ~ R $   9 9 9 . 9 9 9 , 9 9 ) . 
 
 P a r a   u s o   c o n t % b i l   q u e   e x i j a   p r e c i s % o   e x a t a ,   c o n v e r t e r   c o m 
 
 ` d f [ " v a l o r " ] . a p p l y ( D e c i m a l ) `   a p %%s   o   f e t c h . 
 
 
 
 # #   G a r a n t i a s 
 
 
 
 -   ` d a t a `   %   s e m p r e   d i a   %Q%t i l 
 
 -   ` v a l o r `   %   s e m p r e   p o s i t i v o 
 
 -   O r d e n a d o   p o r   ` d a t a `   d e c r e s c e n t e 
 
 
 
 # #   E x e m p l o 
 
 
 
 ` ` ` p y t h o n 
 
 f r o m   a g r o b r   i m p o r t   d a t a s e t s 
 
 
 
 d f   =   a w a i t   d a t a s e t s . p r e c o _ d i a r i o ( " s o j a " ) 
 
 d f ,   m e t a   =   a w a i t   d a t a s e t s . p r e c o _ d i a r i o ( " s o j a " ,   r e t u r n _ m e t a = T r u e ) 
 
 ` ` ` 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   6 :   S T A T U S        H E A L T H   B A D G E   ( S I M P L I F I C A D O ) 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 D E C I S % O 
 
 - - - - - - - 
 
 O   r e p o   j %   p o s s u i   w o r k f l o w   " D a i l y   H e a l t h   C h e c k "   c o m   b a d g e   n o   R E A D M E . 
 
 U m a   p % g i n a   H T M L   e s t % t i c a   a t u a l i z a d a   a   c a d a   6 h   n % o   %   " t e m p o   r e a l "   e   t e m 
 
 c u s t o / b e n e f % c i o   b a i x o   c o m p a r a d o   % s   o u t r a s   e n t r e g a s . 
 
 
 
 A B O R D A G E M :   R e a p r o v e i t a r   o   h e a l t h _ c h e c k   e x i s t e n t e   +   b a d g e   d i n % m i c o . 
 
 
 
 C a s o   q u e i r a   e x p a n d i r   n o   f u t u r o ,   o   h e a l t h _ c h e c k . y m l   j %   c o l e t a   d a d o s 
 
 s u f i c i e n t e s   p a r a   g e r a r   u m   s t a t u s . j s o n .   P o r   o r a ,   o   b a d g e   r e s o l v e . 
 
 
 
 
 
 R E A D M E . m d        A d i c i o n a r   s e % % o   d e   s t a t u s 
 
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 # #   S t a t u s   d a s   F o n t e s 
 
 
 
 |   F o n t e   |   S t a t u s   | 
 
 | - - - - - - - | - - - - - - - - | 
 
 |   C E P E A   |   [ ! [ H e a l t h ] ( h t t p s : / / g i t h u b . c o m / b r u n o - p o r t f o l i o / a g r o b r / a c t i o n s / w o r k f l o w s / h e a l t h _ c h e c k . y m l / b a d g e . s v g ) ] ( h t t p s : / / g i t h u b . c o m / b r u n o - p o r t f o l i o / a g r o b r / a c t i o n s / w o r k f l o w s / h e a l t h _ c h e c k . y m l )   | 
 
 |   T e s t e s   |   [ ! [ T e s t s ] ( h t t p s : / / g i t h u b . c o m / b r u n o - p o r t f o l i o / a g r o b r / a c t i o n s / w o r k f l o w s / t e s t s . y m l / b a d g e . s v g ) ] ( h t t p s : / / g i t h u b . c o m / b r u n o - p o r t f o l i o / a g r o b r / a c t i o n s / w o r k f l o w s / t e s t s . y m l )   | 
 
 
 
 O   a g r o b r   m o n i t o r a   a u t o m a t i c a m e n t e   a   d i s p o n i b i l i d a d e   d a s   f o n t e s . 
 
 U s e   ` a g r o b r   h e a l t h   - - a l l `   p a r a   v e r i f i c a r   l o c a l m e n t e . 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   7 :   D O C U M E N T A % % O   -   R E P R O D U T I B I L I D A D E 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 #   d o c s / a d v a n c e d / r e p r o d u c i b i l i t y . m d 
 
 
 
 #   R e p r o d u t i b i l i d a d e 
 
 
 
 O   a g r o b r   p e r m i t e   a n % l i s e s   1 0 0 %   r e p r o d u z % v e i s . 
 
 
 
 # #   M o d o   D e t e r m i n % s t i c o 
 
 
 
 ` ` ` p y t h o n 
 
 i m p o r t   a g r o b r 
 
 
 
 #   C o n t e x t   m a n a g e r        s e g u r o   p a r a   u s o   c o n c o r r e n t e   ( a s y n c   e   t h r e a d s ) 
 
 a s y n c   w i t h   a g r o b r . d e t e r m i n i s t i c ( s n a p s h o t = " 2 0 2 5 - 1 2 - 3 1 " ) : 
 
         #   T o d a s   a s   c h a m a d a s   f i l t r a m   d a t a   < =   2 0 2 5 - 1 2 - 3 1 
 
         #   N U N C A   a c e s s a   i n t e r n e t ,   u s a   a p e n a s   c a c h e   l o c a l 
 
         #   S E M P R E   r e t o r n a   o   m e s m o   r e s u l t a d o 
 
         d f   =   a w a i t   d a t a s e t s . p r e c o _ d i a r i o ( " s o j a " ) 
 
 
 
 #   F o r a   d o   b l o c o ,   c o m p o r t a m e n t o   n o r m a l   %   r e s t a u r a d o   a u t o m a t i c a m e n t e 
 
 ` ` ` 
 
 
 
 T a m b % m   d i s p o n % v e l   c o m o   d e c o r a t o r   p a r a   p i p e l i n e s : 
 
 
 
 ` ` ` p y t h o n 
 
 @ a g r o b r . d e t e r m i n i s t i c ( s n a p s h o t = " 2 0 2 5 - 1 2 - 3 1 " ) 
 
 a s y n c   d e f   m e u _ p i p e l i n e ( ) : 
 
         d f   =   a w a i t   d a t a s e t s . p r e c o _ d i a r i o ( " s o j a " ) 
 
         r e t u r n   d f 
 
 ` ` ` 
 
 
 
 # #   S e m % n t i c a   d o   S n a p s h o t 
 
 
 
 |   A s p e c t o   |   D e f i n i % % o   | 
 
 | - - - - - - - - - | - - - - - - - - - - - | 
 
 |   * * F o r m a t o * *   |   ` " Y Y Y Y - M M - D D " `        d a t a   m % x i m a   d e   c o r t e   | 
 
 |   * * F i l t r o * *   |   T o d o s   o s   D a t a F r a m e s   f i l t r a d o s   p o r   ` d a t a   < =   s n a p s h o t `   | 
 
 |   * * R e d e * *   |   B l o q u e a d a        a p e n a s   c a c h e   D u c k D B   l o c a l   | 
 
 |   * * E s c o p o * *   |   I s o l a d o   p o r   c o n t e x t o   a s y n c   ( c o n t e x t v a r s )        n % o   a f e t a   o u t r a s   t a s k s   | 
 
 |   * * M e t a I n f o * *   |   C a m p o   ` s n a p s h o t `   p r e e n c h i d o   a u t o m a t i c a m e n t e   | 
 
 
 
 # #   C a s o s   d e   U s o 
 
 
 
 -   * * P a p e r s   a c a d % m i c o s * *        R e s u l t a d o s   r e p l i c % v e i s 
 
 -   * * B a c k t e s t s * *        S i m u l a r   c o m   d a d o s   h i s t %%r i c o s   e x a t o s 
 
 -   * * A u d i t o r i a * *        P r o v a r   q u a i s   d a d o s   f o r a m   u s a d o s 
 
 -   * * R e l a t %%r i o s * *        D a t a   d e   r e f e r % n c i a   f i x a 
 
 
 
 
 
 I M P L E M E N T A % % O :   D E T E R M I N I S T I C   C O N T E X T   M A N A G E R 
 
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 #   a g r o b r / d a t a s e t s / d e t e r m i n i s t i c . p y 
 
 
 
 f r o m   _ _ f u t u r e _ _   i m p o r t   a n n o t a t i o n s 
 
 
 
 i m p o r t   c o n t e x t v a r s 
 
 f r o m   c o n t e x t l i b   i m p o r t   a s y n c c o n t e x t m a n a g e r 
 
 f r o m   d a t e t i m e   i m p o r t   d a t e 
 
 f r o m   f u n c t o o l s   i m p o r t   w r a p s 
 
 f r o m   t y p i n g   i m p o r t   A n y 
 
 
 
 _ s n a p s h o t _ v a r :   c o n t e x t v a r s . C o n t e x t V a r [ s t r   |   N o n e ]   =   c o n t e x t v a r s . C o n t e x t V a r ( 
 
         " a g r o b r _ s n a p s h o t " ,   d e f a u l t = N o n e 
 
 ) 
 
 
 
 
 
 d e f   g e t _ s n a p s h o t ( )   - >   s t r   |   N o n e : 
 
         " " " R e t o r n a   s n a p s h o t   a t i v o   n o   c o n t e x t o   a t u a l   ( o u   N o n e ) . " " " 
 
         r e t u r n   _ s n a p s h o t _ v a r . g e t ( ) 
 
 
 
 
 
 d e f   i s _ d e t e r m i n i s t i c ( )   - >   b o o l : 
 
         " " " R e t o r n a   T r u e   s e   e s t a m o s   e m   m o d o   d e t e r m i n % s t i c o . " " " 
 
         r e t u r n   _ s n a p s h o t _ v a r . g e t ( )   i s   n o t   N o n e 
 
 
 
 
 
 @ a s y n c c o n t e x t m a n a g e r 
 
 a s y n c   d e f   d e t e r m i n i s t i c ( s n a p s h o t :   s t r ) : 
 
         " " " C o n t e x t   m a n a g e r   p a r a   m o d o   d e t e r m i n % s t i c o . 
 
 
 
         A r g s : 
 
                 s n a p s h o t :   D a t a   d e   c o r t e   n o   f o r m a t o   " Y Y Y Y - M M - D D " . 
 
                         T o d a s   a s   c o n s u l t a s   f i l t r a m   d a t a   < =   s n a p s h o t . 
 
                         R e d e   %   b l o q u e a d a ,   a p e n a s   c a c h e   l o c a l   %   u s a d o . 
 
         " " " 
 
         d a t e . f r o m i s o f o r m a t ( s n a p s h o t ) 
 
         t o k e n   =   _ s n a p s h o t _ v a r . s e t ( s n a p s h o t ) 
 
         t r y : 
 
                 y i e l d 
 
         f i n a l l y : 
 
                 _ s n a p s h o t _ v a r . r e s e t ( t o k e n ) 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   7 . 5 :   N O T E B O O K   D E M O   ( C O L A B )   +   G I F   N O   R E A D M E 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 O B J E T I V O 
 
 - - - - - - - - 
 
 Q u e m   c h e g a   n o   r e p o   q u e r   v e r   o u t p u t   a n t e s   d e   i n s t a l a r . 
 
 U m   n o t e b o o k   C o l a b   e l i m i n a   t o d a   f r i c % % o   e   u m   G I F   n o   R E A D M E   m o s t r a 
 
 q u e   o   p r o j e t o   f u n c i o n a   d e   v e r d a d e . 
 
 
 
 P R I O R I D A D E :   A l t a        m o v e   m a i s   o   p o n t e i r o   d e   a d o % % o   d o   q u e   s t a t u s   p a g e . 
 
 
 
 
 
 e x a m p l e s / d e m o _ c o l a b . i p y n b 
 
 - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 N o t e b o o k   c o m   c % l u l a s   e x e c u t % v e i s : 
 
 
 
 1 .   I n s t a l a % % o   ( 1   c % l u l a ) 
 
       ! p i p   i n s t a l l   a g r o b r   - q 
 
 
 
 2 .   C E P E A        P r e % o   d i % r i o   ( 2   c % l u l a s ) 
 
       f r o m   a g r o b r . s y n c   i m p o r t   c e p e a 
 
       d f   =   c e p e a . i n d i c a d o r ( " s o j a " ,   p e r i o d o = " 2 0 2 4 " ) 
 
       d f . h e a d ( 1 0 ) 
 
       #   +   g r % f i c o   c o m   m a t p l o t l i b 
 
 
 
 3 .   C O N A B        S a f r a s   ( 2   c % l u l a s ) 
 
       f r o m   a g r o b r . s y n c   i m p o r t   c o n a b 
 
       d f   =   c o n a b . s a f r a s ( " s o j a " ,   s a f r a = " 2 0 2 4 / 2 5 " ) 
 
       d f [ [ " u f " ,   " a r e a _ p l a n t a d a " ,   " p r o d u c a o " ,   " p r o d u t i v i d a d e " ] ] 
 
 
 
 4 .   I B G E        P A M   ( 2   c % l u l a s ) 
 
       f r o m   a g r o b r . s y n c   i m p o r t   i b g e 
 
       d f   =   i b g e . p a m ( " s o j a " ,   a n o = 2 0 2 3 ,   n i v e l = " u f " ) 
 
       #   +   m a p a   o u   b a r   c h a r t   p o r   U F 
 
 
 
 5 .   C a m a d a   s e m % n t i c a   ( v 0 . 6 . 0 )   ( 2   c % l u l a s ) 
 
       f r o m   a g r o b r . s y n c   i m p o r t   d a t a s e t s 
 
       d f   =   d a t a s e t s . p r e c o _ d i a r i o ( " s o j a " ) 
 
       d f ,   m e t a   =   d a t a s e t s . p r e c o _ d i a r i o ( " s o j a " ,   r e t u r n _ m e t a = T r u e ) 
 
       p r i n t ( m e t a ) 
 
 
 
 T O T A L :   ~ 1 0   c % l u l a s ,   e x e c u % % o   e m   < 3 0 s 
 
 
 
 
 
 G I F   p a r a   R E A D M E 
 
 - - - - - - - - - - - - - - - 
 
 
 
 G r a v a % % o   c o m   a s c i i n e m a   o u   t e r m i n a l i z e r : 
 
 
 
 $   p i p   i n s t a l l   a g r o b r 
 
 $   p y t h o n   - c   " 
 
 f r o m   a g r o b r . s y n c   i m p o r t   c e p e a 
 
 d f   =   c e p e a . i n d i c a d o r ( ' s o j a ' ,   p e r i o d o = ' 2 0 2 4 ' ) 
 
 p r i n t ( d f . h e a d ( ) ) 
 
 p r i n t ( f ' T o t a l :   { l e n ( d f ) }   r e g i s t r o s ' ) 
 
 " 
 
 
 
 C o n v e r t e r   p a r a   G I F   e   a d i c i o n a r   n o   R E A D M E : 
 
 
 
 # #   D e m o 
 
 
 
 ! [ a g r o b r   d e m o ] ( d o c s / a s s e t s / d e m o . g i f ) 
 
 
 
 >   [ A b r i r   n o   G o o g l e   C o l a b ] ( h t t p s : / / c o l a b . r e s e a r c h . g o o g l e . c o m / g i t h u b / b r u n o - p o r t f o l i o / a g r o b r / b l o b / m a i n / e x a m p l e s / d e m o _ c o l a b . i p y n b ) 
 
 
 
 
 
 R E A D M E . m d        A d i c i o n a r   b o t % o   C o l a b 
 
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 A p %%s   o s   b a d g e s   e x i s t e n t e s ,   a d i c i o n a r : 
 
 
 
 [ ! [ O p e n   I n   C o l a b ] ( h t t p s : / / c o l a b . r e s e a r c h . g o o g l e . c o m / a s s e t s / c o l a b - b a d g e . s v g ) ] ( h t t p s : / / c o l a b . r e s e a r c h . g o o g l e . c o m / g i t h u b / b r u n o - p o r t f o l i o / a g r o b r / b l o b / m a i n / e x a m p l e s / d e m o _ c o l a b . i p y n b ) 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   8 :   D O C U M E N T A % % O   -   I N T E G R A % % O   P I P E L I N E S 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 #   d o c s / a d v a n c e d / p i p e l i n e s . m d 
 
 
 
 #   I n t e g r a % % o   c o m   P i p e l i n e s 
 
 
 
 O   a g r o b r   o f e r e c e   A P I   s % n c r o n a   v i a   ` a g r o b r . s y n c `   p a r a   u s o   e m   o r q u e s t r a d o r e s 
 
 q u e   j %   p o s s u e m   e v e n t   l o o p   p r %%p r i o   ( o n d e   ` a s y n c i o . r u n ( ) `   q u e b r a r i a ) . 
 
 
 
 # #   A i r f l o w 
 
 
 
 ` ` ` p y t h o n 
 
 f r o m   a i r f l o w . d e c o r a t o r s   i m p o r t   t a s k 
 
 
 
 @ t a s k 
 
 d e f   e x t r a c t _ p r e c o s ( ) : 
 
         f r o m   a g r o b r . s y n c   i m p o r t   d a t a s e t s 
 
         d f   =   d a t a s e t s . p r e c o _ d i a r i o ( " s o j a " ) 
 
         d f . t o _ p a r q u e t ( " / d a t a / s o j a _ p r e c o s . p a r q u e t " ) 
 
 
 
 @ t a s k 
 
 d e f   e x t r a c t _ s a f r a ( ) : 
 
         f r o m   a g r o b r . s y n c   i m p o r t   d a t a s e t s 
 
         d f   =   d a t a s e t s . e s t i m a t i v a _ s a f r a ( " s o j a " ,   s a f r a = " 2 0 2 4 / 2 5 " ) 
 
         d f . t o _ p a r q u e t ( " / d a t a / s o j a _ s a f r a . p a r q u e t " ) 
 
 ` ` ` 
 
 
 
 # #   P r e f e c t 
 
 
 
 ` ` ` p y t h o n 
 
 f r o m   p r e f e c t   i m p o r t   t a s k ,   f l o w 
 
 
 
 @ t a s k 
 
 d e f   f e t c h _ p r e c o s ( p r o d u t o :   s t r ) : 
 
         f r o m   a g r o b r . s y n c   i m p o r t   d a t a s e t s 
 
         r e t u r n   d a t a s e t s . p r e c o _ d i a r i o ( p r o d u t o ) 
 
 
 
 @ f l o w 
 
 d e f   p i p e l i n e _ a g r o ( ) : 
 
         f o r   p r o d u t o   i n   [ " s o j a " ,   " m i l h o " ,   " c a f e " ] : 
 
                 f e t c h _ p r e c o s ( p r o d u t o ) 
 
 ` ` ` 
 
 
 
 # #   D a g s t e r 
 
 
 
 ` ` ` p y t h o n 
 
 f r o m   d a g s t e r   i m p o r t   a s s e t 
 
 
 
 @ a s s e t 
 
 d e f   s o j a _ p r e c o s ( ) : 
 
         f r o m   a g r o b r . s y n c   i m p o r t   d a t a s e t s 
 
         r e t u r n   d a t a s e t s . p r e c o _ d i a r i o ( " s o j a " ) 
 
 
 
 @ a s s e t 
 
 d e f   s o j a _ p r o d u c a o ( ) : 
 
         f r o m   a g r o b r . s y n c   i m p o r t   d a t a s e t s 
 
         r e t u r n   d a t a s e t s . p r o d u c a o _ a n u a l ( " s o j a " ,   a n o = 2 0 2 4 ) 
 
 ` ` ` 
 
 
 
 # #   U s o   d i r e t o   ( a s y n c ) 
 
 
 
 S e   v o c %   c o n t r o l a   o   e v e n t   l o o p ,   p o d e   u s a r   a   A P I   a s y n c   d i r e t a m e n t e : 
 
 
 
 ` ` ` p y t h o n 
 
 i m p o r t   a s y n c i o 
 
 f r o m   a g r o b r   i m p o r t   d a t a s e t s 
 
 
 
 a s y n c   d e f   m a i n ( ) : 
 
         d f   =   a w a i t   d a t a s e t s . p r e c o _ d i a r i o ( " s o j a " ) 
 
         d f . t o _ p a r q u e t ( " / d a t a / s o j a . p a r q u e t " ) 
 
 
 
 a s y n c i o . r u n ( m a i n ( ) ) 
 
 ` ` ` 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   9 :   C H E C K L I S T   D E   I M P L E M E N T A % % O 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 S E M A N A   1 :   M V P        P R E C O _ D I A R I O   E N D - T O - E N D 
 
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 [ x ]   a g r o b r / e x c e p t i o n s . p y 
 
 [ x ]   a g r o b r / m o d e l s . p y   ( e x p a n d i r   M e t a I n f o ) 
 
 [ x ]   a g r o b r / d a t a s e t s / _ _ i n i t _ _ . p y 
 
 [ x ]   a g r o b r / d a t a s e t s / b a s e . p y 
 
 [ x ]   a g r o b r / d a t a s e t s / r e g i s t r y . p y 
 
 [ x ]   a g r o b r / d a t a s e t s / d e t e r m i n i s t i c . p y 
 
 [ x ]   a g r o b r / d a t a s e t s / p r e c o _ d i a r i o . p y 
 
 [ x ]   t e s t s / t e s t _ d a t a s e t s / t e s t _ p r e c o _ d i a r i o . p y 
 
 [ x ]   t e s t s / t e s t _ d a t a s e t s / t e s t _ r e g i s t r y . p y 
 
 [ x ]   t e s t s / t e s t _ d a t a s e t s / t e s t _ d e t e r m i n i s t i c . p y 
 
 [ x ]   t e s t s / t e s t _ e x c e p t i o n s . p y 
 
 [ x ]   d o c s / c o n t r a c t s / p r e c o _ d i a r i o . m d 
 
 [ x ]   e x a m p l e s / d e m o _ c o l a b . i p y n b 
 
 [   ]   T a g   v 0 . 5 . 1 - a l p h a   ( p u b l i c a r   n o   T e s t P y P I   p a r a   v a l i d a r ) 
 
 
 
 
 
 S E M A N A   2 :   D A T A S E T S   R E S T A N T E S   +   C O N T R A T O S 
 
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 [ x ]   a g r o b r / d a t a s e t s / p r o d u c a o _ a n u a l . p y 
 
 [ x ]   a g r o b r / d a t a s e t s / e s t i m a t i v a _ s a f r a . p y 
 
 [ x ]   a g r o b r / d a t a s e t s / b a l a n c o . p y 
 
 [ x ]   t e s t s / t e s t _ d a t a s e t s / t e s t _ p r o d u c a o _ a n u a l . p y 
 
 [ x ]   t e s t s / t e s t _ d a t a s e t s / t e s t _ e s t i m a t i v a _ s a f r a . p y 
 
 [ x ]   t e s t s / t e s t _ d a t a s e t s / t e s t _ b a l a n c o . p y 
 
 [ x ]   d o c s / c o n t r a c t s / i n d e x . m d 
 
 [ x ]   d o c s / c o n t r a c t s / p r o d u c a o _ a n u a l . m d 
 
 [ x ]   d o c s / c o n t r a c t s / e s t i m a t i v a _ s a f r a . m d 
 
 [ x ]   d o c s / c o n t r a c t s / b a l a n c o . m d 
 
 
 
 
 
 S E M A N A   3 :   D O C S   +   D E M O   +   R E L E A S E 
 
 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 
 
 
 
 [ x ]   d o c s / a d v a n c e d / r e p r o d u c i b i l i t y . m d 
 
 [ x ]   d o c s / a d v a n c e d / p i p e l i n e s . m d 
 
 [ x ]   m k d o c s . y m l   a t u a l i z a d o 
 
 [   ]   G I F   d e m o   ( a s c i i n e m a / t e r m i n a l i z e r )   -   O P C I O N A L 
 
 [ x ]   R E A D M E . m d   a t u a l i z a d o   ( b a d g e   C o l a b ,   s e % % o   s t a t u s ,   s e % % o   d a t a s e t s ) 
 
 [ x ]   C H A N G E L O G . m d 
 
 [ x ]   p y p r o j e c t . t o m l   v e r s i o n   =   " 0 . 6 . 0 " 
 
 [   ]   R e l e a s e   G i t H u b 
 
 [   ]   P u b l i c a r   P y P I 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   1 0 :   R E L E A S E   N O T E S 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 # #   v 0 . 6 . 0   -   S e m a n t i c   L a y e r   &   T r u s t 
 
 
 
 O   a g r o b r   a g o r a   o f e r e c e   d a t a s e t s   p a d r o n i z a d o s ,   n % o   a p e n a s   a c e s s o   a   f o n t e s . 
 
 
 
 # # #        N o v i d a d e s 
 
 
 
 -        * * C a m a d a   S e m % n t i c a * *   -   4   d a t a s e t s   c o m   f a l l b a c k   a u t o m % t i c o   e n t r e   f o n t e s 
 
 -        * * C o n t r a t o s   P %Q%b l i c o s * *   -   G a r a n t i a s   f o r m a i s   d e   s c h e m a   v e r s i o n a d o 
 
 -        * * M o d o   D e t e r m i n % s t i c o * *   -   C o n t e x t   m a n a g e r   p a r a   r e p r o d u t i b i l i d a d e   t o t a l 
 
 -        * * I n t e g r a % % o   P i p e l i n e s * *   -   G u i a s   A i r f l o w ,   P r e f e c t ,   D a g s t e r   ( v i a   s y n c   A P I ) 
 
 -        * * N o t e b o o k   D e m o * *   -   G o o g l e   C o l a b   c o m   e x e m p l o s   e x e c u t % v e i s 
 
 
 
 # # #           M e l h o r i a s   I n t e r n a s 
 
 
 
 -   D a t a s e t   s o u r c e s   a g o r a   u s a m   c a l l a b l e   d i r e t o   ( e x t e n s % v e l   s e m   i f / e l i f ) 
 
 -   R e g i s t r y   d e   d a t a s e t s   c o m   a u t o - d e s c o b e r t a 
 
 -   V a l i d a % % o   d e   p r o d u t o   a n t e s   d e   t e n t a r   f o n t e s 
 
 -   L o g g i n g   e s t r u t u r a d o   e m   f a l l b a c k   d e   f o n t e s   c o m   c a t e g o r i z a % % o   d e   e r r o 
 
 -   H i e r a r q u i a   d e   e x c e % % e s   t i p a d a s   ( N e t w o r k E r r o r ,   P a r s e E r r o r ,   C o n t r a c t V i o l a t i o n E r r o r ) 
 
 -   M e t a I n f o   e x p a n d i d o   c o m   p r o v e n i % n c i a   c o m p l e t a   ( c a c h e _ h i t ,   p a r s e r _ v e r s i o n ,   s n a p s h o t ) 
 
 -   M o d o   d e t e r m i n % s t i c o   v i a   c o n t e x t v a r s   ( t h r e a d / a s y n c - s a f e ) 
 
 -   V a l o r e s   m o n e t % r i o s   p a d r o n i z a d o s   c o m o   f l o a t 6 4 
 
 
 
 # # #   U p g r a d e 
 
 
 
 ` ` ` b a s h 
 
 p i p   i n s t a l l   - - u p g r a d e   a g r o b r 
 
 ` ` ` 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   1 1 :   T I M E L I N E 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 |   S e m a n a   |   E n t r e g a s                                                                                         |   S t a t u s           | 
 
 | - - - - - - - - | - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - | - - - - - - - - - - - - | 
 
 |   1             |   M V P   p r e c o _ d i a r i o   +   c o n t r a t o   +   n o t e b o o k   C o l a b                 |   [ x ]   1 3 / 1 4     | 
 
 |   2             |   3   d a t a s e t s   r e s t a n t e s   +   c o n t r a t o s                                         |   [ x ]   1 0 / 1 0     | 
 
 |   3             |   D o c s   ( r e p r o d u t i b i l i d a d e ,   p i p e l i n e s )   +   G I F   +   r e l e a s e   |   [ x ]   6 / 9         | 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 P A R T E   1 2 :   B A C K L O G   P % S   v 0 . 6 . 0 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 
 
 I t e n s   v % l i d o s   m a s   q u e   N % O   d e v e m   a t r a s a r   a   v 0 . 6 . 0 . 
 
 
 
 |   I t e m   |   V e r s % o   a l v o   |   N o t a s   | 
 
 | - - - - - - | - - - - - - - - - - - - - | - - - - - - - | 
 
 |   A l i a s e s   d e   p r o d u t o   ( s o y    s o j a ,   c a f %    c a f e )   |   v 0 . 6 . 1   |   N o r m a l i z a r   e m   ` _ v a l i d a t e _ p r o d u t o ` ,   l o g a r   a l i a s   u s a d o .   C o n t r a t o   m a n t % m   n o m e   c a n %$%n i c o   | 
 
 |   M a i s   f o n t e s   v i a   c o m u n i d a d e   ( B 3 ,   U S D A ,   C M E )   |   v 0 . 7 +   |   P a d r % o   c a l l a b l e   j %   s u p o r t a .   D o c u m e n t a r   C O N T R I B U T I N G   c o m   e x e m p l o   d e   D a t a s e t S o u r c e   | 
 
 |   S t a t u s   p a g e   H T M L   r i c a   |   v 0 . 7 +   |   R e a v a l i a r   s e   h e a l t h   b a d g e   n % o   %   s u f i c i e n t e   | 
 
 
 
 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
                                                             F I M   D O   D O C U M E N T O 
 
 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 
 
 