AGÕæÈ˹ٷ½Íø

AGÕæÈ˹ٷ½Íø¶¯Á¦
  • ¼¯ÍŹÙÍø
    ¹«Ë¾ÏÈÈÝ¡¢ÐÂÎŶ¯Ì¬¡¢·þÎñÓëÐÐÒµµÈÐÅÏ¢
  • AGÕæÈ˹ٷ½ÍøÅÌËã»ú
    ÐÅ´´¹¤ÒµIT»ù´¡ÉèÊ©ÕûÌ弯»®¼°²úÆ·ÌṩÉÌ
  • ÖÇͨ¹ú¼Ê
    Éî¸û¸ßÐÔÄÜPCÊг¡Ê®ÓàÄê £¬ÒýÁìÐÐÒµÁ¢ÒìµÄ¹ú»õÓÎÏ·±¾Æ·ÅÆ¡ª¡ª»úе¸ïÃü
  • ºèºþÍòÁª
    רעÖÇÄÜÎïÁªÍø²Ù×÷ϵͳÑз¢ºÍ¹¤Òµ»¯·þÎñ
  • AGÕæÈ˹ٷ½Íø½ÌÓý
    רעÓÚICTÈ˲ʩӦÓë×÷Óý
AGÕæÈ˹ٷ½Íø¶¯Á¦

openEuler Summit·ÖÏí£ºAGÕæÈ˹ٷ½Íø¶¯Á¦HPCÓ¦ÓûùÓÚopenEulerµÄǨáãʵ¼ù

2021.11.12

11ÔÂ9ÈÕ-10ÈÕ £¬ÓÉÅ·À­¿ªÔ´ÉçÇø¾ÙÐеĵڶþ½ì²Ù×÷ϵͳ¹¤Òµ·å»á& openEuler SummitÔÚ±±¾©ÕÙ¿ª £¬Ö¼ÔÚȺ¼¯È«¹¤ÒµÁ´Á¦Á¿ £¬ÅäºÏÍÆ¶¯»ù´¡Èí¼þ¹¤ÒµµÄÉú³¤ ¡£AGÕæÈ˹ٷ½Íø¶¯Á¦×÷ΪÉçÇø¹²½¨Õß £¬ÊǴ˴ηå»áµÄЭ°ìµ¥Î» £¬²¢ÔÚ10ÈյļæÈÝÐÔ·ÖÂÛ̳ÉÏ·ÖÏíÁË¡°HPCÓ¦ÓûùÓÚÅ·À­¿ªÔ´²Ù×÷ϵͳµÄǨáãʵ¼ù¡±µÄÖ÷ÌâÑݽ² ¡£

AGÕæÈ˹ٷ½Íø¶¯Á¦Î§ÈÆ»ùÓÚ»ªÎªopenEuler + Kunpengƽ̨µÄ¸ùÊÖÒÕÍÆ¹ãÓ¦Óá¢openEulerµÄKAEÖúÁ¦SPARKÌáÉýÐÔÄܵÈʵ¼ù¶à¸öά¶È £¬ÖÜÈ«·ÖÏíÁËAGÕæÈ˹ٷ½Íø¶¯Á¦ÔÚÅ·À­¿ªÔ´²Ù×÷ϽµµÍìÓòµÄǨáãµ÷ÓÅÓÅÒìʵ¼ù ¡£

 

HPC-WAN´òÔì¸ßʱЧ¡¢¸ßÐÔÄܵįøÏóÓ¦Óýâ¾ö¼Æ»®

´óÊý¾Ýʱ´ú £¬ÆøÏó·þÎñÓ¦ÓÃÁìÓòÒ»Ö±ÍØÕ¹ £¬ÆøÏóÊý¾Ý´¦Öóͷ£Ò²Ô½À´Ô½Ö÷Òª ¡£µ«ÆøÏóÓ¦Óô¦Öóͷ£Êý¾ÝÁ¿´ó £¬Ê±Ð§ÐÔÒªÇó¸ß ¡£ÐÔÄÜÊÇÆøÏóÓ¦ÓÃ¶ÔÆ½Ì¨ÒªÇóµÄÒªº¦ ¡£HPC-WANǨáãʵ¼ùÊǽ«ÆøÏó½â¾ö¼Æ»®Ç¨áãµ½openEuler+öïÅôµÄÅÌËãÆ½Ì¨ £¬³ä·ÖÑéÕ¹openEuler+öïÅôÔÚHPC³¡¾°µÄÐÔÄÜÓÅÊÆ ¡£AGÕæÈ˹ٷ½Íø¶¯Á¦Í¨¹ý±Ï•N±àÒëÆ÷¾ÙÐбàÒë £¬MPIÈí¼þÌæ»»ÎªHyperMPI £¬ÔÙ¶ÔOS¾ÙÐÐÐÔÄܵ÷ÓÅ £¬×îÖÕʵÏÖÆøÏóHPC×é¼þÔÚopenEuler+Kunpengƽ̨Õý³£ÔËÐÐ £¬ÕûÌåÐÔÄÜÁè¼ÝͨÓÃÆ½Ì¨ ¡£

»ùÓÚ»ªÎªopenEuler+Kunpengƽ̨¸ùÊÖÒÕÄÜÁ¦ £¬Ê¹HPC-WAN½â¾ö¼Æ»®ÐÔÄÜÁè¼ÝͨÓÃÆ½Ì¨£¨X86£© £¬ÓÐÓýâ¾öÆøÏóÐÐÒµ¶ÔÅÌËãÆ½Ì¨¸ßÐÔÄܵÄÒªÇó ¡£Í¨¹ýHPC-WANǨáãʵ¼ù £¬AGÕæÈ˹ٷ½Íø¶¯Á¦ÖúÁ¦»ªÎª»ù´¡Èí¼þ¸ùÊÖÒÕÔÚÐÐÒµµÄÍÆ¹ãÓ¦Óà ¡£

SPARKʹÄÜopenEuler´òÔì´óÊý¾Ý¸ßЧ´¦Öóͷ£×é¼þ

SPARKÊÇÒ»¸ö¿ªÔ´µÄ´óÊý¾Ý´¦Öóͷ£×é¼þ £¬ËüÖ§³ÖÒ»×鸻ºñµÄ¸ß¼¶¹¤¾ß £¬°üÀ¨ÓÃÓÚSQLµÄsparksqlµÈ ¡£Ä¿½ñ¿ªÔ´SparkʹÓÃѹËõ·½·¨¸÷ÓÐÓÅÈõµã £¬ÆäÖÐGZIPѹËõ·½·¨Ã»ÓÐʹÄÜKAE £¬CPUÕ¼ÓÃÂÊ¸ß £¬Ñ¹ËõËÙÂÊÂý ¡£±¾´ÎÓÅ»¯ÊÇÔÚSparkÖÐʹÄÜopenEuler acclib £¬Í¨¹ýopenEuler µÄÈí¼ÓËÙ¡¢Ó²¼ÓËÙ¿âÌáÉýSparkÐÔÄÜ ¡£AGÕæÈ˹ٷ½Íø¶¯Á¦Í¨¹ýÔÚSparkÖÐ £¬ÔöÌíopenEulerµÄKAEzipŲÓýӿڡ¢Ê¹ÄÜgzip½Ó¿ÚÒÔ¼°½âѹËõ¿âÉèÖã»Ê¹Óàscala¿ª·¢ÓïÑÔ¾ÙÐÐKAEÓ²¼ÓËÙʹÄÜ£»×îÖÕÓÅ»¯ºóµÄSpark SQLÅÌÎÊÐÔÄÜÌáÉý5+±¶ £¬HiBenchÐÔÄܲâÊÔÌáÉý40%+ ¡£

»ùÓÚ»ªÎªopenEulerµÄKAE¼ÓËÙÄÜÁ¦ £¬ÖúÁ¦SPARK´óÊý¾Ý´¦Öóͷ£Ð§ÂÊÌáÉý5±¶+ £¬AGÕæÈ˹ٷ½Íø¶¯Á¦Í¨¹ýSPARKʹÄÜopenEulerÓÅ»¯Êµ¼ùÖ§³Ö»ªÎªöïÅôKAE¼ÓËÙÔÚ¿ªÔ´Èí¼þµÄʹÄܺÍÔËÓà ¡£

 

²Ù×÷ϵͳ×÷Ϊ»ù´¡Èí¼þµÄ¸ùÊÖÒÕ £¬ÊÇÍÆ¶¯Êý×ÖÀå¸ïµÄÒªº¦Á¦Á¿ ¡£×÷ΪÆóÒµÊý×Ö»¯×ªÐÍ¿ÉÐÅÈκÏ×÷»ï°é £¬AGÕæÈ˹ٷ½Íø¶¯Á¦×ÊÖúÖÚ¶àÐÐÒµ¾ÙÐÐÊý×Ö»¯×ªÐÍʵ¼ù £¬Ò²ÔÚÒ»Á¬¹Ø×¢ºÍÖ§³Ö²Ù×÷ϵͳ¹¤ÒµµÄÉú³¤ ¡£×÷ΪŷÀ­¿ªÔ´ÉçÇøµÄ¼ÓÈëÕߺÍТ˳Õß £¬AGÕæÈ˹ٷ½Íø¶¯Á¦Æð¾¢¼ÓÈëÉçÇøºÏ×÷Óë½»Á÷ £¬ÔÚ¼ÓËÙ¿â¡¢Ó¦ÓÃǨáãÆ«ÏòÒ»Ö±ÌáÉýÊÖÒÕÄÜÁ¦²¢»ýÀÛ´ó×ÚÂÄÀú £¬Í¨¹ýÒ»Á¬µÄͶÈëºÍÊÖÒÕÁ¢Òì £¬Ò»Ö±ÎªÅ·À­¿ªÔ´²Ù×÷ϵͳÉú̬Éú³¤ÔöשÌíÍß ¡£

ÐÂÎÅ

ÍøÕ¾µØÍ¼