curve25519-core.S (46959B)
1/* SPDX-License-Identifier: GPL-2.0 OR MIT */ 2/* 3 * Copyright (C) 2015-2019 Jason A. Donenfeld <Jason@zx2c4.com>. All Rights Reserved. 4 * 5 * Based on public domain code from Daniel J. Bernstein and Peter Schwabe. This 6 * began from SUPERCOP's curve25519/neon2/scalarmult.s, but has subsequently been 7 * manually reworked for use in kernel space. 8 */ 9 10#include <linux/linkage.h> 11 12.text 13.arch armv7-a 14.fpu neon 15.align 4 16 17ENTRY(curve25519_neon) 18 push {r4-r11, lr} 19 mov ip, sp 20 sub r3, sp, #704 21 and r3, r3, #0xfffffff0 22 mov sp, r3 23 movw r4, #0 24 movw r5, #254 25 vmov.i32 q0, #1 26 vshr.u64 q1, q0, #7 27 vshr.u64 q0, q0, #8 28 vmov.i32 d4, #19 29 vmov.i32 d5, #38 30 add r6, sp, #480 31 vst1.8 {d2-d3}, [r6, : 128]! 32 vst1.8 {d0-d1}, [r6, : 128]! 33 vst1.8 {d4-d5}, [r6, : 128] 34 add r6, r3, #0 35 vmov.i32 q2, #0 36 vst1.8 {d4-d5}, [r6, : 128]! 37 vst1.8 {d4-d5}, [r6, : 128]! 38 vst1.8 d4, [r6, : 64] 39 add r6, r3, #0 40 movw r7, #960 41 sub r7, r7, #2 42 neg r7, r7 43 sub r7, r7, r7, LSL #7 44 str r7, [r6] 45 add r6, sp, #672 46 vld1.8 {d4-d5}, [r1]! 47 vld1.8 {d6-d7}, [r1] 48 vst1.8 {d4-d5}, [r6, : 128]! 49 vst1.8 {d6-d7}, [r6, : 128] 50 sub r1, r6, #16 51 ldrb r6, [r1] 52 and r6, r6, #248 53 strb r6, [r1] 54 ldrb r6, [r1, #31] 55 and r6, r6, #127 56 orr r6, r6, #64 57 strb r6, [r1, #31] 58 vmov.i64 q2, #0xffffffff 59 vshr.u64 q3, q2, #7 60 vshr.u64 q2, q2, #6 61 vld1.8 {d8}, [r2] 62 vld1.8 {d10}, [r2] 63 add r2, r2, #6 64 vld1.8 {d12}, [r2] 65 vld1.8 {d14}, [r2] 66 add r2, r2, #6 67 vld1.8 {d16}, [r2] 68 add r2, r2, #4 69 vld1.8 {d18}, [r2] 70 vld1.8 {d20}, [r2] 71 add r2, r2, #6 72 vld1.8 {d22}, [r2] 73 add r2, r2, #2 74 vld1.8 {d24}, [r2] 75 vld1.8 {d26}, [r2] 76 vshr.u64 q5, q5, #26 77 vshr.u64 q6, q6, #3 78 vshr.u64 q7, q7, #29 79 vshr.u64 q8, q8, #6 80 vshr.u64 q10, q10, #25 81 vshr.u64 q11, q11, #3 82 vshr.u64 q12, q12, #12 83 vshr.u64 q13, q13, #38 84 vand q4, q4, q2 85 vand q6, q6, q2 86 vand q8, q8, q2 87 vand q10, q10, q2 88 vand q2, q12, q2 89 vand q5, q5, q3 90 vand q7, q7, q3 91 vand q9, q9, q3 92 vand q11, q11, q3 93 vand q3, q13, q3 94 add r2, r3, #48 95 vadd.i64 q12, q4, q1 96 vadd.i64 q13, q10, q1 97 vshr.s64 q12, q12, #26 98 vshr.s64 q13, q13, #26 99 vadd.i64 q5, q5, q12 100 vshl.i64 q12, q12, #26 101 vadd.i64 q14, q5, q0 102 vadd.i64 q11, q11, q13 103 vshl.i64 q13, q13, #26 104 vadd.i64 q15, q11, q0 105 vsub.i64 q4, q4, q12 106 vshr.s64 q12, q14, #25 107 vsub.i64 q10, q10, q13 108 vshr.s64 q13, q15, #25 109 vadd.i64 q6, q6, q12 110 vshl.i64 q12, q12, #25 111 vadd.i64 q14, q6, q1 112 vadd.i64 q2, q2, q13 113 vsub.i64 q5, q5, q12 114 vshr.s64 q12, q14, #26 115 vshl.i64 q13, q13, #25 116 vadd.i64 q14, q2, q1 117 vadd.i64 q7, q7, q12 118 vshl.i64 q12, q12, #26 119 vadd.i64 q15, q7, q0 120 vsub.i64 q11, q11, q13 121 vshr.s64 q13, q14, #26 122 vsub.i64 q6, q6, q12 123 vshr.s64 q12, q15, #25 124 vadd.i64 q3, q3, q13 125 vshl.i64 q13, q13, #26 126 vadd.i64 q14, q3, q0 127 vadd.i64 q8, q8, q12 128 vshl.i64 q12, q12, #25 129 vadd.i64 q15, q8, q1 130 add r2, r2, #8 131 vsub.i64 q2, q2, q13 132 vshr.s64 q13, q14, #25 133 vsub.i64 q7, q7, q12 134 vshr.s64 q12, q15, #26 135 vadd.i64 q14, q13, q13 136 vadd.i64 q9, q9, q12 137 vtrn.32 d12, d14 138 vshl.i64 q12, q12, #26 139 vtrn.32 d13, d15 140 vadd.i64 q0, q9, q0 141 vadd.i64 q4, q4, q14 142 vst1.8 d12, [r2, : 64]! 143 vshl.i64 q6, q13, #4 144 vsub.i64 q7, q8, q12 145 vshr.s64 q0, q0, #25 146 vadd.i64 q4, q4, q6 147 vadd.i64 q6, q10, q0 148 vshl.i64 q0, q0, #25 149 vadd.i64 q8, q6, q1 150 vadd.i64 q4, q4, q13 151 vshl.i64 q10, q13, #25 152 vadd.i64 q1, q4, q1 153 vsub.i64 q0, q9, q0 154 vshr.s64 q8, q8, #26 155 vsub.i64 q3, q3, q10 156 vtrn.32 d14, d0 157 vshr.s64 q1, q1, #26 158 vtrn.32 d15, d1 159 vadd.i64 q0, q11, q8 160 vst1.8 d14, [r2, : 64] 161 vshl.i64 q7, q8, #26 162 vadd.i64 q5, q5, q1 163 vtrn.32 d4, d6 164 vshl.i64 q1, q1, #26 165 vtrn.32 d5, d7 166 vsub.i64 q3, q6, q7 167 add r2, r2, #16 168 vsub.i64 q1, q4, q1 169 vst1.8 d4, [r2, : 64] 170 vtrn.32 d6, d0 171 vtrn.32 d7, d1 172 sub r2, r2, #8 173 vtrn.32 d2, d10 174 vtrn.32 d3, d11 175 vst1.8 d6, [r2, : 64] 176 sub r2, r2, #24 177 vst1.8 d2, [r2, : 64] 178 add r2, r3, #96 179 vmov.i32 q0, #0 180 vmov.i64 d2, #0xff 181 vmov.i64 d3, #0 182 vshr.u32 q1, q1, #7 183 vst1.8 {d2-d3}, [r2, : 128]! 184 vst1.8 {d0-d1}, [r2, : 128]! 185 vst1.8 d0, [r2, : 64] 186 add r2, r3, #144 187 vmov.i32 q0, #0 188 vst1.8 {d0-d1}, [r2, : 128]! 189 vst1.8 {d0-d1}, [r2, : 128]! 190 vst1.8 d0, [r2, : 64] 191 add r2, r3, #240 192 vmov.i32 q0, #0 193 vmov.i64 d2, #0xff 194 vmov.i64 d3, #0 195 vshr.u32 q1, q1, #7 196 vst1.8 {d2-d3}, [r2, : 128]! 197 vst1.8 {d0-d1}, [r2, : 128]! 198 vst1.8 d0, [r2, : 64] 199 add r2, r3, #48 200 add r6, r3, #192 201 vld1.8 {d0-d1}, [r2, : 128]! 202 vld1.8 {d2-d3}, [r2, : 128]! 203 vld1.8 {d4}, [r2, : 64] 204 vst1.8 {d0-d1}, [r6, : 128]! 205 vst1.8 {d2-d3}, [r6, : 128]! 206 vst1.8 d4, [r6, : 64] 207.Lmainloop: 208 mov r2, r5, LSR #3 209 and r6, r5, #7 210 ldrb r2, [r1, r2] 211 mov r2, r2, LSR r6 212 and r2, r2, #1 213 str r5, [sp, #456] 214 eor r4, r4, r2 215 str r2, [sp, #460] 216 neg r2, r4 217 add r4, r3, #96 218 add r5, r3, #192 219 add r6, r3, #144 220 vld1.8 {d8-d9}, [r4, : 128]! 221 add r7, r3, #240 222 vld1.8 {d10-d11}, [r5, : 128]! 223 veor q6, q4, q5 224 vld1.8 {d14-d15}, [r6, : 128]! 225 vdup.i32 q8, r2 226 vld1.8 {d18-d19}, [r7, : 128]! 227 veor q10, q7, q9 228 vld1.8 {d22-d23}, [r4, : 128]! 229 vand q6, q6, q8 230 vld1.8 {d24-d25}, [r5, : 128]! 231 vand q10, q10, q8 232 vld1.8 {d26-d27}, [r6, : 128]! 233 veor q4, q4, q6 234 vld1.8 {d28-d29}, [r7, : 128]! 235 veor q5, q5, q6 236 vld1.8 {d0}, [r4, : 64] 237 veor q6, q7, q10 238 vld1.8 {d2}, [r5, : 64] 239 veor q7, q9, q10 240 vld1.8 {d4}, [r6, : 64] 241 veor q9, q11, q12 242 vld1.8 {d6}, [r7, : 64] 243 veor q10, q0, q1 244 sub r2, r4, #32 245 vand q9, q9, q8 246 sub r4, r5, #32 247 vand q10, q10, q8 248 sub r5, r6, #32 249 veor q11, q11, q9 250 sub r6, r7, #32 251 veor q0, q0, q10 252 veor q9, q12, q9 253 veor q1, q1, q10 254 veor q10, q13, q14 255 veor q12, q2, q3 256 vand q10, q10, q8 257 vand q8, q12, q8 258 veor q12, q13, q10 259 veor q2, q2, q8 260 veor q10, q14, q10 261 veor q3, q3, q8 262 vadd.i32 q8, q4, q6 263 vsub.i32 q4, q4, q6 264 vst1.8 {d16-d17}, [r2, : 128]! 265 vadd.i32 q6, q11, q12 266 vst1.8 {d8-d9}, [r5, : 128]! 267 vsub.i32 q4, q11, q12 268 vst1.8 {d12-d13}, [r2, : 128]! 269 vadd.i32 q6, q0, q2 270 vst1.8 {d8-d9}, [r5, : 128]! 271 vsub.i32 q0, q0, q2 272 vst1.8 d12, [r2, : 64] 273 vadd.i32 q2, q5, q7 274 vst1.8 d0, [r5, : 64] 275 vsub.i32 q0, q5, q7 276 vst1.8 {d4-d5}, [r4, : 128]! 277 vadd.i32 q2, q9, q10 278 vst1.8 {d0-d1}, [r6, : 128]! 279 vsub.i32 q0, q9, q10 280 vst1.8 {d4-d5}, [r4, : 128]! 281 vadd.i32 q2, q1, q3 282 vst1.8 {d0-d1}, [r6, : 128]! 283 vsub.i32 q0, q1, q3 284 vst1.8 d4, [r4, : 64] 285 vst1.8 d0, [r6, : 64] 286 add r2, sp, #512 287 add r4, r3, #96 288 add r5, r3, #144 289 vld1.8 {d0-d1}, [r2, : 128] 290 vld1.8 {d2-d3}, [r4, : 128]! 291 vld1.8 {d4-d5}, [r5, : 128]! 292 vzip.i32 q1, q2 293 vld1.8 {d6-d7}, [r4, : 128]! 294 vld1.8 {d8-d9}, [r5, : 128]! 295 vshl.i32 q5, q1, #1 296 vzip.i32 q3, q4 297 vshl.i32 q6, q2, #1 298 vld1.8 {d14}, [r4, : 64] 299 vshl.i32 q8, q3, #1 300 vld1.8 {d15}, [r5, : 64] 301 vshl.i32 q9, q4, #1 302 vmul.i32 d21, d7, d1 303 vtrn.32 d14, d15 304 vmul.i32 q11, q4, q0 305 vmul.i32 q0, q7, q0 306 vmull.s32 q12, d2, d2 307 vmlal.s32 q12, d11, d1 308 vmlal.s32 q12, d12, d0 309 vmlal.s32 q12, d13, d23 310 vmlal.s32 q12, d16, d22 311 vmlal.s32 q12, d7, d21 312 vmull.s32 q10, d2, d11 313 vmlal.s32 q10, d4, d1 314 vmlal.s32 q10, d13, d0 315 vmlal.s32 q10, d6, d23 316 vmlal.s32 q10, d17, d22 317 vmull.s32 q13, d10, d4 318 vmlal.s32 q13, d11, d3 319 vmlal.s32 q13, d13, d1 320 vmlal.s32 q13, d16, d0 321 vmlal.s32 q13, d17, d23 322 vmlal.s32 q13, d8, d22 323 vmull.s32 q1, d10, d5 324 vmlal.s32 q1, d11, d4 325 vmlal.s32 q1, d6, d1 326 vmlal.s32 q1, d17, d0 327 vmlal.s32 q1, d8, d23 328 vmull.s32 q14, d10, d6 329 vmlal.s32 q14, d11, d13 330 vmlal.s32 q14, d4, d4 331 vmlal.s32 q14, d17, d1 332 vmlal.s32 q14, d18, d0 333 vmlal.s32 q14, d9, d23 334 vmull.s32 q11, d10, d7 335 vmlal.s32 q11, d11, d6 336 vmlal.s32 q11, d12, d5 337 vmlal.s32 q11, d8, d1 338 vmlal.s32 q11, d19, d0 339 vmull.s32 q15, d10, d8 340 vmlal.s32 q15, d11, d17 341 vmlal.s32 q15, d12, d6 342 vmlal.s32 q15, d13, d5 343 vmlal.s32 q15, d19, d1 344 vmlal.s32 q15, d14, d0 345 vmull.s32 q2, d10, d9 346 vmlal.s32 q2, d11, d8 347 vmlal.s32 q2, d12, d7 348 vmlal.s32 q2, d13, d6 349 vmlal.s32 q2, d14, d1 350 vmull.s32 q0, d15, d1 351 vmlal.s32 q0, d10, d14 352 vmlal.s32 q0, d11, d19 353 vmlal.s32 q0, d12, d8 354 vmlal.s32 q0, d13, d17 355 vmlal.s32 q0, d6, d6 356 add r2, sp, #480 357 vld1.8 {d18-d19}, [r2, : 128]! 358 vmull.s32 q3, d16, d7 359 vmlal.s32 q3, d10, d15 360 vmlal.s32 q3, d11, d14 361 vmlal.s32 q3, d12, d9 362 vmlal.s32 q3, d13, d8 363 vld1.8 {d8-d9}, [r2, : 128] 364 vadd.i64 q5, q12, q9 365 vadd.i64 q6, q15, q9 366 vshr.s64 q5, q5, #26 367 vshr.s64 q6, q6, #26 368 vadd.i64 q7, q10, q5 369 vshl.i64 q5, q5, #26 370 vadd.i64 q8, q7, q4 371 vadd.i64 q2, q2, q6 372 vshl.i64 q6, q6, #26 373 vadd.i64 q10, q2, q4 374 vsub.i64 q5, q12, q5 375 vshr.s64 q8, q8, #25 376 vsub.i64 q6, q15, q6 377 vshr.s64 q10, q10, #25 378 vadd.i64 q12, q13, q8 379 vshl.i64 q8, q8, #25 380 vadd.i64 q13, q12, q9 381 vadd.i64 q0, q0, q10 382 vsub.i64 q7, q7, q8 383 vshr.s64 q8, q13, #26 384 vshl.i64 q10, q10, #25 385 vadd.i64 q13, q0, q9 386 vadd.i64 q1, q1, q8 387 vshl.i64 q8, q8, #26 388 vadd.i64 q15, q1, q4 389 vsub.i64 q2, q2, q10 390 vshr.s64 q10, q13, #26 391 vsub.i64 q8, q12, q8 392 vshr.s64 q12, q15, #25 393 vadd.i64 q3, q3, q10 394 vshl.i64 q10, q10, #26 395 vadd.i64 q13, q3, q4 396 vadd.i64 q14, q14, q12 397 add r2, r3, #288 398 vshl.i64 q12, q12, #25 399 add r4, r3, #336 400 vadd.i64 q15, q14, q9 401 add r2, r2, #8 402 vsub.i64 q0, q0, q10 403 add r4, r4, #8 404 vshr.s64 q10, q13, #25 405 vsub.i64 q1, q1, q12 406 vshr.s64 q12, q15, #26 407 vadd.i64 q13, q10, q10 408 vadd.i64 q11, q11, q12 409 vtrn.32 d16, d2 410 vshl.i64 q12, q12, #26 411 vtrn.32 d17, d3 412 vadd.i64 q1, q11, q4 413 vadd.i64 q4, q5, q13 414 vst1.8 d16, [r2, : 64]! 415 vshl.i64 q5, q10, #4 416 vst1.8 d17, [r4, : 64]! 417 vsub.i64 q8, q14, q12 418 vshr.s64 q1, q1, #25 419 vadd.i64 q4, q4, q5 420 vadd.i64 q5, q6, q1 421 vshl.i64 q1, q1, #25 422 vadd.i64 q6, q5, q9 423 vadd.i64 q4, q4, q10 424 vshl.i64 q10, q10, #25 425 vadd.i64 q9, q4, q9 426 vsub.i64 q1, q11, q1 427 vshr.s64 q6, q6, #26 428 vsub.i64 q3, q3, q10 429 vtrn.32 d16, d2 430 vshr.s64 q9, q9, #26 431 vtrn.32 d17, d3 432 vadd.i64 q1, q2, q6 433 vst1.8 d16, [r2, : 64] 434 vshl.i64 q2, q6, #26 435 vst1.8 d17, [r4, : 64] 436 vadd.i64 q6, q7, q9 437 vtrn.32 d0, d6 438 vshl.i64 q7, q9, #26 439 vtrn.32 d1, d7 440 vsub.i64 q2, q5, q2 441 add r2, r2, #16 442 vsub.i64 q3, q4, q7 443 vst1.8 d0, [r2, : 64] 444 add r4, r4, #16 445 vst1.8 d1, [r4, : 64] 446 vtrn.32 d4, d2 447 vtrn.32 d5, d3 448 sub r2, r2, #8 449 sub r4, r4, #8 450 vtrn.32 d6, d12 451 vtrn.32 d7, d13 452 vst1.8 d4, [r2, : 64] 453 vst1.8 d5, [r4, : 64] 454 sub r2, r2, #24 455 sub r4, r4, #24 456 vst1.8 d6, [r2, : 64] 457 vst1.8 d7, [r4, : 64] 458 add r2, r3, #240 459 add r4, r3, #96 460 vld1.8 {d0-d1}, [r4, : 128]! 461 vld1.8 {d2-d3}, [r4, : 128]! 462 vld1.8 {d4}, [r4, : 64] 463 add r4, r3, #144 464 vld1.8 {d6-d7}, [r4, : 128]! 465 vtrn.32 q0, q3 466 vld1.8 {d8-d9}, [r4, : 128]! 467 vshl.i32 q5, q0, #4 468 vtrn.32 q1, q4 469 vshl.i32 q6, q3, #4 470 vadd.i32 q5, q5, q0 471 vadd.i32 q6, q6, q3 472 vshl.i32 q7, q1, #4 473 vld1.8 {d5}, [r4, : 64] 474 vshl.i32 q8, q4, #4 475 vtrn.32 d4, d5 476 vadd.i32 q7, q7, q1 477 vadd.i32 q8, q8, q4 478 vld1.8 {d18-d19}, [r2, : 128]! 479 vshl.i32 q10, q2, #4 480 vld1.8 {d22-d23}, [r2, : 128]! 481 vadd.i32 q10, q10, q2 482 vld1.8 {d24}, [r2, : 64] 483 vadd.i32 q5, q5, q0 484 add r2, r3, #192 485 vld1.8 {d26-d27}, [r2, : 128]! 486 vadd.i32 q6, q6, q3 487 vld1.8 {d28-d29}, [r2, : 128]! 488 vadd.i32 q8, q8, q4 489 vld1.8 {d25}, [r2, : 64] 490 vadd.i32 q10, q10, q2 491 vtrn.32 q9, q13 492 vadd.i32 q7, q7, q1 493 vadd.i32 q5, q5, q0 494 vtrn.32 q11, q14 495 vadd.i32 q6, q6, q3 496 add r2, sp, #528 497 vadd.i32 q10, q10, q2 498 vtrn.32 d24, d25 499 vst1.8 {d12-d13}, [r2, : 128]! 500 vshl.i32 q6, q13, #1 501 vst1.8 {d20-d21}, [r2, : 128]! 502 vshl.i32 q10, q14, #1 503 vst1.8 {d12-d13}, [r2, : 128]! 504 vshl.i32 q15, q12, #1 505 vadd.i32 q8, q8, q4 506 vext.32 d10, d31, d30, #0 507 vadd.i32 q7, q7, q1 508 vst1.8 {d16-d17}, [r2, : 128]! 509 vmull.s32 q8, d18, d5 510 vmlal.s32 q8, d26, d4 511 vmlal.s32 q8, d19, d9 512 vmlal.s32 q8, d27, d3 513 vmlal.s32 q8, d22, d8 514 vmlal.s32 q8, d28, d2 515 vmlal.s32 q8, d23, d7 516 vmlal.s32 q8, d29, d1 517 vmlal.s32 q8, d24, d6 518 vmlal.s32 q8, d25, d0 519 vst1.8 {d14-d15}, [r2, : 128]! 520 vmull.s32 q2, d18, d4 521 vmlal.s32 q2, d12, d9 522 vmlal.s32 q2, d13, d8 523 vmlal.s32 q2, d19, d3 524 vmlal.s32 q2, d22, d2 525 vmlal.s32 q2, d23, d1 526 vmlal.s32 q2, d24, d0 527 vst1.8 {d20-d21}, [r2, : 128]! 528 vmull.s32 q7, d18, d9 529 vmlal.s32 q7, d26, d3 530 vmlal.s32 q7, d19, d8 531 vmlal.s32 q7, d27, d2 532 vmlal.s32 q7, d22, d7 533 vmlal.s32 q7, d28, d1 534 vmlal.s32 q7, d23, d6 535 vmlal.s32 q7, d29, d0 536 vst1.8 {d10-d11}, [r2, : 128]! 537 vmull.s32 q5, d18, d3 538 vmlal.s32 q5, d19, d2 539 vmlal.s32 q5, d22, d1 540 vmlal.s32 q5, d23, d0 541 vmlal.s32 q5, d12, d8 542 vst1.8 {d16-d17}, [r2, : 128] 543 vmull.s32 q4, d18, d8 544 vmlal.s32 q4, d26, d2 545 vmlal.s32 q4, d19, d7 546 vmlal.s32 q4, d27, d1 547 vmlal.s32 q4, d22, d6 548 vmlal.s32 q4, d28, d0 549 vmull.s32 q8, d18, d7 550 vmlal.s32 q8, d26, d1 551 vmlal.s32 q8, d19, d6 552 vmlal.s32 q8, d27, d0 553 add r2, sp, #544 554 vld1.8 {d20-d21}, [r2, : 128] 555 vmlal.s32 q7, d24, d21 556 vmlal.s32 q7, d25, d20 557 vmlal.s32 q4, d23, d21 558 vmlal.s32 q4, d29, d20 559 vmlal.s32 q8, d22, d21 560 vmlal.s32 q8, d28, d20 561 vmlal.s32 q5, d24, d20 562 vst1.8 {d14-d15}, [r2, : 128] 563 vmull.s32 q7, d18, d6 564 vmlal.s32 q7, d26, d0 565 add r2, sp, #624 566 vld1.8 {d30-d31}, [r2, : 128] 567 vmlal.s32 q2, d30, d21 568 vmlal.s32 q7, d19, d21 569 vmlal.s32 q7, d27, d20 570 add r2, sp, #592 571 vld1.8 {d26-d27}, [r2, : 128] 572 vmlal.s32 q4, d25, d27 573 vmlal.s32 q8, d29, d27 574 vmlal.s32 q8, d25, d26 575 vmlal.s32 q7, d28, d27 576 vmlal.s32 q7, d29, d26 577 add r2, sp, #576 578 vld1.8 {d28-d29}, [r2, : 128] 579 vmlal.s32 q4, d24, d29 580 vmlal.s32 q8, d23, d29 581 vmlal.s32 q8, d24, d28 582 vmlal.s32 q7, d22, d29 583 vmlal.s32 q7, d23, d28 584 vst1.8 {d8-d9}, [r2, : 128] 585 add r2, sp, #528 586 vld1.8 {d8-d9}, [r2, : 128] 587 vmlal.s32 q7, d24, d9 588 vmlal.s32 q7, d25, d31 589 vmull.s32 q1, d18, d2 590 vmlal.s32 q1, d19, d1 591 vmlal.s32 q1, d22, d0 592 vmlal.s32 q1, d24, d27 593 vmlal.s32 q1, d23, d20 594 vmlal.s32 q1, d12, d7 595 vmlal.s32 q1, d13, d6 596 vmull.s32 q6, d18, d1 597 vmlal.s32 q6, d19, d0 598 vmlal.s32 q6, d23, d27 599 vmlal.s32 q6, d22, d20 600 vmlal.s32 q6, d24, d26 601 vmull.s32 q0, d18, d0 602 vmlal.s32 q0, d22, d27 603 vmlal.s32 q0, d23, d26 604 vmlal.s32 q0, d24, d31 605 vmlal.s32 q0, d19, d20 606 add r2, sp, #608 607 vld1.8 {d18-d19}, [r2, : 128] 608 vmlal.s32 q2, d18, d7 609 vmlal.s32 q5, d18, d6 610 vmlal.s32 q1, d18, d21 611 vmlal.s32 q0, d18, d28 612 vmlal.s32 q6, d18, d29 613 vmlal.s32 q2, d19, d6 614 vmlal.s32 q5, d19, d21 615 vmlal.s32 q1, d19, d29 616 vmlal.s32 q0, d19, d9 617 vmlal.s32 q6, d19, d28 618 add r2, sp, #560 619 vld1.8 {d18-d19}, [r2, : 128] 620 add r2, sp, #480 621 vld1.8 {d22-d23}, [r2, : 128] 622 vmlal.s32 q5, d19, d7 623 vmlal.s32 q0, d18, d21 624 vmlal.s32 q0, d19, d29 625 vmlal.s32 q6, d18, d6 626 add r2, sp, #496 627 vld1.8 {d6-d7}, [r2, : 128] 628 vmlal.s32 q6, d19, d21 629 add r2, sp, #544 630 vld1.8 {d18-d19}, [r2, : 128] 631 vmlal.s32 q0, d30, d8 632 add r2, sp, #640 633 vld1.8 {d20-d21}, [r2, : 128] 634 vmlal.s32 q5, d30, d29 635 add r2, sp, #576 636 vld1.8 {d24-d25}, [r2, : 128] 637 vmlal.s32 q1, d30, d28 638 vadd.i64 q13, q0, q11 639 vadd.i64 q14, q5, q11 640 vmlal.s32 q6, d30, d9 641 vshr.s64 q4, q13, #26 642 vshr.s64 q13, q14, #26 643 vadd.i64 q7, q7, q4 644 vshl.i64 q4, q4, #26 645 vadd.i64 q14, q7, q3 646 vadd.i64 q9, q9, q13 647 vshl.i64 q13, q13, #26 648 vadd.i64 q15, q9, q3 649 vsub.i64 q0, q0, q4 650 vshr.s64 q4, q14, #25 651 vsub.i64 q5, q5, q13 652 vshr.s64 q13, q15, #25 653 vadd.i64 q6, q6, q4 654 vshl.i64 q4, q4, #25 655 vadd.i64 q14, q6, q11 656 vadd.i64 q2, q2, q13 657 vsub.i64 q4, q7, q4 658 vshr.s64 q7, q14, #26 659 vshl.i64 q13, q13, #25 660 vadd.i64 q14, q2, q11 661 vadd.i64 q8, q8, q7 662 vshl.i64 q7, q7, #26 663 vadd.i64 q15, q8, q3 664 vsub.i64 q9, q9, q13 665 vshr.s64 q13, q14, #26 666 vsub.i64 q6, q6, q7 667 vshr.s64 q7, q15, #25 668 vadd.i64 q10, q10, q13 669 vshl.i64 q13, q13, #26 670 vadd.i64 q14, q10, q3 671 vadd.i64 q1, q1, q7 672 add r2, r3, #144 673 vshl.i64 q7, q7, #25 674 add r4, r3, #96 675 vadd.i64 q15, q1, q11 676 add r2, r2, #8 677 vsub.i64 q2, q2, q13 678 add r4, r4, #8 679 vshr.s64 q13, q14, #25 680 vsub.i64 q7, q8, q7 681 vshr.s64 q8, q15, #26 682 vadd.i64 q14, q13, q13 683 vadd.i64 q12, q12, q8 684 vtrn.32 d12, d14 685 vshl.i64 q8, q8, #26 686 vtrn.32 d13, d15 687 vadd.i64 q3, q12, q3 688 vadd.i64 q0, q0, q14 689 vst1.8 d12, [r2, : 64]! 690 vshl.i64 q7, q13, #4 691 vst1.8 d13, [r4, : 64]! 692 vsub.i64 q1, q1, q8 693 vshr.s64 q3, q3, #25 694 vadd.i64 q0, q0, q7 695 vadd.i64 q5, q5, q3 696 vshl.i64 q3, q3, #25 697 vadd.i64 q6, q5, q11 698 vadd.i64 q0, q0, q13 699 vshl.i64 q7, q13, #25 700 vadd.i64 q8, q0, q11 701 vsub.i64 q3, q12, q3 702 vshr.s64 q6, q6, #26 703 vsub.i64 q7, q10, q7 704 vtrn.32 d2, d6 705 vshr.s64 q8, q8, #26 706 vtrn.32 d3, d7 707 vadd.i64 q3, q9, q6 708 vst1.8 d2, [r2, : 64] 709 vshl.i64 q6, q6, #26 710 vst1.8 d3, [r4, : 64] 711 vadd.i64 q1, q4, q8 712 vtrn.32 d4, d14 713 vshl.i64 q4, q8, #26 714 vtrn.32 d5, d15 715 vsub.i64 q5, q5, q6 716 add r2, r2, #16 717 vsub.i64 q0, q0, q4 718 vst1.8 d4, [r2, : 64] 719 add r4, r4, #16 720 vst1.8 d5, [r4, : 64] 721 vtrn.32 d10, d6 722 vtrn.32 d11, d7 723 sub r2, r2, #8 724 sub r4, r4, #8 725 vtrn.32 d0, d2 726 vtrn.32 d1, d3 727 vst1.8 d10, [r2, : 64] 728 vst1.8 d11, [r4, : 64] 729 sub r2, r2, #24 730 sub r4, r4, #24 731 vst1.8 d0, [r2, : 64] 732 vst1.8 d1, [r4, : 64] 733 add r2, r3, #288 734 add r4, r3, #336 735 vld1.8 {d0-d1}, [r2, : 128]! 736 vld1.8 {d2-d3}, [r4, : 128]! 737 vsub.i32 q0, q0, q1 738 vld1.8 {d2-d3}, [r2, : 128]! 739 vld1.8 {d4-d5}, [r4, : 128]! 740 vsub.i32 q1, q1, q2 741 add r5, r3, #240 742 vld1.8 {d4}, [r2, : 64] 743 vld1.8 {d6}, [r4, : 64] 744 vsub.i32 q2, q2, q3 745 vst1.8 {d0-d1}, [r5, : 128]! 746 vst1.8 {d2-d3}, [r5, : 128]! 747 vst1.8 d4, [r5, : 64] 748 add r2, r3, #144 749 add r4, r3, #96 750 add r5, r3, #144 751 add r6, r3, #192 752 vld1.8 {d0-d1}, [r2, : 128]! 753 vld1.8 {d2-d3}, [r4, : 128]! 754 vsub.i32 q2, q0, q1 755 vadd.i32 q0, q0, q1 756 vld1.8 {d2-d3}, [r2, : 128]! 757 vld1.8 {d6-d7}, [r4, : 128]! 758 vsub.i32 q4, q1, q3 759 vadd.i32 q1, q1, q3 760 vld1.8 {d6}, [r2, : 64] 761 vld1.8 {d10}, [r4, : 64] 762 vsub.i32 q6, q3, q5 763 vadd.i32 q3, q3, q5 764 vst1.8 {d4-d5}, [r5, : 128]! 765 vst1.8 {d0-d1}, [r6, : 128]! 766 vst1.8 {d8-d9}, [r5, : 128]! 767 vst1.8 {d2-d3}, [r6, : 128]! 768 vst1.8 d12, [r5, : 64] 769 vst1.8 d6, [r6, : 64] 770 add r2, r3, #0 771 add r4, r3, #240 772 vld1.8 {d0-d1}, [r4, : 128]! 773 vld1.8 {d2-d3}, [r4, : 128]! 774 vld1.8 {d4}, [r4, : 64] 775 add r4, r3, #336 776 vld1.8 {d6-d7}, [r4, : 128]! 777 vtrn.32 q0, q3 778 vld1.8 {d8-d9}, [r4, : 128]! 779 vshl.i32 q5, q0, #4 780 vtrn.32 q1, q4 781 vshl.i32 q6, q3, #4 782 vadd.i32 q5, q5, q0 783 vadd.i32 q6, q6, q3 784 vshl.i32 q7, q1, #4 785 vld1.8 {d5}, [r4, : 64] 786 vshl.i32 q8, q4, #4 787 vtrn.32 d4, d5 788 vadd.i32 q7, q7, q1 789 vadd.i32 q8, q8, q4 790 vld1.8 {d18-d19}, [r2, : 128]! 791 vshl.i32 q10, q2, #4 792 vld1.8 {d22-d23}, [r2, : 128]! 793 vadd.i32 q10, q10, q2 794 vld1.8 {d24}, [r2, : 64] 795 vadd.i32 q5, q5, q0 796 add r2, r3, #288 797 vld1.8 {d26-d27}, [r2, : 128]! 798 vadd.i32 q6, q6, q3 799 vld1.8 {d28-d29}, [r2, : 128]! 800 vadd.i32 q8, q8, q4 801 vld1.8 {d25}, [r2, : 64] 802 vadd.i32 q10, q10, q2 803 vtrn.32 q9, q13 804 vadd.i32 q7, q7, q1 805 vadd.i32 q5, q5, q0 806 vtrn.32 q11, q14 807 vadd.i32 q6, q6, q3 808 add r2, sp, #528 809 vadd.i32 q10, q10, q2 810 vtrn.32 d24, d25 811 vst1.8 {d12-d13}, [r2, : 128]! 812 vshl.i32 q6, q13, #1 813 vst1.8 {d20-d21}, [r2, : 128]! 814 vshl.i32 q10, q14, #1 815 vst1.8 {d12-d13}, [r2, : 128]! 816 vshl.i32 q15, q12, #1 817 vadd.i32 q8, q8, q4 818 vext.32 d10, d31, d30, #0 819 vadd.i32 q7, q7, q1 820 vst1.8 {d16-d17}, [r2, : 128]! 821 vmull.s32 q8, d18, d5 822 vmlal.s32 q8, d26, d4 823 vmlal.s32 q8, d19, d9 824 vmlal.s32 q8, d27, d3 825 vmlal.s32 q8, d22, d8 826 vmlal.s32 q8, d28, d2 827 vmlal.s32 q8, d23, d7 828 vmlal.s32 q8, d29, d1 829 vmlal.s32 q8, d24, d6 830 vmlal.s32 q8, d25, d0 831 vst1.8 {d14-d15}, [r2, : 128]! 832 vmull.s32 q2, d18, d4 833 vmlal.s32 q2, d12, d9 834 vmlal.s32 q2, d13, d8 835 vmlal.s32 q2, d19, d3 836 vmlal.s32 q2, d22, d2 837 vmlal.s32 q2, d23, d1 838 vmlal.s32 q2, d24, d0 839 vst1.8 {d20-d21}, [r2, : 128]! 840 vmull.s32 q7, d18, d9 841 vmlal.s32 q7, d26, d3 842 vmlal.s32 q7, d19, d8 843 vmlal.s32 q7, d27, d2 844 vmlal.s32 q7, d22, d7 845 vmlal.s32 q7, d28, d1 846 vmlal.s32 q7, d23, d6 847 vmlal.s32 q7, d29, d0 848 vst1.8 {d10-d11}, [r2, : 128]! 849 vmull.s32 q5, d18, d3 850 vmlal.s32 q5, d19, d2 851 vmlal.s32 q5, d22, d1 852 vmlal.s32 q5, d23, d0 853 vmlal.s32 q5, d12, d8 854 vst1.8 {d16-d17}, [r2, : 128]! 855 vmull.s32 q4, d18, d8 856 vmlal.s32 q4, d26, d2 857 vmlal.s32 q4, d19, d7 858 vmlal.s32 q4, d27, d1 859 vmlal.s32 q4, d22, d6 860 vmlal.s32 q4, d28, d0 861 vmull.s32 q8, d18, d7 862 vmlal.s32 q8, d26, d1 863 vmlal.s32 q8, d19, d6 864 vmlal.s32 q8, d27, d0 865 add r2, sp, #544 866 vld1.8 {d20-d21}, [r2, : 128] 867 vmlal.s32 q7, d24, d21 868 vmlal.s32 q7, d25, d20 869 vmlal.s32 q4, d23, d21 870 vmlal.s32 q4, d29, d20 871 vmlal.s32 q8, d22, d21 872 vmlal.s32 q8, d28, d20 873 vmlal.s32 q5, d24, d20 874 vst1.8 {d14-d15}, [r2, : 128] 875 vmull.s32 q7, d18, d6 876 vmlal.s32 q7, d26, d0 877 add r2, sp, #624 878 vld1.8 {d30-d31}, [r2, : 128] 879 vmlal.s32 q2, d30, d21 880 vmlal.s32 q7, d19, d21 881 vmlal.s32 q7, d27, d20 882 add r2, sp, #592 883 vld1.8 {d26-d27}, [r2, : 128] 884 vmlal.s32 q4, d25, d27 885 vmlal.s32 q8, d29, d27 886 vmlal.s32 q8, d25, d26 887 vmlal.s32 q7, d28, d27 888 vmlal.s32 q7, d29, d26 889 add r2, sp, #576 890 vld1.8 {d28-d29}, [r2, : 128] 891 vmlal.s32 q4, d24, d29 892 vmlal.s32 q8, d23, d29 893 vmlal.s32 q8, d24, d28 894 vmlal.s32 q7, d22, d29 895 vmlal.s32 q7, d23, d28 896 vst1.8 {d8-d9}, [r2, : 128] 897 add r2, sp, #528 898 vld1.8 {d8-d9}, [r2, : 128] 899 vmlal.s32 q7, d24, d9 900 vmlal.s32 q7, d25, d31 901 vmull.s32 q1, d18, d2 902 vmlal.s32 q1, d19, d1 903 vmlal.s32 q1, d22, d0 904 vmlal.s32 q1, d24, d27 905 vmlal.s32 q1, d23, d20 906 vmlal.s32 q1, d12, d7 907 vmlal.s32 q1, d13, d6 908 vmull.s32 q6, d18, d1 909 vmlal.s32 q6, d19, d0 910 vmlal.s32 q6, d23, d27 911 vmlal.s32 q6, d22, d20 912 vmlal.s32 q6, d24, d26 913 vmull.s32 q0, d18, d0 914 vmlal.s32 q0, d22, d27 915 vmlal.s32 q0, d23, d26 916 vmlal.s32 q0, d24, d31 917 vmlal.s32 q0, d19, d20 918 add r2, sp, #608 919 vld1.8 {d18-d19}, [r2, : 128] 920 vmlal.s32 q2, d18, d7 921 vmlal.s32 q5, d18, d6 922 vmlal.s32 q1, d18, d21 923 vmlal.s32 q0, d18, d28 924 vmlal.s32 q6, d18, d29 925 vmlal.s32 q2, d19, d6 926 vmlal.s32 q5, d19, d21 927 vmlal.s32 q1, d19, d29 928 vmlal.s32 q0, d19, d9 929 vmlal.s32 q6, d19, d28 930 add r2, sp, #560 931 vld1.8 {d18-d19}, [r2, : 128] 932 add r2, sp, #480 933 vld1.8 {d22-d23}, [r2, : 128] 934 vmlal.s32 q5, d19, d7 935 vmlal.s32 q0, d18, d21 936 vmlal.s32 q0, d19, d29 937 vmlal.s32 q6, d18, d6 938 add r2, sp, #496 939 vld1.8 {d6-d7}, [r2, : 128] 940 vmlal.s32 q6, d19, d21 941 add r2, sp, #544 942 vld1.8 {d18-d19}, [r2, : 128] 943 vmlal.s32 q0, d30, d8 944 add r2, sp, #640 945 vld1.8 {d20-d21}, [r2, : 128] 946 vmlal.s32 q5, d30, d29 947 add r2, sp, #576 948 vld1.8 {d24-d25}, [r2, : 128] 949 vmlal.s32 q1, d30, d28 950 vadd.i64 q13, q0, q11 951 vadd.i64 q14, q5, q11 952 vmlal.s32 q6, d30, d9 953 vshr.s64 q4, q13, #26 954 vshr.s64 q13, q14, #26 955 vadd.i64 q7, q7, q4 956 vshl.i64 q4, q4, #26 957 vadd.i64 q14, q7, q3 958 vadd.i64 q9, q9, q13 959 vshl.i64 q13, q13, #26 960 vadd.i64 q15, q9, q3 961 vsub.i64 q0, q0, q4 962 vshr.s64 q4, q14, #25 963 vsub.i64 q5, q5, q13 964 vshr.s64 q13, q15, #25 965 vadd.i64 q6, q6, q4 966 vshl.i64 q4, q4, #25 967 vadd.i64 q14, q6, q11 968 vadd.i64 q2, q2, q13 969 vsub.i64 q4, q7, q4 970 vshr.s64 q7, q14, #26 971 vshl.i64 q13, q13, #25 972 vadd.i64 q14, q2, q11 973 vadd.i64 q8, q8, q7 974 vshl.i64 q7, q7, #26 975 vadd.i64 q15, q8, q3 976 vsub.i64 q9, q9, q13 977 vshr.s64 q13, q14, #26 978 vsub.i64 q6, q6, q7 979 vshr.s64 q7, q15, #25 980 vadd.i64 q10, q10, q13 981 vshl.i64 q13, q13, #26 982 vadd.i64 q14, q10, q3 983 vadd.i64 q1, q1, q7 984 add r2, r3, #288 985 vshl.i64 q7, q7, #25 986 add r4, r3, #96 987 vadd.i64 q15, q1, q11 988 add r2, r2, #8 989 vsub.i64 q2, q2, q13 990 add r4, r4, #8 991 vshr.s64 q13, q14, #25 992 vsub.i64 q7, q8, q7 993 vshr.s64 q8, q15, #26 994 vadd.i64 q14, q13, q13 995 vadd.i64 q12, q12, q8 996 vtrn.32 d12, d14 997 vshl.i64 q8, q8, #26 998 vtrn.32 d13, d15 999 vadd.i64 q3, q12, q3 1000 vadd.i64 q0, q0, q14 1001 vst1.8 d12, [r2, : 64]! 1002 vshl.i64 q7, q13, #4 1003 vst1.8 d13, [r4, : 64]! 1004 vsub.i64 q1, q1, q8 1005 vshr.s64 q3, q3, #25 1006 vadd.i64 q0, q0, q7 1007 vadd.i64 q5, q5, q3 1008 vshl.i64 q3, q3, #25 1009 vadd.i64 q6, q5, q11 1010 vadd.i64 q0, q0, q13 1011 vshl.i64 q7, q13, #25 1012 vadd.i64 q8, q0, q11 1013 vsub.i64 q3, q12, q3 1014 vshr.s64 q6, q6, #26 1015 vsub.i64 q7, q10, q7 1016 vtrn.32 d2, d6 1017 vshr.s64 q8, q8, #26 1018 vtrn.32 d3, d7 1019 vadd.i64 q3, q9, q6 1020 vst1.8 d2, [r2, : 64] 1021 vshl.i64 q6, q6, #26 1022 vst1.8 d3, [r4, : 64] 1023 vadd.i64 q1, q4, q8 1024 vtrn.32 d4, d14 1025 vshl.i64 q4, q8, #26 1026 vtrn.32 d5, d15 1027 vsub.i64 q5, q5, q6 1028 add r2, r2, #16 1029 vsub.i64 q0, q0, q4 1030 vst1.8 d4, [r2, : 64] 1031 add r4, r4, #16 1032 vst1.8 d5, [r4, : 64] 1033 vtrn.32 d10, d6 1034 vtrn.32 d11, d7 1035 sub r2, r2, #8 1036 sub r4, r4, #8 1037 vtrn.32 d0, d2 1038 vtrn.32 d1, d3 1039 vst1.8 d10, [r2, : 64] 1040 vst1.8 d11, [r4, : 64] 1041 sub r2, r2, #24 1042 sub r4, r4, #24 1043 vst1.8 d0, [r2, : 64] 1044 vst1.8 d1, [r4, : 64] 1045 add r2, sp, #512 1046 add r4, r3, #144 1047 add r5, r3, #192 1048 vld1.8 {d0-d1}, [r2, : 128] 1049 vld1.8 {d2-d3}, [r4, : 128]! 1050 vld1.8 {d4-d5}, [r5, : 128]! 1051 vzip.i32 q1, q2 1052 vld1.8 {d6-d7}, [r4, : 128]! 1053 vld1.8 {d8-d9}, [r5, : 128]! 1054 vshl.i32 q5, q1, #1 1055 vzip.i32 q3, q4 1056 vshl.i32 q6, q2, #1 1057 vld1.8 {d14}, [r4, : 64] 1058 vshl.i32 q8, q3, #1 1059 vld1.8 {d15}, [r5, : 64] 1060 vshl.i32 q9, q4, #1 1061 vmul.i32 d21, d7, d1 1062 vtrn.32 d14, d15 1063 vmul.i32 q11, q4, q0 1064 vmul.i32 q0, q7, q0 1065 vmull.s32 q12, d2, d2 1066 vmlal.s32 q12, d11, d1 1067 vmlal.s32 q12, d12, d0 1068 vmlal.s32 q12, d13, d23 1069 vmlal.s32 q12, d16, d22 1070 vmlal.s32 q12, d7, d21 1071 vmull.s32 q10, d2, d11 1072 vmlal.s32 q10, d4, d1 1073 vmlal.s32 q10, d13, d0 1074 vmlal.s32 q10, d6, d23 1075 vmlal.s32 q10, d17, d22 1076 vmull.s32 q13, d10, d4 1077 vmlal.s32 q13, d11, d3 1078 vmlal.s32 q13, d13, d1 1079 vmlal.s32 q13, d16, d0 1080 vmlal.s32 q13, d17, d23 1081 vmlal.s32 q13, d8, d22 1082 vmull.s32 q1, d10, d5 1083 vmlal.s32 q1, d11, d4 1084 vmlal.s32 q1, d6, d1 1085 vmlal.s32 q1, d17, d0 1086 vmlal.s32 q1, d8, d23 1087 vmull.s32 q14, d10, d6 1088 vmlal.s32 q14, d11, d13 1089 vmlal.s32 q14, d4, d4 1090 vmlal.s32 q14, d17, d1 1091 vmlal.s32 q14, d18, d0 1092 vmlal.s32 q14, d9, d23 1093 vmull.s32 q11, d10, d7 1094 vmlal.s32 q11, d11, d6 1095 vmlal.s32 q11, d12, d5 1096 vmlal.s32 q11, d8, d1 1097 vmlal.s32 q11, d19, d0 1098 vmull.s32 q15, d10, d8 1099 vmlal.s32 q15, d11, d17 1100 vmlal.s32 q15, d12, d6 1101 vmlal.s32 q15, d13, d5 1102 vmlal.s32 q15, d19, d1 1103 vmlal.s32 q15, d14, d0 1104 vmull.s32 q2, d10, d9 1105 vmlal.s32 q2, d11, d8 1106 vmlal.s32 q2, d12, d7 1107 vmlal.s32 q2, d13, d6 1108 vmlal.s32 q2, d14, d1 1109 vmull.s32 q0, d15, d1 1110 vmlal.s32 q0, d10, d14 1111 vmlal.s32 q0, d11, d19 1112 vmlal.s32 q0, d12, d8 1113 vmlal.s32 q0, d13, d17 1114 vmlal.s32 q0, d6, d6 1115 add r2, sp, #480 1116 vld1.8 {d18-d19}, [r2, : 128]! 1117 vmull.s32 q3, d16, d7 1118 vmlal.s32 q3, d10, d15 1119 vmlal.s32 q3, d11, d14 1120 vmlal.s32 q3, d12, d9 1121 vmlal.s32 q3, d13, d8 1122 vld1.8 {d8-d9}, [r2, : 128] 1123 vadd.i64 q5, q12, q9 1124 vadd.i64 q6, q15, q9 1125 vshr.s64 q5, q5, #26 1126 vshr.s64 q6, q6, #26 1127 vadd.i64 q7, q10, q5 1128 vshl.i64 q5, q5, #26 1129 vadd.i64 q8, q7, q4 1130 vadd.i64 q2, q2, q6 1131 vshl.i64 q6, q6, #26 1132 vadd.i64 q10, q2, q4 1133 vsub.i64 q5, q12, q5 1134 vshr.s64 q8, q8, #25 1135 vsub.i64 q6, q15, q6 1136 vshr.s64 q10, q10, #25 1137 vadd.i64 q12, q13, q8 1138 vshl.i64 q8, q8, #25 1139 vadd.i64 q13, q12, q9 1140 vadd.i64 q0, q0, q10 1141 vsub.i64 q7, q7, q8 1142 vshr.s64 q8, q13, #26 1143 vshl.i64 q10, q10, #25 1144 vadd.i64 q13, q0, q9 1145 vadd.i64 q1, q1, q8 1146 vshl.i64 q8, q8, #26 1147 vadd.i64 q15, q1, q4 1148 vsub.i64 q2, q2, q10 1149 vshr.s64 q10, q13, #26 1150 vsub.i64 q8, q12, q8 1151 vshr.s64 q12, q15, #25 1152 vadd.i64 q3, q3, q10 1153 vshl.i64 q10, q10, #26 1154 vadd.i64 q13, q3, q4 1155 vadd.i64 q14, q14, q12 1156 add r2, r3, #144 1157 vshl.i64 q12, q12, #25 1158 add r4, r3, #192 1159 vadd.i64 q15, q14, q9 1160 add r2, r2, #8 1161 vsub.i64 q0, q0, q10 1162 add r4, r4, #8 1163 vshr.s64 q10, q13, #25 1164 vsub.i64 q1, q1, q12 1165 vshr.s64 q12, q15, #26 1166 vadd.i64 q13, q10, q10 1167 vadd.i64 q11, q11, q12 1168 vtrn.32 d16, d2 1169 vshl.i64 q12, q12, #26 1170 vtrn.32 d17, d3 1171 vadd.i64 q1, q11, q4 1172 vadd.i64 q4, q5, q13 1173 vst1.8 d16, [r2, : 64]! 1174 vshl.i64 q5, q10, #4 1175 vst1.8 d17, [r4, : 64]! 1176 vsub.i64 q8, q14, q12 1177 vshr.s64 q1, q1, #25 1178 vadd.i64 q4, q4, q5 1179 vadd.i64 q5, q6, q1 1180 vshl.i64 q1, q1, #25 1181 vadd.i64 q6, q5, q9 1182 vadd.i64 q4, q4, q10 1183 vshl.i64 q10, q10, #25 1184 vadd.i64 q9, q4, q9 1185 vsub.i64 q1, q11, q1 1186 vshr.s64 q6, q6, #26 1187 vsub.i64 q3, q3, q10 1188 vtrn.32 d16, d2 1189 vshr.s64 q9, q9, #26 1190 vtrn.32 d17, d3 1191 vadd.i64 q1, q2, q6 1192 vst1.8 d16, [r2, : 64] 1193 vshl.i64 q2, q6, #26 1194 vst1.8 d17, [r4, : 64] 1195 vadd.i64 q6, q7, q9 1196 vtrn.32 d0, d6 1197 vshl.i64 q7, q9, #26 1198 vtrn.32 d1, d7 1199 vsub.i64 q2, q5, q2 1200 add r2, r2, #16 1201 vsub.i64 q3, q4, q7 1202 vst1.8 d0, [r2, : 64] 1203 add r4, r4, #16 1204 vst1.8 d1, [r4, : 64] 1205 vtrn.32 d4, d2 1206 vtrn.32 d5, d3 1207 sub r2, r2, #8 1208 sub r4, r4, #8 1209 vtrn.32 d6, d12 1210 vtrn.32 d7, d13 1211 vst1.8 d4, [r2, : 64] 1212 vst1.8 d5, [r4, : 64] 1213 sub r2, r2, #24 1214 sub r4, r4, #24 1215 vst1.8 d6, [r2, : 64] 1216 vst1.8 d7, [r4, : 64] 1217 add r2, r3, #336 1218 add r4, r3, #288 1219 vld1.8 {d0-d1}, [r2, : 128]! 1220 vld1.8 {d2-d3}, [r4, : 128]! 1221 vadd.i32 q0, q0, q1 1222 vld1.8 {d2-d3}, [r2, : 128]! 1223 vld1.8 {d4-d5}, [r4, : 128]! 1224 vadd.i32 q1, q1, q2 1225 add r5, r3, #288 1226 vld1.8 {d4}, [r2, : 64] 1227 vld1.8 {d6}, [r4, : 64] 1228 vadd.i32 q2, q2, q3 1229 vst1.8 {d0-d1}, [r5, : 128]! 1230 vst1.8 {d2-d3}, [r5, : 128]! 1231 vst1.8 d4, [r5, : 64] 1232 add r2, r3, #48 1233 add r4, r3, #144 1234 vld1.8 {d0-d1}, [r4, : 128]! 1235 vld1.8 {d2-d3}, [r4, : 128]! 1236 vld1.8 {d4}, [r4, : 64] 1237 add r4, r3, #288 1238 vld1.8 {d6-d7}, [r4, : 128]! 1239 vtrn.32 q0, q3 1240 vld1.8 {d8-d9}, [r4, : 128]! 1241 vshl.i32 q5, q0, #4 1242 vtrn.32 q1, q4 1243 vshl.i32 q6, q3, #4 1244 vadd.i32 q5, q5, q0 1245 vadd.i32 q6, q6, q3 1246 vshl.i32 q7, q1, #4 1247 vld1.8 {d5}, [r4, : 64] 1248 vshl.i32 q8, q4, #4 1249 vtrn.32 d4, d5 1250 vadd.i32 q7, q7, q1 1251 vadd.i32 q8, q8, q4 1252 vld1.8 {d18-d19}, [r2, : 128]! 1253 vshl.i32 q10, q2, #4 1254 vld1.8 {d22-d23}, [r2, : 128]! 1255 vadd.i32 q10, q10, q2 1256 vld1.8 {d24}, [r2, : 64] 1257 vadd.i32 q5, q5, q0 1258 add r2, r3, #240 1259 vld1.8 {d26-d27}, [r2, : 128]! 1260 vadd.i32 q6, q6, q3 1261 vld1.8 {d28-d29}, [r2, : 128]! 1262 vadd.i32 q8, q8, q4 1263 vld1.8 {d25}, [r2, : 64] 1264 vadd.i32 q10, q10, q2 1265 vtrn.32 q9, q13 1266 vadd.i32 q7, q7, q1 1267 vadd.i32 q5, q5, q0 1268 vtrn.32 q11, q14 1269 vadd.i32 q6, q6, q3 1270 add r2, sp, #528 1271 vadd.i32 q10, q10, q2 1272 vtrn.32 d24, d25 1273 vst1.8 {d12-d13}, [r2, : 128]! 1274 vshl.i32 q6, q13, #1 1275 vst1.8 {d20-d21}, [r2, : 128]! 1276 vshl.i32 q10, q14, #1 1277 vst1.8 {d12-d13}, [r2, : 128]! 1278 vshl.i32 q15, q12, #1 1279 vadd.i32 q8, q8, q4 1280 vext.32 d10, d31, d30, #0 1281 vadd.i32 q7, q7, q1 1282 vst1.8 {d16-d17}, [r2, : 128]! 1283 vmull.s32 q8, d18, d5 1284 vmlal.s32 q8, d26, d4 1285 vmlal.s32 q8, d19, d9 1286 vmlal.s32 q8, d27, d3 1287 vmlal.s32 q8, d22, d8 1288 vmlal.s32 q8, d28, d2 1289 vmlal.s32 q8, d23, d7 1290 vmlal.s32 q8, d29, d1 1291 vmlal.s32 q8, d24, d6 1292 vmlal.s32 q8, d25, d0 1293 vst1.8 {d14-d15}, [r2, : 128]! 1294 vmull.s32 q2, d18, d4 1295 vmlal.s32 q2, d12, d9 1296 vmlal.s32 q2, d13, d8 1297 vmlal.s32 q2, d19, d3 1298 vmlal.s32 q2, d22, d2 1299 vmlal.s32 q2, d23, d1 1300 vmlal.s32 q2, d24, d0 1301 vst1.8 {d20-d21}, [r2, : 128]! 1302 vmull.s32 q7, d18, d9 1303 vmlal.s32 q7, d26, d3 1304 vmlal.s32 q7, d19, d8 1305 vmlal.s32 q7, d27, d2 1306 vmlal.s32 q7, d22, d7 1307 vmlal.s32 q7, d28, d1 1308 vmlal.s32 q7, d23, d6 1309 vmlal.s32 q7, d29, d0 1310 vst1.8 {d10-d11}, [r2, : 128]! 1311 vmull.s32 q5, d18, d3 1312 vmlal.s32 q5, d19, d2 1313 vmlal.s32 q5, d22, d1 1314 vmlal.s32 q5, d23, d0 1315 vmlal.s32 q5, d12, d8 1316 vst1.8 {d16-d17}, [r2, : 128]! 1317 vmull.s32 q4, d18, d8 1318 vmlal.s32 q4, d26, d2 1319 vmlal.s32 q4, d19, d7 1320 vmlal.s32 q4, d27, d1 1321 vmlal.s32 q4, d22, d6 1322 vmlal.s32 q4, d28, d0 1323 vmull.s32 q8, d18, d7 1324 vmlal.s32 q8, d26, d1 1325 vmlal.s32 q8, d19, d6 1326 vmlal.s32 q8, d27, d0 1327 add r2, sp, #544 1328 vld1.8 {d20-d21}, [r2, : 128] 1329 vmlal.s32 q7, d24, d21 1330 vmlal.s32 q7, d25, d20 1331 vmlal.s32 q4, d23, d21 1332 vmlal.s32 q4, d29, d20 1333 vmlal.s32 q8, d22, d21 1334 vmlal.s32 q8, d28, d20 1335 vmlal.s32 q5, d24, d20 1336 vst1.8 {d14-d15}, [r2, : 128] 1337 vmull.s32 q7, d18, d6 1338 vmlal.s32 q7, d26, d0 1339 add r2, sp, #624 1340 vld1.8 {d30-d31}, [r2, : 128] 1341 vmlal.s32 q2, d30, d21 1342 vmlal.s32 q7, d19, d21 1343 vmlal.s32 q7, d27, d20 1344 add r2, sp, #592 1345 vld1.8 {d26-d27}, [r2, : 128] 1346 vmlal.s32 q4, d25, d27 1347 vmlal.s32 q8, d29, d27 1348 vmlal.s32 q8, d25, d26 1349 vmlal.s32 q7, d28, d27 1350 vmlal.s32 q7, d29, d26 1351 add r2, sp, #576 1352 vld1.8 {d28-d29}, [r2, : 128] 1353 vmlal.s32 q4, d24, d29 1354 vmlal.s32 q8, d23, d29 1355 vmlal.s32 q8, d24, d28 1356 vmlal.s32 q7, d22, d29 1357 vmlal.s32 q7, d23, d28 1358 vst1.8 {d8-d9}, [r2, : 128] 1359 add r2, sp, #528 1360 vld1.8 {d8-d9}, [r2, : 128] 1361 vmlal.s32 q7, d24, d9 1362 vmlal.s32 q7, d25, d31 1363 vmull.s32 q1, d18, d2 1364 vmlal.s32 q1, d19, d1 1365 vmlal.s32 q1, d22, d0 1366 vmlal.s32 q1, d24, d27 1367 vmlal.s32 q1, d23, d20 1368 vmlal.s32 q1, d12, d7 1369 vmlal.s32 q1, d13, d6 1370 vmull.s32 q6, d18, d1 1371 vmlal.s32 q6, d19, d0 1372 vmlal.s32 q6, d23, d27 1373 vmlal.s32 q6, d22, d20 1374 vmlal.s32 q6, d24, d26 1375 vmull.s32 q0, d18, d0 1376 vmlal.s32 q0, d22, d27 1377 vmlal.s32 q0, d23, d26 1378 vmlal.s32 q0, d24, d31 1379 vmlal.s32 q0, d19, d20 1380 add r2, sp, #608 1381 vld1.8 {d18-d19}, [r2, : 128] 1382 vmlal.s32 q2, d18, d7 1383 vmlal.s32 q5, d18, d6 1384 vmlal.s32 q1, d18, d21 1385 vmlal.s32 q0, d18, d28 1386 vmlal.s32 q6, d18, d29 1387 vmlal.s32 q2, d19, d6 1388 vmlal.s32 q5, d19, d21 1389 vmlal.s32 q1, d19, d29 1390 vmlal.s32 q0, d19, d9 1391 vmlal.s32 q6, d19, d28 1392 add r2, sp, #560 1393 vld1.8 {d18-d19}, [r2, : 128] 1394 add r2, sp, #480 1395 vld1.8 {d22-d23}, [r2, : 128] 1396 vmlal.s32 q5, d19, d7 1397 vmlal.s32 q0, d18, d21 1398 vmlal.s32 q0, d19, d29 1399 vmlal.s32 q6, d18, d6 1400 add r2, sp, #496 1401 vld1.8 {d6-d7}, [r2, : 128] 1402 vmlal.s32 q6, d19, d21 1403 add r2, sp, #544 1404 vld1.8 {d18-d19}, [r2, : 128] 1405 vmlal.s32 q0, d30, d8 1406 add r2, sp, #640 1407 vld1.8 {d20-d21}, [r2, : 128] 1408 vmlal.s32 q5, d30, d29 1409 add r2, sp, #576 1410 vld1.8 {d24-d25}, [r2, : 128] 1411 vmlal.s32 q1, d30, d28 1412 vadd.i64 q13, q0, q11 1413 vadd.i64 q14, q5, q11 1414 vmlal.s32 q6, d30, d9 1415 vshr.s64 q4, q13, #26 1416 vshr.s64 q13, q14, #26 1417 vadd.i64 q7, q7, q4 1418 vshl.i64 q4, q4, #26 1419 vadd.i64 q14, q7, q3 1420 vadd.i64 q9, q9, q13 1421 vshl.i64 q13, q13, #26 1422 vadd.i64 q15, q9, q3 1423 vsub.i64 q0, q0, q4 1424 vshr.s64 q4, q14, #25 1425 vsub.i64 q5, q5, q13 1426 vshr.s64 q13, q15, #25 1427 vadd.i64 q6, q6, q4 1428 vshl.i64 q4, q4, #25 1429 vadd.i64 q14, q6, q11 1430 vadd.i64 q2, q2, q13 1431 vsub.i64 q4, q7, q4 1432 vshr.s64 q7, q14, #26 1433 vshl.i64 q13, q13, #25 1434 vadd.i64 q14, q2, q11 1435 vadd.i64 q8, q8, q7 1436 vshl.i64 q7, q7, #26 1437 vadd.i64 q15, q8, q3 1438 vsub.i64 q9, q9, q13 1439 vshr.s64 q13, q14, #26 1440 vsub.i64 q6, q6, q7 1441 vshr.s64 q7, q15, #25 1442 vadd.i64 q10, q10, q13 1443 vshl.i64 q13, q13, #26 1444 vadd.i64 q14, q10, q3 1445 vadd.i64 q1, q1, q7 1446 add r2, r3, #240 1447 vshl.i64 q7, q7, #25 1448 add r4, r3, #144 1449 vadd.i64 q15, q1, q11 1450 add r2, r2, #8 1451 vsub.i64 q2, q2, q13 1452 add r4, r4, #8 1453 vshr.s64 q13, q14, #25 1454 vsub.i64 q7, q8, q7 1455 vshr.s64 q8, q15, #26 1456 vadd.i64 q14, q13, q13 1457 vadd.i64 q12, q12, q8 1458 vtrn.32 d12, d14 1459 vshl.i64 q8, q8, #26 1460 vtrn.32 d13, d15 1461 vadd.i64 q3, q12, q3 1462 vadd.i64 q0, q0, q14 1463 vst1.8 d12, [r2, : 64]! 1464 vshl.i64 q7, q13, #4 1465 vst1.8 d13, [r4, : 64]! 1466 vsub.i64 q1, q1, q8 1467 vshr.s64 q3, q3, #25 1468 vadd.i64 q0, q0, q7 1469 vadd.i64 q5, q5, q3 1470 vshl.i64 q3, q3, #25 1471 vadd.i64 q6, q5, q11 1472 vadd.i64 q0, q0, q13 1473 vshl.i64 q7, q13, #25 1474 vadd.i64 q8, q0, q11 1475 vsub.i64 q3, q12, q3 1476 vshr.s64 q6, q6, #26 1477 vsub.i64 q7, q10, q7 1478 vtrn.32 d2, d6 1479 vshr.s64 q8, q8, #26 1480 vtrn.32 d3, d7 1481 vadd.i64 q3, q9, q6 1482 vst1.8 d2, [r2, : 64] 1483 vshl.i64 q6, q6, #26 1484 vst1.8 d3, [r4, : 64] 1485 vadd.i64 q1, q4, q8 1486 vtrn.32 d4, d14 1487 vshl.i64 q4, q8, #26 1488 vtrn.32 d5, d15 1489 vsub.i64 q5, q5, q6 1490 add r2, r2, #16 1491 vsub.i64 q0, q0, q4 1492 vst1.8 d4, [r2, : 64] 1493 add r4, r4, #16 1494 vst1.8 d5, [r4, : 64] 1495 vtrn.32 d10, d6 1496 vtrn.32 d11, d7 1497 sub r2, r2, #8 1498 sub r4, r4, #8 1499 vtrn.32 d0, d2 1500 vtrn.32 d1, d3 1501 vst1.8 d10, [r2, : 64] 1502 vst1.8 d11, [r4, : 64] 1503 sub r2, r2, #24 1504 sub r4, r4, #24 1505 vst1.8 d0, [r2, : 64] 1506 vst1.8 d1, [r4, : 64] 1507 ldr r2, [sp, #456] 1508 ldr r4, [sp, #460] 1509 subs r5, r2, #1 1510 bge .Lmainloop 1511 add r1, r3, #144 1512 add r2, r3, #336 1513 vld1.8 {d0-d1}, [r1, : 128]! 1514 vld1.8 {d2-d3}, [r1, : 128]! 1515 vld1.8 {d4}, [r1, : 64] 1516 vst1.8 {d0-d1}, [r2, : 128]! 1517 vst1.8 {d2-d3}, [r2, : 128]! 1518 vst1.8 d4, [r2, : 64] 1519 movw r1, #0 1520.Linvertloop: 1521 add r2, r3, #144 1522 movw r4, #0 1523 movw r5, #2 1524 cmp r1, #1 1525 moveq r5, #1 1526 addeq r2, r3, #336 1527 addeq r4, r3, #48 1528 cmp r1, #2 1529 moveq r5, #1 1530 addeq r2, r3, #48 1531 cmp r1, #3 1532 moveq r5, #5 1533 addeq r4, r3, #336 1534 cmp r1, #4 1535 moveq r5, #10 1536 cmp r1, #5 1537 moveq r5, #20 1538 cmp r1, #6 1539 moveq r5, #10 1540 addeq r2, r3, #336 1541 addeq r4, r3, #336 1542 cmp r1, #7 1543 moveq r5, #50 1544 cmp r1, #8 1545 moveq r5, #100 1546 cmp r1, #9 1547 moveq r5, #50 1548 addeq r2, r3, #336 1549 cmp r1, #10 1550 moveq r5, #5 1551 addeq r2, r3, #48 1552 cmp r1, #11 1553 moveq r5, #0 1554 addeq r2, r3, #96 1555 add r6, r3, #144 1556 add r7, r3, #288 1557 vld1.8 {d0-d1}, [r6, : 128]! 1558 vld1.8 {d2-d3}, [r6, : 128]! 1559 vld1.8 {d4}, [r6, : 64] 1560 vst1.8 {d0-d1}, [r7, : 128]! 1561 vst1.8 {d2-d3}, [r7, : 128]! 1562 vst1.8 d4, [r7, : 64] 1563 cmp r5, #0 1564 beq .Lskipsquaringloop 1565.Lsquaringloop: 1566 add r6, r3, #288 1567 add r7, r3, #288 1568 add r8, r3, #288 1569 vmov.i32 q0, #19 1570 vmov.i32 q1, #0 1571 vmov.i32 q2, #1 1572 vzip.i32 q1, q2 1573 vld1.8 {d4-d5}, [r7, : 128]! 1574 vld1.8 {d6-d7}, [r7, : 128]! 1575 vld1.8 {d9}, [r7, : 64] 1576 vld1.8 {d10-d11}, [r6, : 128]! 1577 add r7, sp, #384 1578 vld1.8 {d12-d13}, [r6, : 128]! 1579 vmul.i32 q7, q2, q0 1580 vld1.8 {d8}, [r6, : 64] 1581 vext.32 d17, d11, d10, #1 1582 vmul.i32 q9, q3, q0 1583 vext.32 d16, d10, d8, #1 1584 vshl.u32 q10, q5, q1 1585 vext.32 d22, d14, d4, #1 1586 vext.32 d24, d18, d6, #1 1587 vshl.u32 q13, q6, q1 1588 vshl.u32 d28, d8, d2 1589 vrev64.i32 d22, d22 1590 vmul.i32 d1, d9, d1 1591 vrev64.i32 d24, d24 1592 vext.32 d29, d8, d13, #1 1593 vext.32 d0, d1, d9, #1 1594 vrev64.i32 d0, d0 1595 vext.32 d2, d9, d1, #1 1596 vext.32 d23, d15, d5, #1 1597 vmull.s32 q4, d20, d4 1598 vrev64.i32 d23, d23 1599 vmlal.s32 q4, d21, d1 1600 vrev64.i32 d2, d2 1601 vmlal.s32 q4, d26, d19 1602 vext.32 d3, d5, d15, #1 1603 vmlal.s32 q4, d27, d18 1604 vrev64.i32 d3, d3 1605 vmlal.s32 q4, d28, d15 1606 vext.32 d14, d12, d11, #1 1607 vmull.s32 q5, d16, d23 1608 vext.32 d15, d13, d12, #1 1609 vmlal.s32 q5, d17, d4 1610 vst1.8 d8, [r7, : 64]! 1611 vmlal.s32 q5, d14, d1 1612 vext.32 d12, d9, d8, #0 1613 vmlal.s32 q5, d15, d19 1614 vmov.i64 d13, #0 1615 vmlal.s32 q5, d29, d18 1616 vext.32 d25, d19, d7, #1 1617 vmlal.s32 q6, d20, d5 1618 vrev64.i32 d25, d25 1619 vmlal.s32 q6, d21, d4 1620 vst1.8 d11, [r7, : 64]! 1621 vmlal.s32 q6, d26, d1 1622 vext.32 d9, d10, d10, #0 1623 vmlal.s32 q6, d27, d19 1624 vmov.i64 d8, #0 1625 vmlal.s32 q6, d28, d18 1626 vmlal.s32 q4, d16, d24 1627 vmlal.s32 q4, d17, d5 1628 vmlal.s32 q4, d14, d4 1629 vst1.8 d12, [r7, : 64]! 1630 vmlal.s32 q4, d15, d1 1631 vext.32 d10, d13, d12, #0 1632 vmlal.s32 q4, d29, d19 1633 vmov.i64 d11, #0 1634 vmlal.s32 q5, d20, d6 1635 vmlal.s32 q5, d21, d5 1636 vmlal.s32 q5, d26, d4 1637 vext.32 d13, d8, d8, #0 1638 vmlal.s32 q5, d27, d1 1639 vmov.i64 d12, #0 1640 vmlal.s32 q5, d28, d19 1641 vst1.8 d9, [r7, : 64]! 1642 vmlal.s32 q6, d16, d25 1643 vmlal.s32 q6, d17, d6 1644 vst1.8 d10, [r7, : 64] 1645 vmlal.s32 q6, d14, d5 1646 vext.32 d8, d11, d10, #0 1647 vmlal.s32 q6, d15, d4 1648 vmov.i64 d9, #0 1649 vmlal.s32 q6, d29, d1 1650 vmlal.s32 q4, d20, d7 1651 vmlal.s32 q4, d21, d6 1652 vmlal.s32 q4, d26, d5 1653 vext.32 d11, d12, d12, #0 1654 vmlal.s32 q4, d27, d4 1655 vmov.i64 d10, #0 1656 vmlal.s32 q4, d28, d1 1657 vmlal.s32 q5, d16, d0 1658 sub r6, r7, #32 1659 vmlal.s32 q5, d17, d7 1660 vmlal.s32 q5, d14, d6 1661 vext.32 d30, d9, d8, #0 1662 vmlal.s32 q5, d15, d5 1663 vld1.8 {d31}, [r6, : 64]! 1664 vmlal.s32 q5, d29, d4 1665 vmlal.s32 q15, d20, d0 1666 vext.32 d0, d6, d18, #1 1667 vmlal.s32 q15, d21, d25 1668 vrev64.i32 d0, d0 1669 vmlal.s32 q15, d26, d24 1670 vext.32 d1, d7, d19, #1 1671 vext.32 d7, d10, d10, #0 1672 vmlal.s32 q15, d27, d23 1673 vrev64.i32 d1, d1 1674 vld1.8 {d6}, [r6, : 64] 1675 vmlal.s32 q15, d28, d22 1676 vmlal.s32 q3, d16, d4 1677 add r6, r6, #24 1678 vmlal.s32 q3, d17, d2 1679 vext.32 d4, d31, d30, #0 1680 vmov d17, d11 1681 vmlal.s32 q3, d14, d1 1682 vext.32 d11, d13, d13, #0 1683 vext.32 d13, d30, d30, #0 1684 vmlal.s32 q3, d15, d0 1685 vext.32 d1, d8, d8, #0 1686 vmlal.s32 q3, d29, d3 1687 vld1.8 {d5}, [r6, : 64] 1688 sub r6, r6, #16 1689 vext.32 d10, d6, d6, #0 1690 vmov.i32 q1, #0xffffffff 1691 vshl.i64 q4, q1, #25 1692 add r7, sp, #480 1693 vld1.8 {d14-d15}, [r7, : 128] 1694 vadd.i64 q9, q2, q7 1695 vshl.i64 q1, q1, #26 1696 vshr.s64 q10, q9, #26 1697 vld1.8 {d0}, [r6, : 64]! 1698 vadd.i64 q5, q5, q10 1699 vand q9, q9, q1 1700 vld1.8 {d16}, [r6, : 64]! 1701 add r6, sp, #496 1702 vld1.8 {d20-d21}, [r6, : 128] 1703 vadd.i64 q11, q5, q10 1704 vsub.i64 q2, q2, q9 1705 vshr.s64 q9, q11, #25 1706 vext.32 d12, d5, d4, #0 1707 vand q11, q11, q4 1708 vadd.i64 q0, q0, q9 1709 vmov d19, d7 1710 vadd.i64 q3, q0, q7 1711 vsub.i64 q5, q5, q11 1712 vshr.s64 q11, q3, #26 1713 vext.32 d18, d11, d10, #0 1714 vand q3, q3, q1 1715 vadd.i64 q8, q8, q11 1716 vadd.i64 q11, q8, q10 1717 vsub.i64 q0, q0, q3 1718 vshr.s64 q3, q11, #25 1719 vand q11, q11, q4 1720 vadd.i64 q3, q6, q3 1721 vadd.i64 q6, q3, q7 1722 vsub.i64 q8, q8, q11 1723 vshr.s64 q11, q6, #26 1724 vand q6, q6, q1 1725 vadd.i64 q9, q9, q11 1726 vadd.i64 d25, d19, d21 1727 vsub.i64 q3, q3, q6 1728 vshr.s64 d23, d25, #25 1729 vand q4, q12, q4 1730 vadd.i64 d21, d23, d23 1731 vshl.i64 d25, d23, #4 1732 vadd.i64 d21, d21, d23 1733 vadd.i64 d25, d25, d21 1734 vadd.i64 d4, d4, d25 1735 vzip.i32 q0, q8 1736 vadd.i64 d12, d4, d14 1737 add r6, r8, #8 1738 vst1.8 d0, [r6, : 64] 1739 vsub.i64 d19, d19, d9 1740 add r6, r6, #16 1741 vst1.8 d16, [r6, : 64] 1742 vshr.s64 d22, d12, #26 1743 vand q0, q6, q1 1744 vadd.i64 d10, d10, d22 1745 vzip.i32 q3, q9 1746 vsub.i64 d4, d4, d0 1747 sub r6, r6, #8 1748 vst1.8 d6, [r6, : 64] 1749 add r6, r6, #16 1750 vst1.8 d18, [r6, : 64] 1751 vzip.i32 q2, q5 1752 sub r6, r6, #32 1753 vst1.8 d4, [r6, : 64] 1754 subs r5, r5, #1 1755 bhi .Lsquaringloop 1756.Lskipsquaringloop: 1757 mov r2, r2 1758 add r5, r3, #288 1759 add r6, r3, #144 1760 vmov.i32 q0, #19 1761 vmov.i32 q1, #0 1762 vmov.i32 q2, #1 1763 vzip.i32 q1, q2 1764 vld1.8 {d4-d5}, [r5, : 128]! 1765 vld1.8 {d6-d7}, [r5, : 128]! 1766 vld1.8 {d9}, [r5, : 64] 1767 vld1.8 {d10-d11}, [r2, : 128]! 1768 add r5, sp, #384 1769 vld1.8 {d12-d13}, [r2, : 128]! 1770 vmul.i32 q7, q2, q0 1771 vld1.8 {d8}, [r2, : 64] 1772 vext.32 d17, d11, d10, #1 1773 vmul.i32 q9, q3, q0 1774 vext.32 d16, d10, d8, #1 1775 vshl.u32 q10, q5, q1 1776 vext.32 d22, d14, d4, #1 1777 vext.32 d24, d18, d6, #1 1778 vshl.u32 q13, q6, q1 1779 vshl.u32 d28, d8, d2 1780 vrev64.i32 d22, d22 1781 vmul.i32 d1, d9, d1 1782 vrev64.i32 d24, d24 1783 vext.32 d29, d8, d13, #1 1784 vext.32 d0, d1, d9, #1 1785 vrev64.i32 d0, d0 1786 vext.32 d2, d9, d1, #1 1787 vext.32 d23, d15, d5, #1 1788 vmull.s32 q4, d20, d4 1789 vrev64.i32 d23, d23 1790 vmlal.s32 q4, d21, d1 1791 vrev64.i32 d2, d2 1792 vmlal.s32 q4, d26, d19 1793 vext.32 d3, d5, d15, #1 1794 vmlal.s32 q4, d27, d18 1795 vrev64.i32 d3, d3 1796 vmlal.s32 q4, d28, d15 1797 vext.32 d14, d12, d11, #1 1798 vmull.s32 q5, d16, d23 1799 vext.32 d15, d13, d12, #1 1800 vmlal.s32 q5, d17, d4 1801 vst1.8 d8, [r5, : 64]! 1802 vmlal.s32 q5, d14, d1 1803 vext.32 d12, d9, d8, #0 1804 vmlal.s32 q5, d15, d19 1805 vmov.i64 d13, #0 1806 vmlal.s32 q5, d29, d18 1807 vext.32 d25, d19, d7, #1 1808 vmlal.s32 q6, d20, d5 1809 vrev64.i32 d25, d25 1810 vmlal.s32 q6, d21, d4 1811 vst1.8 d11, [r5, : 64]! 1812 vmlal.s32 q6, d26, d1 1813 vext.32 d9, d10, d10, #0 1814 vmlal.s32 q6, d27, d19 1815 vmov.i64 d8, #0 1816 vmlal.s32 q6, d28, d18 1817 vmlal.s32 q4, d16, d24 1818 vmlal.s32 q4, d17, d5 1819 vmlal.s32 q4, d14, d4 1820 vst1.8 d12, [r5, : 64]! 1821 vmlal.s32 q4, d15, d1 1822 vext.32 d10, d13, d12, #0 1823 vmlal.s32 q4, d29, d19 1824 vmov.i64 d11, #0 1825 vmlal.s32 q5, d20, d6 1826 vmlal.s32 q5, d21, d5 1827 vmlal.s32 q5, d26, d4 1828 vext.32 d13, d8, d8, #0 1829 vmlal.s32 q5, d27, d1 1830 vmov.i64 d12, #0 1831 vmlal.s32 q5, d28, d19 1832 vst1.8 d9, [r5, : 64]! 1833 vmlal.s32 q6, d16, d25 1834 vmlal.s32 q6, d17, d6 1835 vst1.8 d10, [r5, : 64] 1836 vmlal.s32 q6, d14, d5 1837 vext.32 d8, d11, d10, #0 1838 vmlal.s32 q6, d15, d4 1839 vmov.i64 d9, #0 1840 vmlal.s32 q6, d29, d1 1841 vmlal.s32 q4, d20, d7 1842 vmlal.s32 q4, d21, d6 1843 vmlal.s32 q4, d26, d5 1844 vext.32 d11, d12, d12, #0 1845 vmlal.s32 q4, d27, d4 1846 vmov.i64 d10, #0 1847 vmlal.s32 q4, d28, d1 1848 vmlal.s32 q5, d16, d0 1849 sub r2, r5, #32 1850 vmlal.s32 q5, d17, d7 1851 vmlal.s32 q5, d14, d6 1852 vext.32 d30, d9, d8, #0 1853 vmlal.s32 q5, d15, d5 1854 vld1.8 {d31}, [r2, : 64]! 1855 vmlal.s32 q5, d29, d4 1856 vmlal.s32 q15, d20, d0 1857 vext.32 d0, d6, d18, #1 1858 vmlal.s32 q15, d21, d25 1859 vrev64.i32 d0, d0 1860 vmlal.s32 q15, d26, d24 1861 vext.32 d1, d7, d19, #1 1862 vext.32 d7, d10, d10, #0 1863 vmlal.s32 q15, d27, d23 1864 vrev64.i32 d1, d1 1865 vld1.8 {d6}, [r2, : 64] 1866 vmlal.s32 q15, d28, d22 1867 vmlal.s32 q3, d16, d4 1868 add r2, r2, #24 1869 vmlal.s32 q3, d17, d2 1870 vext.32 d4, d31, d30, #0 1871 vmov d17, d11 1872 vmlal.s32 q3, d14, d1 1873 vext.32 d11, d13, d13, #0 1874 vext.32 d13, d30, d30, #0 1875 vmlal.s32 q3, d15, d0 1876 vext.32 d1, d8, d8, #0 1877 vmlal.s32 q3, d29, d3 1878 vld1.8 {d5}, [r2, : 64] 1879 sub r2, r2, #16 1880 vext.32 d10, d6, d6, #0 1881 vmov.i32 q1, #0xffffffff 1882 vshl.i64 q4, q1, #25 1883 add r5, sp, #480 1884 vld1.8 {d14-d15}, [r5, : 128] 1885 vadd.i64 q9, q2, q7 1886 vshl.i64 q1, q1, #26 1887 vshr.s64 q10, q9, #26 1888 vld1.8 {d0}, [r2, : 64]! 1889 vadd.i64 q5, q5, q10 1890 vand q9, q9, q1 1891 vld1.8 {d16}, [r2, : 64]! 1892 add r2, sp, #496 1893 vld1.8 {d20-d21}, [r2, : 128] 1894 vadd.i64 q11, q5, q10 1895 vsub.i64 q2, q2, q9 1896 vshr.s64 q9, q11, #25 1897 vext.32 d12, d5, d4, #0 1898 vand q11, q11, q4 1899 vadd.i64 q0, q0, q9 1900 vmov d19, d7 1901 vadd.i64 q3, q0, q7 1902 vsub.i64 q5, q5, q11 1903 vshr.s64 q11, q3, #26 1904 vext.32 d18, d11, d10, #0 1905 vand q3, q3, q1 1906 vadd.i64 q8, q8, q11 1907 vadd.i64 q11, q8, q10 1908 vsub.i64 q0, q0, q3 1909 vshr.s64 q3, q11, #25 1910 vand q11, q11, q4 1911 vadd.i64 q3, q6, q3 1912 vadd.i64 q6, q3, q7 1913 vsub.i64 q8, q8, q11 1914 vshr.s64 q11, q6, #26 1915 vand q6, q6, q1 1916 vadd.i64 q9, q9, q11 1917 vadd.i64 d25, d19, d21 1918 vsub.i64 q3, q3, q6 1919 vshr.s64 d23, d25, #25 1920 vand q4, q12, q4 1921 vadd.i64 d21, d23, d23 1922 vshl.i64 d25, d23, #4 1923 vadd.i64 d21, d21, d23 1924 vadd.i64 d25, d25, d21 1925 vadd.i64 d4, d4, d25 1926 vzip.i32 q0, q8 1927 vadd.i64 d12, d4, d14 1928 add r2, r6, #8 1929 vst1.8 d0, [r2, : 64] 1930 vsub.i64 d19, d19, d9 1931 add r2, r2, #16 1932 vst1.8 d16, [r2, : 64] 1933 vshr.s64 d22, d12, #26 1934 vand q0, q6, q1 1935 vadd.i64 d10, d10, d22 1936 vzip.i32 q3, q9 1937 vsub.i64 d4, d4, d0 1938 sub r2, r2, #8 1939 vst1.8 d6, [r2, : 64] 1940 add r2, r2, #16 1941 vst1.8 d18, [r2, : 64] 1942 vzip.i32 q2, q5 1943 sub r2, r2, #32 1944 vst1.8 d4, [r2, : 64] 1945 cmp r4, #0 1946 beq .Lskippostcopy 1947 add r2, r3, #144 1948 mov r4, r4 1949 vld1.8 {d0-d1}, [r2, : 128]! 1950 vld1.8 {d2-d3}, [r2, : 128]! 1951 vld1.8 {d4}, [r2, : 64] 1952 vst1.8 {d0-d1}, [r4, : 128]! 1953 vst1.8 {d2-d3}, [r4, : 128]! 1954 vst1.8 d4, [r4, : 64] 1955.Lskippostcopy: 1956 cmp r1, #1 1957 bne .Lskipfinalcopy 1958 add r2, r3, #288 1959 add r4, r3, #144 1960 vld1.8 {d0-d1}, [r2, : 128]! 1961 vld1.8 {d2-d3}, [r2, : 128]! 1962 vld1.8 {d4}, [r2, : 64] 1963 vst1.8 {d0-d1}, [r4, : 128]! 1964 vst1.8 {d2-d3}, [r4, : 128]! 1965 vst1.8 d4, [r4, : 64] 1966.Lskipfinalcopy: 1967 add r1, r1, #1 1968 cmp r1, #12 1969 blo .Linvertloop 1970 add r1, r3, #144 1971 ldr r2, [r1], #4 1972 ldr r3, [r1], #4 1973 ldr r4, [r1], #4 1974 ldr r5, [r1], #4 1975 ldr r6, [r1], #4 1976 ldr r7, [r1], #4 1977 ldr r8, [r1], #4 1978 ldr r9, [r1], #4 1979 ldr r10, [r1], #4 1980 ldr r1, [r1] 1981 add r11, r1, r1, LSL #4 1982 add r11, r11, r1, LSL #1 1983 add r11, r11, #16777216 1984 mov r11, r11, ASR #25 1985 add r11, r11, r2 1986 mov r11, r11, ASR #26 1987 add r11, r11, r3 1988 mov r11, r11, ASR #25 1989 add r11, r11, r4 1990 mov r11, r11, ASR #26 1991 add r11, r11, r5 1992 mov r11, r11, ASR #25 1993 add r11, r11, r6 1994 mov r11, r11, ASR #26 1995 add r11, r11, r7 1996 mov r11, r11, ASR #25 1997 add r11, r11, r8 1998 mov r11, r11, ASR #26 1999 add r11, r11, r9 2000 mov r11, r11, ASR #25 2001 add r11, r11, r10 2002 mov r11, r11, ASR #26 2003 add r11, r11, r1 2004 mov r11, r11, ASR #25 2005 add r2, r2, r11 2006 add r2, r2, r11, LSL #1 2007 add r2, r2, r11, LSL #4 2008 mov r11, r2, ASR #26 2009 add r3, r3, r11 2010 sub r2, r2, r11, LSL #26 2011 mov r11, r3, ASR #25 2012 add r4, r4, r11 2013 sub r3, r3, r11, LSL #25 2014 mov r11, r4, ASR #26 2015 add r5, r5, r11 2016 sub r4, r4, r11, LSL #26 2017 mov r11, r5, ASR #25 2018 add r6, r6, r11 2019 sub r5, r5, r11, LSL #25 2020 mov r11, r6, ASR #26 2021 add r7, r7, r11 2022 sub r6, r6, r11, LSL #26 2023 mov r11, r7, ASR #25 2024 add r8, r8, r11 2025 sub r7, r7, r11, LSL #25 2026 mov r11, r8, ASR #26 2027 add r9, r9, r11 2028 sub r8, r8, r11, LSL #26 2029 mov r11, r9, ASR #25 2030 add r10, r10, r11 2031 sub r9, r9, r11, LSL #25 2032 mov r11, r10, ASR #26 2033 add r1, r1, r11 2034 sub r10, r10, r11, LSL #26 2035 mov r11, r1, ASR #25 2036 sub r1, r1, r11, LSL #25 2037 add r2, r2, r3, LSL #26 2038 mov r3, r3, LSR #6 2039 add r3, r3, r4, LSL #19 2040 mov r4, r4, LSR #13 2041 add r4, r4, r5, LSL #13 2042 mov r5, r5, LSR #19 2043 add r5, r5, r6, LSL #6 2044 add r6, r7, r8, LSL #25 2045 mov r7, r8, LSR #7 2046 add r7, r7, r9, LSL #19 2047 mov r8, r9, LSR #13 2048 add r8, r8, r10, LSL #12 2049 mov r9, r10, LSR #20 2050 add r1, r9, r1, LSL #6 2051 str r2, [r0] 2052 str r3, [r0, #4] 2053 str r4, [r0, #8] 2054 str r5, [r0, #12] 2055 str r6, [r0, #16] 2056 str r7, [r0, #20] 2057 str r8, [r0, #24] 2058 str r1, [r0, #28] 2059 movw r0, #0 2060 mov sp, ip 2061 pop {r4-r11, pc} 2062ENDPROC(curve25519_neon)