mkosi: enable unprivileged user ns for integration tests

Ubuntu disables them by default in Noble, ship a sysctl to turn them back on
so that tests can use them

(cherry picked from commit 4cfcde024f34b3e5f682364d4e0c6185ef07d467)

man,units: drop "temporary" from description of systemd-tmpfiles

Historically, systemd-tmpfiles was designed to manager temporary
files, but nowadays it has become a generic tool for managing
all kinds of files. To avoid user confusion, let's remove "temporary"
from the tool's description.

As discussed in #33349

(cherry picked from commit b5c8cc0a3b8e4e2fea0539d6420a76b524ea5735)

man: add a bit of a warning to systemd-tmpfiles --purge

Mention that by default, /home is managed by tmpfiles.d/home.conf, and
recommend that users run systemd-tmpfiles --dry-run --purge first to
see exactly what will be removed.

(cherry picked from commit 9ebcac3b5125a8b0b11f371731ea167cd4684adc)

fundamental: declare flex array updated for gcc15 and clang 19

Silly workaround that:
- allowed flexible arrays in unions
- allowed flexible arrays in otherwise empty structs

Is no longer needed since https://gcc.gnu.org/git/?p=gcc.git;a=commit;h=adb1c8a0f167c3a1f7593d75f5a10eb07a5d741a
(GCC15) or clang 19 https://github.com/llvm/llvm-project/commit/14ba782a87e16e9e15460a51f50e67e2744c26d9

(cherry picked from commit 3c2f2146f50c75662987541719bedc4aee9df939)

analyze: show pcrs also in sha384 bank

SHA384 is pretty much the bank we actually *want* to use, since it's
faster to calculate than SHA256, hence at the very least, start
considering.

(cherry picked from commit acaca5ab250a51be6ba07768bee80bf0f7b462fa)

CODING_STYLE: document "reterr_" return parameters

In some recent PRs (e.g. #32628) I started to systematically name return
parameters that shall only be initialized on failure (because they carry
additional error meta information, such as the line/column number of
parse failures or so). Let's make this official in the coding style.

(cherry picked from commit 7811864b08393eda5ff92145ea2776180d9b28ee)

shell-completion: only offer devices for completion

This skips directories and other stuff like /dev/core, /dev/initctl or
/dev/log.

(cherry picked from commit bde35f4a91663ebb854330f582baeef0f9adcbfb)

NEWS: note that new stable releases will be in the main repo

(cherry picked from commit 40d637bace4041f081088673cb230669c1e34faf)

repart: Use CRYPT_ACTIVATE_PRIVATE

Let's skip udev device scanning when activating a LUKS volume in
systemd-repart as we don't depend on any udev symlinks and don't
expect anything except repart to access the volume.

Suggested by https://github.com/systemd/systemd/issues/33129#issuecomment-2143390941.

(cherry picked from commit 726fc7ae696510b04c24810f691d34f5d20529d6)

test: dump a simple summary at the end of TEST-02-UNITTEST

Let's dump a list of skipped tests and logs from failed tests at the end
of TEST-02-UNITTEST to make debugging fails in CI slightly less painful.

(cherry picked from commit 2ac0e52f29eb5f0040882fc46bcfa369893577f3)

repart: Use crypt_reencrypt_run() if available

crypt_reencrypt() is deprecated, so let's look for and prefer
crypt_reencrypt_run() if it is available.

(cherry picked from commit b99b2941276a74878a23470b36c75b0c21dbdd4a)

resolved: permit dnssec rrtype questions when we aren't validating

This check introduced in 91adc4db33f6 is intended to spare us from
encountering broken resolver behavior we don't want to deal with.
However if we aren't validating we more than likely don't know the state
of the upstream resolver's support for dnssec. Let's let clients try
these queries if they want.

This brings the behavior of sd-resolved in-line with previouly stated
change in the meaning of DNSSEC=no, which now means "don't validate"
rather than "don't validate, because the upstream resolver is declared to
be dnssec-unaware".

Fixes: 9c47b334445a ("resolved: enable DNS proxy mode if client wants DNSSEC")
(cherry picked from commit 364c948707afa097f6ad177b61c2b51a86c0089a)

tpm2-setup: Don't fail if we can't access the TPM due to authorization failure

The TPM might be password/pin protected for various reasons even if
there is no SRK yet. Let's handle those cases gracefully instead of
failing the unit as it is enabled by default.

(cherry picked from commit d6518003f8ebbfb6f85dbf227736ae05b0961199)

strbuf: use GREEDY_REALLOC to grow the buffer

This allows us to reserve a bunch of capacity ahead of time,
improving the performance of hwdb significantly thanks to not
having to reallocate so many times.

Before:
```
$ sudo time valgrind --leak-check=full ./systemd-hwdb update
==113297== Memcheck, a memory error detector
==113297== Copyright (C) 2002-2024, and GNU GPL'd, by Julian Seward et al.
==113297== Using Valgrind-3.23.0 and LibVEX; rerun with -h for copyright info
==113297== Command: ./systemd-hwdb update
==113297==
==113297==
==113297== HEAP SUMMARY:
==113297==     in use at exit: 0 bytes in 0 blocks
==113297==   total heap usage: 1,412,640 allocs, 1,412,640 frees, 117,920,009,195 bytes allocated
==113297==
==113297== All heap blocks were freed -- no leaks are possible
==113297==
==113297== For lists of detected and suppressed errors, rerun with: -s
==113297== ERROR SUMMARY: 0 errors from 0 contexts (suppressed: 0 from 0)
132.44user 21.15system 2:35.61elapsed 98%CPU (0avgtext+0avgdata 228560maxresident)k
0inputs+25296outputs (0major+6886930minor)pagefaults 0swaps
```

After:
```
$ sudo time valgrind --leak-check=full ./systemd-hwdb update
==112572== Memcheck, a memory error detector
==112572== Copyright (C) 2002-2024, and GNU GPL'd, by Julian Seward et al.
==112572== Using Valgrind-3.23.0 and LibVEX; rerun with -h for copyright info
==112572== Command: ./systemd-hwdb update
==112572==
==112572==
==112572== HEAP SUMMARY:
==112572==     in use at exit: 0 bytes in 0 blocks
==112572==   total heap usage: 1,320,113 allocs, 1,320,113 frees, 70,614,501 bytes allocated
==112572==
==112572== All heap blocks were freed -- no leaks are possible
==112572==
==112572== For lists of detected and suppressed errors, rerun with: -s
==112572== ERROR SUMMARY: 0 errors from 0 contexts (suppressed: 0 from 0)
21.94user 0.19system 0:22.23elapsed 99%CPU (0avgtext+0avgdata 229876maxresident)k
0inputs+25264outputs (0major+57275minor)pagefaults 0swaps
```

Co-authored-by: Yu Watanabe <watanabe.yu+github@gmail.com>
(cherry picked from commit 621b10fe2c3203c537996e84c7c89b0ff994ad93)

rules: Limit the number of device units generated for serial ttys

As per the suggestion in https://github.com/systemd/systemd/issues/33242.

This reduces the number of /dev/ttySXX device units generated in
mkosi from 32 to 4.

(cherry picked from commit dc38f9addd04c34d1fd743efc407bdebb3573d05)

sd-dhcp-server: clear buffer before receive

I do not think this is necessary, but all other places in
libsystemd-network we clear buffer before receive. Without this,
Coverity warns about use-of-uninitialized-values.
Let's silence Coverity.

Closes CID#1469721.

(cherry picked from commit 40f9fa0af4c3094d93e833e62f7e301cd453da62)

hostnamed: don't allow hostnamed to exit on idle if varlink connections are still ongoing

And while we are at it, ongoing PK authorizations are also a reason to
block exit on idle.

(cherry picked from commit ac908152b3b43a49f793d225c075423422cd3e33)

man/systemd: reorder content a bit

Section "Description" didn't actually say what systemd does. And we had a giant
"Concepts" section that actually described units types and other details about
them. So let's move the basic description of functionality to "Description" and
rename the following section to "Units".

The link to the Original Design Document is moved to "See Also", it is of
historical interest mostly at this point.

The only actual change is that when talking about API filesystems, /dev is also
mentioned. (I think /sys+/proc+/dev are the canonical set and should be always
listed on one breath.)

(cherry picked from commit f11aaf7dfb295de429b1567282b19caaba036bba)

Create CNAME

Finalize NEWS and version for v256

Update hwdb

ninja -C build update-hwdb

tpm2-util: tighten rules on the nvindex handle range we allocate from

Let's follow the conventions set by "Registry of Reserved TPM 2.0 Handles
and Localities" and only allocate nvindex currently not assigned to any
vendor.

For details see:

https://trustedcomputinggroup.org/resource/registry/

Section 2.2

hwdb: add keyboard mappings for the Ayaneo Kun face buttons

See comment in hwdb file for details.

shared: fix typo: dito -> ditto

Follow-up for bc9e5a4c67f5fff536d122118e16a53dfb592acd and
3572d3df8f822d4cf1601428401a837f723771cf.

man: document that separate /usr/local/ must not be used for config

Since we document /usr/local/lib/systemd/ and other paths for various things,
add notes that this is not supported if /usr/local is a separate partition. In
systemd.unit, I tried to add the footnote in the table where
/usr/local/lib/systemd/ is listed, but that get's rendered as '[sup]a[/sup]'
with a mangled footnote at the bottom of the table :( .

Also, split paragraphs in one place where the subject changes without any
transition.

Follow-up for 02f35b1c905ac63ba62f94efebf858412e961fc1.
Replaces https://github.com/systemd/systemd/pull/33231.

bus-unit-util: extend the bus call timeout for UnitFreezer

Follow-up for 1d617b35fef5f7783287965f766c8bb85e932b8e.
Should fix https://github.com/systemd/systemd/issues/33269.

From the logs in the bug:
Jun 10 22:55:37 systemd-logind[909]: The system will suspend now!
Jun 10 22:55:37 ModemManager[996]: <msg> [sleep-monitor-systemd] system is about to suspend
...
Jun 10 22:55:48 systemd-sleep[422408]: Failed to freeze unit 'user.slice': Connection timed out
Jun 10 22:55:48 systemd-sleep[422408]: Performing sleep operation 'suspend'...

The delay is ~11 s, consistent with the patch that set the timeout to 10 s.
Looks like this is not enough. It's the freeze operation that fails, but
thawing might be slow too, so just bump the timeout again.

chase: Tighten "." and "./" check

Currently the check also succeeds if the input path starts with a dot, whereas
we only want it to succeed for "." and "./". Tighten the check and add a test.

test-network: wait a while for addresses to be dropped

Hopefully fixes the following failure:
```
======================================================================
FAIL: test_ipv6_token_prefixstable (__main__.NetworkdRATests.test_ipv6_token_prefixstable)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/usr/lib/systemd/tests/testdata/test-network/systemd-networkd-tests.py", line 5705, in test_ipv6_token_prefixstable
    self.assertNotIn('2002:da8:1:0:b47e:7975:fc7a:7d6e/64', output) # the 1st prefixstable
    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
AssertionError: '2002:da8:1:0:b47e:7975:fc7a:7d6e/64' unexpectedly found in
  '19: veth99@veth-peer: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000\n
       inet6 2002:da8:1:0:b47e:7975:fc7a:7d6e/64 scope global tentative dynamic mngtmpaddr noprefixroute \n
          valid_lft 2100sec preferred_lft 1000sec\n
       inet6 2002:da8:1:0:da5d:e50a:43fd:5d0f/64 scope global dynamic mngtmpaddr noprefixroute \n
          valid_lft 2100sec preferred_lft 1000sec\n
       inet6 fe80::1034:56ff:fe78:9abc/64 scope link proto kernel_ll \n
          valid_lft forever preferred_lft forever'
----------------------------------------------------------------------
```

man/systemd-soft-reboot.service: upgrade drop-in to unit file for slice

Follow-up for d91c7c91bf5de3b12cc2b29dd8b5ad49f29448ef.
Closes https://github.com/systemd/systemd/issues/33260.

shell-completion: update bash completion for networkctl

shell-completion: update bash-completion for udevadm

- Add missing options.
- Show device nodes when supported.

Closes #33265.

homed: fix typo

Follow-up for c4b5de7eff3d3b51ae88e74fecba09e4fbea4464.

login: re-used -> reused

Suggested by Fossies.

Merge pull request #33264 from bluca/mkosi_dlopen_install

mkosi: install dlopen optional dependencies for debian/ubuntu builds

mkosi: install dlopen optional dependencies for debian/ubuntu builds

mkosi: update to latest

user-util: fix fgetxxent_sane on musl

musl's implementation does not set errno to ENOENT when the end of file
is reached. It returns NULL and leaves errno unchanged.

mkosi.prepare: do not install build dependencies with NO_BUILD

NEWS: fix typo

Merge pull request #33241 from DaanDeMeyer/noble

ci: Switch to Ubuntu 24.04

mkosi: Stop using tools tree

Noble has all the tooling we need so let's stop using a tools tree
and just install the dependencies we need on the host system.

mkosi: Replace sysusers.d with useradd for test user

sysusers.d is not intended for regular users, so let's use useradd
instead.

ci: Switch to Ubuntu 24.04

mkosi: Update to latest

presets: Don't enable systemd-homed-firstboot.service by default

Enabling this service by default means every CI image without a
regular user now gets stuck on first boot due to the password prompt
from systemd-homed-firstboot.service. Let's not enable the service
by default but instead require users to enable it explicitly if they
want its behavior.

Fixes #33249

dev-setup: Follow /dev/console symlinks when locking /dev/console

systemd-nspawn sets up /dev/console as a symlink to a pty, so let's
make sure we follow the symlink when trying to lock /dev/console so
we don't fail with ELOOP.

man: note that templated surviving units need a drop-in for their slice

As reported on the mailing list, this is non-obvious, so document it.

https://lists.freedesktop.org/archives/systemd-devel/2024-June/050351.html

Merge pull request #33237 from bluca/dlopen_deps

mkosi: enable noble-backports for ubuntu and update debian packaging commit

mkosi: update debian packaging commit id

mkosi: enable noble-backports for ubuntu

Required to get the new dh-dlopenlibdeps package

Update version and finalize NEWS for 256~rc4

run: do not pass the pty slave fd to transient service in a machine

Follow-up for 28459ba1f4df824d5ef7f7d1a9acb6953ea24045

The pty path returned by OpenMachinePTY() cannot be opened from outside
the machine, hence let's use the plain Standard{Input,Output,Error}=tty
in such a case. This means if --machine= is specified, #32916 would occur.
A comprehensive fix requires a new dbus method in machined, which shall
be material for v257.

See also: https://github.com/systemd/systemd/pull/33216#discussion_r1628020429

Replaces #33216

Co-authored-by: Mike Yuan <me@yhndnzj.com>

Merge pull request #33232 from bluca/chores

Chores for RC4

mkosi: Stop skipping pkcs11 test on opensuse

A fix was made to the softhsm package so the test now passes.

NEWS: update contributors

Update syscalls tables

ninja -C build update-syscall-tables update-syscall-header

Update hwdb

ninja -C build update-hwdb

Revert "network: add "mac" to alternatives name policy by default" (#33227)

This reverts commit 0f5a529217f1327f020ab54deed09e6fae1f1fef.

As discussed in https://github.com/systemd/systemd/issues/33104,
that patch caused problems in Debian which has a udev drop-in with

  [Match]
  Path=*-usb-*

  [Link]
  NamePolicy=mac

The rename fails:
   eth0: Policy *mac* yields "enx00*".
   eth0: /usr/lib/udev/rules.d/80-net-setup-link.rules:11 NAME 'enx00*'
   eth0: /usr/lib/udev/rules.d/99-systemd.rules:69 RUN '/usr/lib/systemd/systemd-sysctl --prefix=/net/ipv4/conf/$name --prefix=/net/ipv4/neigh/$
   eth0: sd-device: Created database file '/run/udev/data/n9' for '/devices/pci0000:00/0000:00:1c.4/0000:02:00.0/0000:03:01.0/0000:05:00.0/0000:
   eth0: Failed to rename network interface 9 from 'eth0' to 'enx00*': File exists
   eth0: sd-device: Created database file '/run/udev/data/n9' for '/devices/pci0000:00/0000:00:1c.4/0000:02:00.0/0000:03:01.0/0000:05:00.0/0000:
   eth0: Failed to process device, ignoring: File exists

Two network interfaces have the same MAC and it's not marked NET_ADDR_STOLEN.
In this case the conflict is very visible because it causes the rename to fail,
but it would also occur in other cases, for alternative names.

A patch has been submitted for r8152 to properly set NET_ADDR_STOLEN:
https://lore.kernel.org/linux-usb/20240605153340.25694-1-gmazyland@gmail.com/T/#u

Let's revert this now to avoid a regression. We can try again after the kernel
issue is resolved.

Closes https://github.com/systemd/systemd/issues/33104.

Merge pull request #33218 from DaanDeMeyer/initrd-modules

mkosi: Include fewer modules in the initramfs

Merge pull request #33189 from bluca/fscrypt_flush

homed: flush fscrypt key on lock/deactivate

mkosi: Include fewer modules in the initramfs

Let's only use mkosi's default list of modules instead of all of
them.

mkosi: Update to latest

homed: flush fscrypt key on lock/deactivate

The fscrypt key is added to the user keyring, and needs to be flushed out too.

Fixes https://github.com/systemd/systemd/issues/33138

mkosi: do a sparse checkout of debian/ubuntu packaging repo

The repository on Salsa includes the full upstream sources, which means
they are duplicated, taking extra space and showing duplicated grep results.
But we only need the debian/ subfolder, so do a sparse clone and checkout.

util: add keyring_describe helper and move to basic

So that it can be used from libsystemd. No external dependencies.

network/ndisc: use router lifetime as one for redirect route

Previously, we did not set lifetime for redirect route, and redirect
routes were removed only when received a RA from the target address.
Thus, routes that redirect on-link addresses were never removed.

RFCs mention nothing about the lifetime of redirection. But the previous
implementation does not pass the IPv6 Core Conformance Tests.

This makes
- remember all received RAs and manage them by the sender address
  (previously, remembered only one with the highest preference),
- then use the router lifetime as one for redirect route,
- remove redirect route also when the router corresponds to the sender
  address is dropped (previously, considered only target address).

Note, even if we recieve a new RA, we do not update existing redirect
routes. The lifetime of the redirect route is updated only when a new
Redirect message is received.

Closes #32527.

man: document /usr/local/lib in search paths

Merge pull request #33198 from keszybz/update-distro-hash

Add helper script to update distro packaging hashes

mkosi: update fedora commit reference

* 1f94b56cee Partially backport PR #33016 to fix crashes in KDE 6.3.0

mkosi: update debian commit reference

* 5b9607385d debian/tests/storage: without scsi_debug, skip test
* 8a195a6327 debian/extra: use a dropin to configure Nice=-1 on systemd-journald.service
* 5436d49288 debian/extra: use a drop-in resolved.conf to configure Cache=no-negative
* 596a99d2d3 debian/extra: set ManagedOOMSwap=auto on -.slice
* 07ba81b14d LimitCORE: restore default hard limit to infinity
* df3a9a91e8 Restart managers on libc-upgrade dpkg trigger

mkosi: set -o nounset for scripts

Those scripts are written with the expectation that all input variables are set
and will not behave correctly if something is ommitted. In particular, the
non-chrooted scripts (mkosi.clean, mkosi.sync) might wreak havoc if called
without the full environment.

tools/update-distro-hash: add a helper script to sync submodule

po: update and correction translation (Chinese (Traditional) (zh_TW))

Revert "mkosi: Don't install wireguard-tools on Debian"

wireguard-tools was added back to debian testing.

This reverts commit 8c335463d9fe6c2e2f3d9584d7c26871800065e2.

mkosi: Disable scratch device by default

We include scratch space in the rootfs image itself so we don't have
need for the scratch device so let's disable it by default.

Merge pull request #33197 from poettering/cryptsetup-fallback-tweak

cryptsetup: unset an unlock path on each unlock retry

core: Fix CPUQuotaPerSecUSec unit file serialization

CPUQuota= can deal with float percentages perfectly fine these days
(up to two places after the dot), so let's take that into account
when serializing the value to the transient unit file so we don't lose
precision when specifying e.g. "CPUQuota=0.5%".

json: use secure un{base64,hex}mem for sensitive variants

While tracing a LUKS code path in homework, I've noticed that we don't
erase buffers when doing unbase64 or unhex on JSON variants, even if the
variant is marked as sensitive.

network/route: fix condition in route_can_update()

An existing route with lifetime can be always updated with a new
finite lifetime. As the comment in the code says, we cannot disable the
lifetime. So, the condition must be '==', rather than '!='.

Fixes #33210.

po: Translated using Weblate (Chinese (Simplified) (zh_CN))

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: hanjinpeng <hanjinpeng127@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/zh_CN/
Translation: systemd/main

cryptsetup: check keyring cache passphrase at least once

The first try will be on the TPM2, so in practice this was always skipped
as it happens only on the first try. Use a different bool to track this.

cryptsetup: unset an unlock path on each unlock retry

If we couldn't unlock a device with the chosen unlock path, let's not
fall back to the lowest one right away, but only flush out one path, and
try the next.

Fixes: #30425
Follow-up-for: #30185
Alternative-to: #33183

libpasswdqc: add missing `#include "dlfcn-util.h"`

Merge pull request #33199 from DaanDeMeyer/optimization

mkosi: Build with -O0 by default

Fix key toggle touchpad and programmable buttom for Positivo N14AP7

mkosi: Stop sourcing /etc/makepkg.conf

We don't need this anymore since we now just do delayed evaluation
of $CFLAGS in /etc/makepkg.conf and it imports $CFLAGS into the
script environment which messes everything up.

mkosi: Build with -O0 by default

This was accidentally removed in https://github.com/systemd/systemd/pull/33193

Merge pull request #33193 from DaanDeMeyer/fortify

mkosi: Disable FORTIFY_SOURCE when building without optimizations or with sanitizers

Merge pull request #33192 from DaanDeMeyer/packaging

mkosi: Various opensuse improvements

mkosi: Build Arch Linux image with -D_FORTIFY_SOURCE=3

_FORTIFY_SOURCE requires optimizations to be enabled so we set -O2
as well.

mkosi: Drop $OPTIMIZATION variable

Let's instead just use $CFLAGS to override the optimization level.

mkosi: Use __meson_verbose in opensuse build script

OpenSUSE Tumbleweed now ships meson 1.4.0 which ships the new
__meson_verbose macro.

mkosi: Use meson_extra_configure_options for opensuse

This is now available so let's use it.

mkosi: Update opensuse commit to latest

po: Translated using Weblate (Swedish)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Luna Jernberg <bittin@reimu.nl>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/sv/
Translation: systemd/main

po: Translated using Weblate (French)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Pierre GRASSER <pierre.grasser@proton.me>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/fr/
Translation: systemd/main

Merge pull request #33173 from yuwata/test-network

test-network: several  cleanups

test-network: introduce a .network file to protect existing interfaces

test-network: show PID and Invocation ID of networkd

Then, we can easily find relevant journal entry on failure.
This is especially useful when the test is running with --no-journal.

test-network: flush stream buffer and journals before/after running test